获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫 |
您所在的位置:网站首页 › 怎么破解付费网站观看记录呢 › 获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫 |
故事背景:最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF,拜托我之后,我想用python写一个爬虫工具。
原网页如下: http://www.cninfo.com.cn/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC https://zhidao.baidu.com/question/1178494981402265499.html 我回到“巨潮资讯网”,F12审查元素 ——> Network ——> XHR ——> F5 reload,看到这几个东西: 选择这个full?searchxxxxxxxxxx: 在进入这个网页后,公告栏是请求了另一个url: Request URL: http://www.cninfo.com.cn/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1 打开它,得到了返回数据,就是想要的“搜索结果”的数据: |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |