Python + Selenium 自动翻页的方法概要总结 |
您所在的位置:网站首页 › iphone页面自动上翻 › Python + Selenium 自动翻页的方法概要总结 |
一、使用分析提取的网址 可以分析目标网页的体系结构,解构目标数据结构分析提取下一页的网址。目标数据结构可能是预先设定以相同前缀+页码的连续网页地址集、包含目标数据的href属性的a标签,或者加载的Javascript变量值,亦可能是远程地址的XML/JSON数据。通过Selenium的 webdriver.get(url)直接跳转至下一页。或者使用 webdriver.execute_script('window.location="'+url+'";')以Javascript脚本启动翻页过程。 二、通过Selenium目标网页的预设逻辑 这需要详细解剥目标的节点node结构,解析提取出关键的节点或路径信息。并使用Selenium查找节点element的几种方法(如CSS、xpath等方式Locating elements)定位目标节点。通过定位的Selenium element节点的click()方法模拟鼠标左键点击事件实现预设的翻页逻辑。 三、Selenium + Javascript 结合实现预设逻辑 充分利用Javascript“近水楼台”的优势和强大的HTML document处理能力,完成目标节点的分析和处理工作,实现自动翻页的任务。对于熟悉Javascript的程序uu,信手拈来,这是再简单不过的事儿!既可以使用解构后的详细目标节点信息,也可以以主观意识的方式辨别经过模糊搜索得来的“泛数据”。最后通过webdriver实例化的对象execute_script(script)方法执行Javascript脚本。当然,像这种“主观判断”的思维逻辑方式,得出的结果无论是在理论上亦或是实际应用中,不太可能达到100%的预期值。对于个别显著差异化的数据,仍须手动添加相应规则进行筛选。对于大部分站点而言,应该足够了。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |