Python + Selenium 自动翻页的方法概要总结

您所在的位置:网站首页 iphone页面自动上翻 Python + Selenium 自动翻页的方法概要总结

Python + Selenium 自动翻页的方法概要总结

2024-07-14 21:23| 来源: 网络整理| 查看: 265

一、使用分析提取的网址

        可以分析目标网页的体系结构,解构目标数据结构分析提取下一页的网址。目标数据结构可能是预先设定以相同前缀+页码的连续网页地址集、包含目标数据的href属性的a标签,或者加载的Javascript变量值,亦可能是远程地址的XML/JSON数据。通过Selenium的

webdriver.get(url)

直接跳转至下一页。或者使用

webdriver.execute_script('window.location="'+url+'";')

 以Javascript脚本启动翻页过程。

二、通过Selenium目标网页的预设逻辑

        这需要详细解剥目标的节点node结构,解析提取出关键的节点或路径信息。并使用Selenium查找节点element的几种方法(如CSS、xpath等方式Locating elements)定位目标节点。通过定位的Selenium element节点的click()方法模拟鼠标左键点击事件实现预设的翻页逻辑。

三、Selenium + Javascript 结合实现预设逻辑

        充分利用Javascript“近水楼台”的优势和强大的HTML document处理能力,完成目标节点的分析和处理工作,实现自动翻页的任务。对于熟悉Javascript的程序uu,信手拈来,这是再简单不过的事儿!既可以使用解构后的详细目标节点信息,也可以以主观意识的方式辨别经过模糊搜索得来的“泛数据”。最后通过webdriver实例化的对象execute_script(script)方法执行Javascript脚本。当然,像这种“主观判断”的思维逻辑方式,得出的结果无论是在理论上亦或是实际应用中,不太可能达到100%的预期值。对于个别显著差异化的数据,仍须手动添加相应规则进行筛选。对于大部分站点而言,应该足够了。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3