如何采集javascript动态加载网页

您所在的位置:网站首页 企业爬虫数据采集 如何采集javascript动态加载网页

如何采集javascript动态加载网页

2023-06-03 07:21| 来源: 网络整理| 查看: 265

亿牛云代理 从一个运行 javascript 的网站加载所有数据来加载内容,目前的问题是当运行启动代码时它无法加载 javascript 内容,因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢? 为了加载运行JavaScript来加载内容的网站上的所有数据,可以修改Splash代码以模拟滚动并确保整个页面呈现,从而能够检索所需的HTML内容。以下是可以采用的示例方法:

function main(splash, args) -- 亿牛云(动态转发隧道)爬虫代理加强版 -- 设置代理IP和认证信息 local proxy = "www.16yun.cn" local proxy_port = 12345 local username = "16YUN" local password = "16IP" -- 设置代理 splash:set_proxy{ host = proxy, port = proxy_port, username = username, password = password, } assert(splash:go(args.url)) -- 导航到目标URL assert(splash:wait(args.wait)) -- 等待初始内容加载 -- 设置滚动参数 local scroll_delay = 1 -- 调整每次滚动之间的延迟 local scroll_steps = 10 -- 调整滚动步数 local scroll_height = splash:evaljs("document.body.scrollHeight") -- 滚动到页面底部 local scroll_to_bottom = splash:jsfunc([[ function() { window.scrollTo(0, document.body.scrollHeight); } ]]) for _ = 1, scroll_steps do scroll_to_bottom() -- 滚动到页面底部 splash:wait(scroll_delay) -- 等待页面滚动 end -- 在滚动后等待最终内容加载 assert(splash:wait(args.wait)) return { html = splash:html() -- 返回HTML内容 } end

在上述代码中,我们使用爬虫代理IP提高访问成功率,同时使用Splash脚本API导航到目标URL并等待初始内容加载。然后,我们定义滚动的参数,包括每次滚动之间的延迟、滚动步数和页面的初始滚动高度。 接下来,我们使用jsfunc创建一个JavaScript函数(scroll_to_bottom()),通过将垂直滚动位置设置为文档高度,将页面滚动到底部。我们在循环中使用此函数多次模拟滚动,每次滚动后等待页面滚动并加载新内容。 在最后一次滚动后,我们等待额外的内容加载,然后返回完全呈现页面的HTML内容。 请根据您所针对的具体网站调整scroll_delay和scroll_steps的值,以确保足够的滚动和内容加载。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3