本地采集数据比较慢? |
您所在的位置:网站首页 › 海南八爪鱼酒店开业时间 › 本地采集数据比较慢? |
本地采集速度非常慢,则考虑以下几点: A.网页本身是ajax加载,但流程中未勾选上ajax加载数据,解决方法是勾选上ajax加载数据,设置超时时间,时间推荐5-10s。 B.规则流程中有较多的点击元素步骤,可在点击元素及翻页步骤勾选ajax加载数据,设置超时时间,时间推荐5-10s。 C.网页加载大量图片,若不需要图片信息,可选择禁止浏览器加载图片。 D.执行前等待时间设置过长,应适当减小时间。 E.网页本身加载比较慢(如国外网站),网速比较慢,带宽太小。 F.电脑本身配置比较低。 G.网站响应不及时,响应迟缓。 建议使用云采集或者本地加速1、先云采集通过云服务器集群的分布式部署方式,多节点同时进行作业,可以提高采集效率,云采集是靠拆分任务加速的,一个任务拆分成多个子任务,分到不同的云服务器上同时运行采集数据,再回收每个云服务器上的数据传到数据库中2、或者使用本地加速,本地加速任务数,增加您的本地加速任务运行数量购买链接:https://www.bazhuayu.com/console/pay-custom-bag?type=localacceleration |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |