携程逆向爬虫 |
您所在的位置:网站首页 › 携程旅行网页登录不上 › 携程逆向爬虫 |
目录
导语1. 获取所有城市_id2. 分析评论信息位置3. 获取当前市 景点页数4.获取当前景点的评论页数5. 总体爬虫效果6. 注意
导语
自携程更新后,这是全网首篇,关于新版携程的逆向爬虫 最近由于项目需要,编写了携程逆向爬虫脚本,遇到过一些难点,然而在携程更新网页端之后,也没有大牛写过新的关于携程爬虫的文章。 由于还没有创建github(有点懒),代码需要的可以私信,这里只提供思路和过程 在此,给网友提供思路和全站爬虫效果,有需要的可以私信我 主要难点(坑)如下: 很多加密参数需要自行测试payload在爬虫post请求中的使用请求到的json数据繁琐,难以分析使用postman分析post请求 1. 获取所有城市_id
通过抓包可以发现,评论信息是存放在以下位置的: 点击旅游景点的第二页和第三页,分析发送的POST请求,以及url链接,这里我们可以发现,每次请求时,post请求对应url链接是不断变化的,我们要通过JS逆向来分析url产生过程,通过execjs来执行逆向后的js。 逆向过程(略)这里实在是比较复杂,语言不好描述,视频可能方便些。 效果如下: 比如第一个城市安吉,它的旅游景点的页数是304页,一些景点少的,才个位数,所以我们这里不能爬取固定页数,程序很容易报错。 通过分析发现,这个post请求中存在总旅游景点数,我们用它除以每页的景点数量,可以得到景点页数 效果: 比如 安吉市第一条,云上草原 效果:
全国景点评论爬虫数据量非常庞大,建议使用分布式爬虫,代理IP,随机UA等等多种反爬手段,提高爬虫稳定性和爬虫效率。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |