豆瓣电影排行榜界面： 选择喜剧分类： 我们要爬取的数据是：电影名称、导演、演员、上映时间、国家等这些数据。

如何进行爬取： 这些信息是当前页面的局部信息，那么是否会遇到数据解析。 除了数据解析还可以使用哪种方式实现？

爬取当前页面的URL会得到整张页面。如何只获取我们想要的数据，我们可以看一下会不会和day3所学习的破解百度翻译类似，采用了Ajax请求，请求到json数据。

我们发现在上一个页面中，当我们滑动鼠标滚轮的时候，当鼠标滚轮滑到底部时，滚轮会自动返回到中部左右，故说明滚动到底部时发起了Ajax请求，请求到了另外一批电影数据。地址栏URL没变，页面局部刷新

打开抓包工具验证： 检查–>network–>XHR 拖动滚轮走 拖到到底部时捕获到了一盒Ajax请求数据包： 打开看看： 得出： 是一个GET请求，携带的参数为5个如图一所示。 那么意味着对这个url发起一个get请求让他携带这些参数就可以拿到一组json数据？ 不一定，我们去content-type看一下：是application/json ，那么肯定是一组json数据了。

打开Response就可以看到我们请求到这一批新的电影数据。

爬取从第一部电影开始的20部电影 代码1：

得到的json数据是： 把他放在json格式化工具中显示一下：

看到爬到的第一部电影《美丽人生》的信息： 动态修改limit和start参数就可以动态或许任何电影信息： 代码2： 自定义爬取从第二部电影开始的两部电影：

得到的json数据（部分）：

总结： 这次和破解百度翻译比较类似，百度翻译是局部信息更新，我们也只需要翻译的那部分信息，需要去找单词的sug里的URL，在POST请求里将word写成一个动态的参数封装到data赋给POST请求即可。这次是一个GET请求，这次是动态修改limit和start。对页面刷新，自动进行Ajax请求的爬取有了更完整的体会和实践。