加粗样式在我前面的博客中，通过利用python的requests库和BeautifulSoup库对静态网站进行爬取，但如果遇到动态网站怎么办呢？接下来我们试着通过API来对动态网站进行爬取想要的数据。

在爬取数据之前，我想给大家简单讲一讲动态网站和静态网站的区别，便于大家理解为什么动态网页和静态网页的爬取方法不同。 抛开那些概念来理解，静态网站相当于是提前把网站内容写好的，你看到的内容是不会变的，就像我上一篇博客爬取的豆瓣电影榜top250一样；而动态网站可以根据我们用户的需求而改变，比如评论，只要你去评论，评论就可以更新到网站上。 简单理解了动态网站和静态网站的区别，我们在爬取数据之前还需要了解一个重要的东西——robots.txt robots.txt 是一种存放于网站根目录下的文本文件，用于告诉爬虫此网站中的哪些内容是不应被爬取的，哪些是可以被爬取的，它就相当于互联网的君子协议，需要大家自觉遵守，但不能阻止你去爬取数据，希望大家以后还是好好遵守这个规则。 要想查看robots.txt，我们只要在网站域名后加上 /robots.txt 即可查看，例如今天我们要爬取的是QQ音乐(https://y.qq.com)。 它的robots.txt是：https://y.qq.com/robots.txt，用浏览器打开后如图： 由上面我们可以知道，它禁止我们爬取playlist相关的信息，对我们今天爬取的评论没有影响。

下面我们将正式开始爬取评论。首先打开QQ音乐主页(https://y.qq.com)，搜索一首你喜欢的歌曲，我用的是我比较喜欢的一首老歌叫“雨爱”，然后进去歌曲主页如下图： 鼠标往下面翻就可以看到歌曲的评论，也就是我们今天要爬取的数据。 接着我们打开开发者工具(ctrl+shift+i)，然后点击Network，再选择XHR(我们需要的评论内容就在XHR内)，然后我们会看到很多请求信息，如下图： 在这些请求中有很多参数，我们目前只需要关注Name和Size,这分别代表了这些请求的名字和大小，而我们爬取的评论一般参数Name中带有comment，参数Size大概超过1kb，很快我们发现满足条件的就只有下图这个。(若有多个满足，就重复下面步骤排除！) 然后我们点开Genral，查看它的Request URL，并将蓝色部分的网址复制用一个新的页面打开，按ctrl+f，随意搜一条评论的内容，看看是不是我们要找的网址。下面我搜取的是第一条评论，发现这就是评论在的网页，如图： 在这个页面我们可以观察得：评论数据在comment下的commentlist中，今天我们就来获取commentlist中 nick(评论者的网名) 和rootcommentcontent(评论内容) 这两个数据。 好了，前期工作做完了，我们来看下代码吧！

运行结果如下： 大家可能发现跟爬取静态网站代码相比有两个地方代码不同，第一个是params参数，它的作用是以字典的形式传递链接的查询字符串参数，使代码看上去更加的整洁明了，让我们上面获取的Request URL变得更简洁，有兴趣的朋友可以自己去了解下，直接用原来的Request URL也是可以的；第二个地方是多了一个解析JSON，这个的作用是将刚才获取的数据(也就是JSON)，转换成字典。

在学会怎么爬取一页评论后，我们来怎么爬取多页或者所有的评论。首先在第一页评论中打开开发者工具(ctrl+shift+i)，然后点击Network，再选择XHR，再点击刚才那个请求，再点击它Headers，再点开Query String Parameters。再打开第二页评论重复上述步骤，对比它们的Query String Parameters，我们可以发现其中的pagenum和lasthotcommentid两个的值发生了变化。 可以多打开几页的评论，我们发现pagenum每次都加1，相当于翻了一页；而 lasthotcommentid 是上一页最后一个评论的 commentid，相当于连接两页评论的标识。找到规律后我们就可以开始写我们的整个代码啦！我们先爬取前五页的评论试试。

部分运行结果： 以上就是所有主要步骤和代码啦，大家可以试试去爬取所有的评论哦，还有就是将参数pagesize改为100，可以提高爬取速度，但不要太大哈。如果大家有什么问题请随时指正，互相学习，一起进步！