前段时间奉俊昊的《寄生虫》在奥斯卡上获得不少奖项，我也比较喜欢看电影，看过这部电影后比较好奇其他人对这部电影的看法，于是先用R爬取了部分豆瓣影评，jieba分词后做了词云了解，但是如果不登录豆瓣直接爬取影评只可以获得十页短评，这个数据量我认为有点少，于是整理了python模拟登录豆瓣，批量爬取数据，制作特别样式词云的方法。

关于每个库的运用要熟悉挺久，我也只是入门级

首先需要分析豆瓣的登录页面

点击鼠标右键进入“检查”，在登录窗口里输入错误的登录信息，进入Network下名为basic中，这里有许多有用的信息，如 Request URL，User-Agent，Accept-Encoding，等等 还需要看看请求登录时携带的参数，将调试窗口往下拉查看Form Data。

进入电影的短评页面，分析网页，获得网页的URL，然后分析网页源代码，查看影评在网页哪个标签内，有什么特点，然后使用正则表达式来匹配想要的标签内容。

可以发现影评都在这个标签里。

批量爬取主要分析网页的分页参数，在豆瓣短评url中，start参数是控制分页的参数。

登录成功的话就会执行批量爬取，豆瓣网页只可查看25页的短评

得到短评文档如下：

影评获得后，就可以用jieba来分词，用wordcloud制作词云了。最普通的词云都可以这样制作：

得到的词云如下：

会制作普通词云其实比较一般，我们还可以制作图片形状背景的词云，并且词的颜色与图片颜色一致。

背景图片如下：

图片背景的词云：

从词云可以看出来，豆瓣网友喜欢拿《燃烧》与这部电影对比，并且能看到醒目的“富人”，“穷人”，“阶级”，“底层”这种词语说明大多数人都认为《寄生虫》是反映这些主题的电影，也隐约可以看到“喜欢”，“好看”，“完美”这些夸奖的词汇，说明大部分人是认可这部电影的，但也能看见“商业”这样的评价，说明对这部电影还是存在一些争议。

如上结束了我们模拟网页登录，提取网页中影评，批量爬取，制作词云与特别形状词云。 整个流程下来会大致了解网页结构，爬虫思路，简单了解requests库的实用，与用R对比起来Python爬虫的确更加优美方便，正则表达式提取影评部分也非常的直接，数据清洗，词云制作，也非常的通俗易懂，Python的确是不得不学习的利器之一。