本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容，以学习笔记形式编写的。 本专栏不光是自己的一个学习分享，也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。专栏地址：Python网络数据爬取及分析「从入门到精通」 更多爬虫实例详见专栏：Python爬虫牛刀小试

前文回顾：「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试 「Python爬虫系列讲解」四、BeautifulSoup 技术

目录

1 分析网页 DOM 树结构

1.1 分析网页结构及简单爬取

1.2 定位节点及网页反页分析

2 爬取豆瓣电影信息

2.1 获取序号

2.2 获取电影名称

2.3 获取电影链接

3 链接跳转分析及详情页面爬取

3.1 爬取详情页面基本信息

3.2 爬取详情页面电影简介

3.3 爬取详情页面热门影评信息

4 本文小结

上一讲详细介绍了 BeautifulSoup 技术，本文将结合具体实例进行深入分析。具体而言，本文讲述一个基于 BeautifulSoup 技术的爬虫，用于爬取豆瓣排名前 250 名电影的信息，主要内容包括：分析网页 DOM 树结构、爬取豆瓣电影信息、分析链接跳转及爬取每部电影对应的详细信息。

确定目标网页 url 地址：https://movie.douban.com/top250?format=text

由上图可见，豆瓣排名前 250 名电影中部分电影的信息，包括电影中文名称、英文名称、导演、主演、评分、评论数等信息，接下来需要对其进行 DOM 树结构分析。

HTML 网页是以标签对的形式出现的，这种标签对呈树形结构显示，通常称为 DOM 树结构。

首先要对目标页面进行元素分析，比如这里所说的豆瓣电影网站，邮寄选择“检查”或按下键盘 F12 键查看。

通过点击元素选择器 “” 我们发现，想要的目标信息全在 路径下的 标签对里。其中，电影《肖申克的救赎》的 HTML 中对应的内容为 …… ，因此可以通过 class 值为“item” 来定位电影的信息。调用 BeautifulSoup 扩展库的 find_all(attrs={"class": "item"}) 函数获取其信息。

下面这段代码可以获取电影的信息，调用 BeautifulSoup 中的 find_all() 函数可以获取“”的信息。

前面用代码实现了获取电影简介的信息，但是这些信息是融合在一起的，而在数据分析时，通常需要将某些具有使用价值的信息提取出来，并存储至数组、列表或数据库中，比如电影名称、演员信息、电影评分等。

这里有两种常见的信息供大家参考：

像这样一对应，就会很轻易地查看到比如“评价人数”等数据在节点中的位置。

获取节点的核心代码如下，定位 class 属性为 “item” 的 div 布局后，再调用 find_all() 函数查找 class 属性为 “title” 的标签，并获取第一个值输出。接着调用 find() 函数爬取评分信息，通过 get_text() 函数获取内容。

讲到这里，第一页的 25 部电影就爬取成功了，而这样的网页共 10 页 ，每页显示 25 部电影，那么如何获取这250部电影的网证信息呢？这就涉及到了链接跳转和网页的翻页分析。

网页的翻页分析通常有 3 种方法：

通过单击上图中的 “2”、“3”、“10” ，可以看到网页的 URL 的变化如下：

第 2 页：https://movie.douban.com/top250?start=25&filter= 第 3 页：https://movie.douban.com/top250?start=50&filter= 第10页：https://movie.douban.com/top250?start=225&filter=

网页 URL 变化是有一定规律的，“ top250? star = 25 ”表示获取第 2 页（序号为 26~50 号）的电影信息；“ top250? star = 50 ”表示获取第 2 页（序号为 51~75 号）的电影信息，以此类推。这里写一个循环即可获取 250 部电影的完整信息。

当 i 的初始值为 0，num 值为 0 时，获取第 1 页信息；当 i 增加为 1，num 值为 25 时，获取第 2 页信息；当增加为 9，num 值为 225 时，获取第 10 页的信息。 

首先给出完整代码：

序号对应的 HTML 源码如下图所示，需要定位到“ 1 ” 节点，通过 find('em') 函数获取具体内容。

获取代码如下：

电影名称（包括中文名称和英文名称）在 “” 中，而电影其他名称则在 “ ”，所以使用 tag.find_all(attrs={"class": "title"}) 代码获得了两个标题，但这里仅需要中文标题，故直接通过变量 name[0] 获取其第一个值，即为中文名称，在调用 get_text() 函数用于获取其内容。

上述代码调用了 codes 库进行文件处理，其中文件操作的核心代码如下。打开文件的 3 各参数分别是：文件名、读/写方式、编码方式。此处文件名为“Result_Douban.txt”，采用文件写方式（a），编码方式为“utf-8”。

获取评分与获取内容的方法一样。但是这样存在一个问题，它输出的结果将评分和评价数放在了一起，如“9.4 783221人评价”，而通常在做分析时，评分存在一个变量中，评价数存在另一个变量中。这就需要利用正则表达式进行简单地=的文本处理。调用 re.compile(r'\d+\.?\d*') 获取字符串中的数字，第一个数字为电影的评分，第二个数字是电影的评论数。

前面爬取了电影的超链接地址，以《申肖克的救赎》为例，打开得到的超链接可以看到该电影的详细信息，如下图所示：

同样，首先给出完整代码：

这里截取排名第四的电影《这个杀手不太冷》的输出结果进行展示：

首先对详情页面进行 DOM 树节点分析，其基本信息位于 …… 标签下，核心内容位于该节点下的子节点中，即 ……。

同样，通过浏览器审查元素可以得到如下图所示的电影简介 HTML 源码，其电影简介位于 …… 节点下，他包括简短版（Short）简介和隐藏的详细版简介（all_hidden），这里通过 fin(attrs={"class":"related-info"}).get_text() 获取，代码如下：

热门影评信息位于“……” 节点下，然后获取多个 class 属性为 “comment-item” 的 div 布局。当时用 find() 或 find_all() 函数进行爬取时，需要注意标签属性是 class 还是 id，或是其他，必须与之对应一致才能能正确爬取。

至此，使用 BeautifulSoup 技术分析爬取豆瓣电影前 250 名电影信息的实例已经讲解完毕了，但在实际爬取过程中可能会由于某些页面不存在而导致爬虫停止，这时需要使用异常语句 " try - except - finally " 进行处理。同时，爬取过程中需要结合自己所需数据进行定位节点，存储至本地文件中，也需要结合字符串处理过滤一些多余的空格或换行。

在学习网络爬虫之前，首先要掌握分析网页节点、审查元素定位标签，甚至是翻页跳转、URL 分析等知识，然后才是通过 Python、Java 或 C# 实现爬虫的代码。

本文深入讲解了 BeautifulSoup 技术网页分析并爬取了豆瓣电影信息，同时，将所有爬取内容存储至 .txt 文件中。当然也可以存储至 Excel 、CSV、Json 文件中，甚至存储至数据库中，这将为后面的数据分析提供强大的数据支撑，使数据处理起来更加方便。 

感谢阅读