目标网址：https://gary666.com/learn

爬取方式：requests+bs4

难度：易

基本爬取的内容：

输出：页面中所有的文章的标题、内容、作者、文章分类、时间 对应上图（标题为win10python安装配置selenium 、作者是Gary、文章分类python、时间2020-7-9）

选做内容：

对网页进行分析，是进行网页爬虫的重要步骤之一。（此处不会具体讲解网页分析的过程，具体可参照https://blog.csdn.net/twk121109281/article/details/90401671) 1.获取url：通过观察页面获取url地址的规律以及总的页码数：构造url地址的列表。首先我们观察每一个页面的url地址的区别，发现它有以page=“页面数”这样的规律。 于是我们可以根据这个规律进行对网页进行循环：

2.接着就是发送请求，获取响应 发送请求需要我们使用requests模块，可以用下面的代码进行：

3.跟着就是提取所有文章数据 提取数据需要我们使用BeautifulSoup模块。 我们通过审查元素可以看到每一个文章模块就是一个div标签. 提取所有文章数据可以用下面代码进行：

4.然后提取单个文章的所有信息 我们下面以一篇文章的标题为例，提取信息（注：我使用的是火狐浏览器）。 文章的标题在标签内 于是我们用下列代码提取文章的标题：

5.最后保存数据 我们将爬取的文章数据保存到txt文件中，如下面代码所示：