百度文库在我们需要查找复制一些文档的时候经常用到，但是，现在的百度文库没以前那么可爱了，下载要收费，开会员，一个字都不给复制，这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法，这里我给各位分享一下一个简易但实用的爬虫脚本，提供url，生成txt文件。

我们首先在百度文库随便搜索一片文章，（此脚本只针对DOC文档）打开它，查看源码 我们定位到具体某行文字，可以发现文字都分布在各个标签内部，这时候和我一样初学爬虫的小伙伴会想到用request来获取html源码，用BeautifulSoup进行操作，想法是好的，可是现在的百度文库不是以前，现在的百度文库的反爬手段还是有的，当你request下来后你会发现根本找不到文章中的文字，道高一尺魔高一丈，这时候我们就用到了selenium。

selenium是一个浏览器自动化测试框架，可以模拟用户真正的访问，用selenium的page_source可以获取到更真实的html源码， selenium安装参考大佬的博客：https://blog.csdn.net/loner_fang/article/details/80488705添加链接描述

上面代码是引入selenium，设置chromedriver目录，伪装手机端登陆的全过程，（伪装手机登陆很重要，手机端获取的html与pc端是不一样的）在driver.page_source获取到html源码之后，一起都变得简单起来，现在相当于拿到了一个大型字符串，我们的任务就是从这个大型字符串中获取我们想要的文字，这时候我们只要分析html并用bs4来操作就行了

运行程序，自动打开的浏览器显示的页面与之前不一样了，前端源码更是不一样，这时候通过定位文字可以更好的分析html层级关系，这时候通过分析我们发现每一页的文字都是隐藏在一个有 data-id = "div_class_1"的div里面，第二页就是 在（div_class_2）中

一整页的文字都在里面 文章标题也通过浏览器定位找到了位置

找到了标题和文字的特征后，可以用bs4来完成筛选查找工作，首先生成soup对象，用find_all查找标题和分页所在的div，这时候由于文档有可能不止一页，所以我们用正则表达式来指定一个规则寻找每一页的div，并用find_all（）获取每一页的soup对象，然后用find获取标题的soup对象，用getText（）获取标题div中的文字，这时候我们发现提取到的文字有时有大量多余的空格以及无用字符，可根据情况进行切片和去空，加上’.txt‘后缀生成文件名，代码大致如下，

我们的txt_label对象实际上是每一页的div的集合，是一个可迭代对象，将它遍历得到的div_class_num分别包含了每一页文字内容再将遍历得到的div_class_num遍历可以得到具体每一小片的文字，用getText（）提取， t.write(row.encode()+’\n’.encode())写入文件因为使用二进制写入的原因所以每个row都要用encode（）方法，写入完成后，

t.close()即可，这时候我们需要的功能都已经实现了，下面是完整的百度文库DOC文档的爬取代码：

复制url测试: 回车，然后浏览器自动打开： 这时候看我们的控制台，打印出性感的文档： 再看看生成的txt： 到这里我们的简易DOC百度文库爬虫以及完成， 稍加修改可以爬取txt和其他格式的文件，相信各位看官都能做出来的，这里就不多逼逼了。

如果在运行出现txt没有内容只有标题，可能是soup对象找错了，原因是该爬虫仅针对DOC格式的文档，你可能爬了txt或者别的格式的文档，别的格式原理相同，re规则改一下就好了，（pycharm运行复制完url后记得按空格！！），百度文库的规则经常性更改，代码也许过段时间就不能用了。

其他格式规则略有不同，参考我写的这些垃圾代码也能看懂个大概，代码略显粗糙，各位将就这看吧。