GitHub链接：https://github.com/zemengchuan/CnkiSpider

CnkiSpider可以通过简单的代码实现高效的知网文章信息爬取，主要爬取的内容包括：【标题、作者、发表时间、来源、链接】，并将爬取的结果保存为CSV格式。经测试，某作者在知网上的821篇文章只需要2-4s即可全部获取（不同设备及网络情况可能会出现差异），效率相对而言比较高。

CnkiSpider的高效来自于采用了多线程的方式进行爬取。目前实现了知网常规的所有搜索方式进行查询，将来还会持续更新通过其他缩小范围的方式（如发表年度、研究层次等）方式，还计划实现相关的图表分析功能，现在先将实现的部分上传供大家使用

CnkiSpider的核心函数是CnkiSpider(search_mode, search_content,author_code='', institution='')，其中，searchmode是搜索模式，可选内容如下表所示：

search_content是搜索内容，填入您需要搜索的内容即可；author_code和institution是使用通过作者查询时的可选参数，为作者代码和作者第一机构，如果不需要通过作者查询或不知道这两个内容，可以不填。

CnkiSpider对象有以下几个属性供用户调用：

CnkiSpider对象目前有两个方法：

.get_overview(save=True)获取搜索信息概览，默认保存概览文件overview.csv，可以修改save=False不保存文件，函数会返回一个DataFrame对象。使用方法如下：

输出结果：

.get_result()返回搜索内容在知网上的所有反馈，并且保存在result.csv文件中。函数会返回一个DataFrame对象。使用方法如下：

输出结果：

输出结果：

文件预览：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HlrKVBd2-1676947711255)(C:\Users\pc\AppData\Roaming\Typora\typora-user-images\image-20230220165718595.png)]