目录

Scrapy是什么

安装

使用

获取更多页面信息

写入数据库

图片下载

文件下载

更改文件名称以及路径

更改图片名称以及路径

循环获取页面信息时，item的数据重复或者对不上

下载文件时获取文件流直接上传到某个地方

Scrapy 是一个基于 Python 的开源网络爬虫框架，用于从网页中提取数据。它提供了一套高效、灵活和可扩展的工具，可以帮助开发者快速构建和部署爬虫程序。

Scrapy 框架具有以下特点：

高性能: Scrapy 采用异步的网络请求和处理机制，能够高效地处理大规模的网页抓取任务。

可配置性: Scrapy 提供了丰富的配置选项，可以通过配置文件或代码灵活地设置爬虫的行为，包括请求头、请求间隔、并发数等。

XPath 和 CSS 选择器: Scrapy 内置了强大的选择器，支持使用 XPath 和 CSS 选择器来定位和提取网页中的数据。

中间件和扩展: Scrapy 提供了中间件和扩展机制，开发者可以通过编写中间件和扩展来自定义和扩展框架的功能，例如自定义请求处理、数据处理、错误处理等。

分布式支持: Scrapy 可以与分布式任务队列（如 Celery）结合使用，实现分布式爬取和数据处理。

数据存储: Scrapy 支持将爬取到的数据存储到各种数据存储系统，包括文件、数据库（如 MySQL、PostgreSQL）和 NoSQL 数据库（如 MongoDB）等。

日志和调试: Scrapy 提供了强大的日志和调试功能，可以帮助开发者进行爬虫的调试和错误排查。

 英文文档：Scrapy 2.9 documentation — Scrapy 2.9.0 documentationhttps://docs.scrapy.org/en/latest/

中文文档：

Scrapy 2.5 documentation — Scrapy 2.5.0 文档https://www.osgeo.cn/scrapy/

确保你已经安装了Python。Scrapy是一个Python框架，所以你需要先安装Python。你可以从Python官方网站Welcome to Python.orgThe official home of the Python Programming Languagehttps://www.python.org/

打开命令行终端（Windows用户可以使用命令提示符或PowerShell，Mac和Linux用户可以使用终端）。

在命令行中运行以下命令来安装Scrapy：

这将使用pip包管理器下载并安装Scrapy及其依赖项。

等待安装完成。这可能需要一些时间，因为Scrapy的安装过程涉及到下载和安装多个组件。

安装完成后，你可以通过在命令行中运行以下命令来验证Scrapy是否成功安装：

如果Scrapy成功安装，你将看到Scrapy的版本信息和可用命令列表。

代码的逻辑思维如下：

在start_requests方法中，构造了多个请求，每个请求对应一个搜索结果页的URL。通过循环生成URL，并使用yield返回一个scrapy.Request对象，该对象包含URL和相关的参数。

在parse方法中，处理搜索结果页的响应。首先解析响应的JSON数据，获取每个应用的相关信息。然后对于符合条件的应用，构造应用详情页面的URL，并使用yield返回一个新的scrapy.Request对象，以及使用cb_kwargs参数传递额外的数据。

在parse_versions方法中，处理应用详情页面的响应。解析响应的JSON数据，获取应用的不同版本信息。根据版本号进行筛选和处理，最终构造每个版本的详情页面URL，并使用yield返回一个新的scrapy.Request对象。

在parse_detail方法中，处理应用详情页面的响应。解析响应的JSON数据，提取应用的详细信息，如名称、版本、作者、简介等。根据需要进行数据处理和清洗。最后将提取的数据组织成一个PackageItem对象，并使用yield返回。

在yield package_item处，将最终的数据对象PackageItem返回给Scrapy框架进行后续处理，例如存储到数据库或导出为文件。

至于如何获取深层页面的内容，这段代码通过构造新的请求对象，使用scrapy.Request来获取深层页面的内容。在每个页面的解析方法中，通过解析响应数据和提取所需的URL，再次构造新的请求对象，从而实现爬取深层页面的数据。这种方式可以实现页面之间的跳转和链式爬取，让爬虫可以深入到不同的页面进行数据提取和处理。

注意⚠️：因为保密工作，博主已将关键字段删除，所以以下代码是不可用状态，大家看看代码逻辑即可。

确保你已经安装了pymysql库。如果没有安装，可以使用以下命令进行安装：

定义一个名为DatabasePipeline的自定义Pipeline类。用于将数据存储到数据库中：

需要注意的是，这里的__init__、open_spider、close_spider、process_item都是内置的方法，可以选择在open_spider中进行数据库初始化，在process_item中进行操作，最后在close_spider中提交数据，断开连接。（数据库的基础操作就不多说了，有需要的可以去学学。）

 在Scrapy项目的settings.py文件中添加管道配置：

在Scrapy项目的settings.py文件中添加以下配置： 

在Spider中的Item定义中，添加一个名为image_urls的字段，用于存储需要下载的图片的URL。

修改Spider中的parse方法，在解析每个项目时，通过yield语句将包含图片URL的Item传递给Pipeline进行处理。 

运行Scrapy爬虫，当解析到包含image_urls字段的Item时，scrapy.pipelines.images.ImagesPipeline会自动下载图片并将下载后的结果保存到配置的图片保存目录中。 

和上面下载图片的方式一样这里只需要进行一些基本的配置。

在Scrapy项目的settings.py文件中添加以下配置：

在Spider中的Item定义中，添加一个名为file_urls的字段，用于存储需要下载的文件的URL。

修改Spider中的parse方法，在解析每个项目时，通过yield语句将包含文件URL的Item传递给Pipeline进行处理

注意这里是重写了 file_path、get_media_requests这两个方法，通过get_media_requests将下载地址进行分解后得到版本信息，应用名称等关键信息，然后通过request的meta将文件传递到下一层，在file_path方法中将文件名称与保存地址重新赋值。这样就可以得到完整的地址了。

这里的思路和文件的更改方向一致。不再做过多赘述。附上代码。

这里我的代码应该是循环了两次，一次获得应用名，一次获得版本信息，按照理想状态，最后的item数据每个都是唯一的，但是实际情况是最后的item很多数据都是重复和错乱的，要么导致不同应用的下载地址与版本一样或者错乱。

查找原因后，发现是因为使用 Request 函数传递 item 时，使用的是浅复制（对象的字段值被复制时，字段引用的对象不会被复制

解决方法就是添加一个copy.deepcopy()将数据深拷贝一下就行了。

如题所示，老板总能让你在意想不到的地方干意想不到的事，Scrapy本来只是抓取保存处理数据的地方，但是却让人在这里发请求，上传文件，头像，信息等等。信息什么的倒还好，存数据库时顺带发一下就行，但是，文件头像的下载是异步执行，所有程序完成以后才会保存到对应的文件夹下。在普通的item里是能拿到files列表里的信息的，但是会有问题，指向的路径此时为空，因为异步的原因。所以这里有两种方法。

第一种单独写个脚本，在爬虫程序执行完以后，将固定文件夹下的所有文件按次序上传。以下是一个脚本示例。

第二种是 直接改Scrapy的源码。直接将buf（二进制文件流）传过去。

博主是个前端小菜鸡，这也是被老板硬忽悠着去干了爬虫，走了太多太多的坑，循环，深浅拷贝，异步，数据库存储等等等等，python，数据库，scrapy都是现学现用，确实给累好了这两周，简单记录一下，希望对各位有所帮助。唉😮‍💨难受死了