python实现scrapy爬虫每天定时抓取数据 |
您所在的位置:网站首页 › python如何自动运行 › python实现scrapy爬虫每天定时抓取数据 |
python实现scrapy爬虫每天定时抓取数据
1. 前言。
1.1. 需求背景。
每天抓取的是同一份商品的数据,用来做趋势分析。要求每天都需要抓一份,也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定,受本地网络,代理速度,抓取数据量有关,一般情况下在20小时左右,极少情况下会超过24小时。
1.2. 实现功能。
通过以下三步,保证爬虫能自动隔天抓取数据:
每天凌晨00:01启动监控脚本,监控爬虫的运行状态,一旦爬虫进入空闲状态,启动爬虫。一旦爬虫执行完毕,自动退出脚本,结束今天的任务。一旦脚本距离启动时间超过24小时,自动退出脚本,等待第二天的监控脚本启动,重复这三步。
2. 环境。
python 3.6.1系统:win7IDE:pycharm安装过scrapy
3. 设计思路。
3.1. 前提:目前爬虫是通过scrapy模块自带的cmdline.execute来启动的。
from scrapy import cmdline
cmdline.execute('scrapy crawl mySpider'.split())
3.2. 将自动执行脚本做到scrapy爬虫的外部
(1)每天凌晨00:01启动脚本(控制脚本的存活时间为24小时),监测爬虫的运行状态(需要用一个标记信息来表示爬虫的状态:运行还是停止)。
如果爬虫处于运行状态(前一天爬取数据尚未结束),进入第(2)步; 如果爬虫处于非运行状态(前一天的爬取任务已完成,今天的尚未开始),进入第(3)步;(2)脚本进入等待阶段,每隔10分钟,检查一下爬虫的运行状态,如(1)。但是一旦发现,脚本的等待时间超过了24小时,则自动退出脚本,因为第二天的监测脚本已经开始运行了,接替了它的任务。(3)做一些爬虫启动前的准备工作(删除用来续爬的文件,防止爬虫不运行了),启动爬虫爬取数据,待爬虫正常结束后,退出脚本,完成当天的爬取任务。
4. 准备工作。
4.1. 标记爬虫的运行状态。
通过判断文件是否存在的方式来判断爬虫是否处于运行状态: 在爬虫启动时,创建一个isRunning.txt文件。在爬虫结束时,删除这个isRunning.txt文件。那么isRunning.txt存在,就说明爬虫正在运行;文件不存在,就说明爬虫不在运行。 # 文件pipelines.py # 爬虫启动时 checkFile = "isRunning.txt" class myPipeline: def open_spider(self, spider): self.client = MongoClient('localhost:27017') # 连接Mongodb self.db = self.client['mydata'] # 待存储数据的数据库mydata f = open(checkFile, "w") # 创建一个文件,代表爬虫在运行中 f.close() # 文件pipelines.py # 爬虫正常结束时 checkFile = "isRunning.txt" class myPipeline: def close_spider(self, spider): self.client.close() isFileExsit = os.path.isfile(checkFile) if isFileExsit: os.remove(checkFile) 4.2. 爬虫支持续爬,能随时暂停,方便调试。 # 在scrapy项目中添加start.py文件,用于启动爬虫 from scrapy import cmdline # 在爬虫运行过程中,会自动将状态信息存储在crawls/storeMyRequest目录下,支持续爬 cmdline.execute('scrapy crawl mySpider -s JOBDIR=crawls/storeMyRequest'.split()) # Note:若想支持续爬,在ctrl+c终止爬虫时,只能按一次,爬虫在终止时需要进行善后工作,切勿连续多次按ctrl+c参考以下这篇博客部署windows计划任务: http://blog.csdn.net/zwq912318834/article/details/77280573 有关windows计划任务相关设置的详细说明如下: https://technet.microsoft.com/zh-cn/library/cc722178.aspx 6.2. 注意事项。 (1)在添加计划任务时,要按照如下图进行勾选(只在用户登录时运行),才能弹出下面的cmd任务界面,方便观察和调试。正常执行完成: 正在执行中: |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |