scrapy爬虫下载文件、重命名文件 |
您所在的位置：网站首页 › spyder重命名文件 › scrapy爬虫下载文件、重命名文件 |
|
scrapy下载文件并重命名文件，python下载文件并重命名文件 目标：下载网页 http://www.zimuku.cn/search?q=&t=onlyst&p=1 上的字幕文件 设计：涉及scrapy的文件下载中间件 扩展：下载图片也是同样的原理 代码：如下 (1)爬虫模块 # coding:utf-8 import sys import urllib import os reload(sys) sys.setdefaultencoding( "utf-8" ) import scrapy from w3lib.html import remove_tags from subtitle_crawler.items import SubCrawlerItem class SubSpider(scrapy.Spider): name = "sub" allowed_domains = [] start_urls = [ "http://www.zimuku.cn/search?q=&t=onlyst&p=%s" %i for i in range(1,21) ] |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |