设置 |
您所在的位置:网站首页 › 五十铃700p房车出售 › 设置 |
内置设置参考¶
以下是所有可用的零碎设置的列表,按字母顺序排列,以及它们的默认值和应用范围。 如果设置绑定到任何特定组件,那么范围(如果可用)将显示使用该设置的位置。在这种情况下,将显示该组件的模块,通常是扩展、中间件或管道。它还意味着必须启用组件才能使设置生效。 AWS_ACCESS_KEY_ID¶违约: None 需要访问的代码使用的AWS访问密钥 Amazon Web services ,比如 S3 feed storage backend . AWS_SECRET_ACCESS_KEY¶违约: None 需要访问的代码使用的AWS密钥 Amazon Web services ,比如 S3 feed storage backend . AWS_SESSION_TOKEN¶违约: None 需要访问的代码使用的AWS安全令牌 Amazon Web services ,例如 S3 feed storage backend ,当使用 temporary security credentials 。 AWS_ENDPOINT_URL¶违约: None 用于类似S3的存储的端点URL,例如Minio或S3.scality。 AWS_USE_SSL¶违约: None 如果要禁用与S3或类似S3的存储进行通信的SSL连接,请使用此选项。默认情况下将使用SSL。 AWS_VERIFY¶违约: None 验证scray和S3或类似S3的存储之间的SSL连接。默认情况下,将进行SSL验证。 AWS_REGION_NAME¶违约: None 与AWS客户端关联的区域的名称。 ASYNCIO_EVENT_LOOP¶违约: None 给定的导入路径 asyncio 事件循环类。 如果启用了异步电抗器(请参阅 TWISTED_REACTOR )此设置可用于指定要与之一起使用的异步事件循环。将设置设置为所需的异步事件循环类的导入路径。如果设置为 None 将使用默认的异步事件循环。 如果要使用 install_reactor() 函数,可以使用 event_loop_path 参数指示要使用的事件循环类的导入路径。 请注意,事件循环类必须继承自 asyncio.AbstractEventLoop . 警告 请注意,在使用非默认事件循环(通过 ASYNCIO_EVENT_LOOP 或随一起安装 install_reactor() ),Scrapy会打电话给 asyncio.set_event_loop() ,它将指定的事件循环设置为当前OS线程的当前循环。 BOT_NAME¶违约: 'scrapybot' 这个项目的名字叫Scrapy。此名称也将用于日志记录。 当您使用 startproject 命令。 CONCURRENT_ITEMS¶违约: 100 中并行处理的最大并发项数(每个响应) item pipelines . CONCURRENT_REQUESTS¶违约: 16 Scrapy下载程序将执行的最大并发(即同时)请求数。 CONCURRENT_REQUESTS_PER_DOMAIN¶违约: 8 将对任何单个域执行的最大并发(即同时)请求数。 参见: AutoThrottle 扩展 及其 AUTOTHROTTLE_TARGET_CONCURRENCY 选择权。 CONCURRENT_REQUESTS_PER_IP¶违约: 0 将对任何单个IP执行的最大并发(即同时)请求数。如果非零,则 CONCURRENT_REQUESTS_PER_DOMAIN 设置被忽略,而是使用此设置。换句话说,并发限制将应用于每个IP,而不是每个域。 此设置还影响 DOWNLOAD_DELAY 和 AutoThrottle 扩展 如果 CONCURRENT_REQUESTS_PER_IP 是非零的,下载延迟是每个IP强制执行的,而不是每个域。 DEFAULT_ITEM_CLASS¶默认值: 'scrapy.Item' 将用于实例化中的项的默认类 the Scrapy shell . DEFAULT_REQUEST_HEADERS¶违约:: { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en', }用于报废HTTP请求的默认头。他们住在 DefaultHeadersMiddleware . 警告 Cookie通过 Cookie 标头不会被 CookiesMiddleware 。如果需要为请求设置cookie,请使用 Request.cookies 参数。这是一个正在处理的已知电流限制。 DEPTH_LIMIT¶违约: 0 经营范围: scrapy.spidermiddlewares.depth.DepthMiddleware 允许对任何网站进行爬网的最大深度。如果为零,则不施加限制。 DEPTH_PRIORITY¶违约: 0 经营范围: scrapy.spidermiddlewares.depth.DepthMiddleware 一个整数,用于调整 priority 属于 Request 根据它的深度。 请求的优先级调整如下: request.priority = request.priority - ( depth * DEPTH_PRIORITY )随着深度的增加,正值为 DEPTH_PRIORITY 降低请求优先级(BFO),而负值则提高请求优先级(DFO)。也见 Scrapy是以广度优先还是深度优先的顺序爬行? . 注解 此设置调整优先级 以相反的方式 与其他优先级设置相比 REDIRECT_PRIORITY_ADJUST 和 RETRY_PRIORITY_ADJUST . DEPTH_STATS_VERBOSE¶违约: False 经营范围: scrapy.spidermiddlewares.depth.DepthMiddleware 是否收集详细深度统计信息。如果启用此选项,则在统计信息中收集每个深度的请求数。 DNSCACHE_ENABLED¶违约: True 是否启用DNS内存缓存。 DNSCACHE_SIZE¶违约: 10000 DNS内存缓存大小。 DNS_RESOLVER¶2.0 新版功能. 违约: 'scrapy.resolver.CachingThreadedResolver' 用于解析DNS名称的类。违约 scrapy.resolver.CachingThreadedResolver 支持通过指定DNS请求的超时 DNS_TIMEOUT 设置,但仅适用于IPv4地址。Scrapy提供了另一种解决方案, scrapy.resolver.CachingHostnameResolver ,它支持IPv4/IPv6地址,但不使用 DNS_TIMEOUT 考虑在内。 DNS_TIMEOUT¶违约: 60 处理DNS查询的超时(秒)。支持浮动。 DOWNLOADER¶违约: 'scrapy.core.downloader.Downloader' 用于爬行的下载程序。 DOWNLOADER_HTTPCLIENTFACTORY¶违约: 'scrapy.core.downloader.webclient.ScrapyHTTPClientFactory' 定义扭曲 protocol.ClientFactory 用于HTTP/1.0连接的类(用于 HTTP10DownloadHandler ) 注解 现在很少使用HTTP/1.0,所以您可以安全地忽略此设置,除非您确实想使用HTTP/1.0并重写 DOWNLOAD_HANDLERS 对于 http(s) 相应的计划,即 'scrapy.core.downloader.handlers.http.HTTP10DownloadHandler' . DOWNLOADER_CLIENTCONTEXTFACTORY¶违约: 'scrapy.core.downloader.contextfactory.ScrapyClientContextFactory' 表示要使用的ContextFactory的类路径。 这里,“ContextFactory”是一个用于SSL/TLS上下文的扭曲术语,它定义了要使用的TLS/SSL协议版本,无论是进行证书验证,还是甚至启用客户端身份验证(以及其他各种事情)。 注解 剪贴默认上下文工厂 不执行远程服务器证书验证 . 这通常对爬取Web很好。 如果您确实需要启用远程服务器证书验证,scrapy还可以设置另一个上下文工厂类, 'scrapy.core.downloader.contextfactory.BrowserLikeContextFactory' ,它使用平台的证书来验证远程端点。 如果确实使用自定义ContextFactory,请确保 __init__ 方法接受 method 参数(这是 OpenSSL.SSL 方法映射 DOWNLOADER_CLIENT_TLS_METHOD a) tls_verbose_logging 参数 (bool 和A tls_ciphers 参数(见) DOWNLOADER_CLIENT_TLS_CIPHERS ) DOWNLOADER_CLIENT_TLS_CIPHERS¶违约: 'DEFAULT' 使用此设置可自定义默认HTTP/1.1下载器使用的TLS/SSL密码。 该设置应包含 OpenSSL cipher list format ,这些密码将用作客户端密码。更改此设置可能是访问某些HTTPS网站所必需的:例如,您可能需要使用 'DEFAULT:!DH' 对于DH参数较弱的网站,或启用未包含在中的特定密码 DEFAULT 如果网站需要的话。 DOWNLOADER_CLIENT_TLS_METHOD¶违约: 'TLS' 使用此设置自定义默认HTTP/1.1下载程序使用的TLS/SSL方法。 此设置必须是以下字符串值之一: 'TLS' :映射到OpenSSL TLS_method() (A.K.A) SSLv23_method() ,允许协议协商,从平台支持的最高点开始; 默认,推荐 'TLSv1.0' :此值强制HTTPS连接使用TLS版本1.0;如果希望scrapy的行为小于1.1,请设置此值。 'TLSv1.1' :强制TLS版本1.1 'TLSv1.2' :强制TLS版本1.2 'SSLv3' :强制SSL版本3( 未推荐的 ) DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING¶违约: False 设置为 True 将在建立HTTPS连接后启用有关TLS连接参数的调试级别消息。记录的信息类型取决于openssl和pyopenssl的版本。 此设置仅用于默认 DOWNLOADER_CLIENTCONTEXTFACTORY . DOWNLOADER_MIDDLEWARES¶违约:: {{}} 包含项目中启用的下载器中间软件及其订单的dict。有关详细信息,请参阅 激活下载器中间件 . DOWNLOADER_MIDDLEWARES_BASE¶违约:: { 'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100, 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300, 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350, 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550, 'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560, 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590, 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600, 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700, 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750, 'scrapy.downloadermiddlewares.stats.DownloaderStats': 850, 'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900, }包含默认在scrappy中启用的下载器中间软件的dict。低阶更接近引擎,高阶更接近下载器。您不应该在项目中修改此设置,请修改 DOWNLOADER_MIDDLEWARES 相反。有关详细信息,请参阅 激活下载器中间件 . DOWNLOADER_STATS¶违约: True 是否启用下载器统计信息收集。 DOWNLOAD_DELAY¶违约: 0 下载者从同一网站下载连续页面之前应等待的时间(以秒计)。这可以用来限制爬行速度,以避免对服务器造成太大的冲击。支持十进制数。例子:: DOWNLOAD_DELAY = 0.25 # 250 ms of delay此设置也受 RANDOMIZE_DOWNLOAD_DELAY 设置(默认启用)。默认情况下,scrappy不会在请求之间等待固定的时间,而是使用0.5之间的随机间隔 * DOWNLOAD_DELAY and 1.5 * DOWNLOAD_DELAY . 什么时候? CONCURRENT_REQUESTS_PER_IP 为非零,每个IP地址而不是每个域强制延迟。 您还可以通过设置每个蜘蛛更改此设置 download_delay 蜘蛛属性。 DOWNLOAD_HANDLERS¶违约: {{}} 包含项目中启用的请求下载器处理程序的dict。见 DOWNLOAD_HANDLERS_BASE 例如格式。 DOWNLOAD_HANDLERS_BASE¶违约:: { 'data': 'scrapy.core.downloader.handlers.datauri.DataURIDownloadHandler', 'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler', 'http': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler', 'https': 'scrapy.core.downloader.handlers.http.HTTPDownloadHandler', 's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler', 'ftp': 'scrapy.core.downloader.handlers.ftp.FTPDownloadHandler', }包含在scrappy中默认启用的请求下载处理程序的dict。您不应该在项目中修改此设置,请修改 DOWNLOAD_HANDLERS 相反。 您可以通过分配 None 到他们的URI方案 DOWNLOAD_HANDLERS . 例如,要禁用内置的ftp处理程序(不替换),请将其放入 settings.py :: DOWNLOAD_HANDLERS = { 'ftp': None, }默认的HTTPS处理程序使用HTTP/1.1。要使用HTTP/2,请执行以下操作: 安装 Twisted[http2]>=17.9.0 安装在Twisted中启用HTTP/2支持所需的软件包。 更新 DOWNLOAD_HANDLERS 详情如下: DOWNLOAD_HANDLERS = { 'https': 'scrapy.core.downloader.handlers.http2.H2DownloadHandler', }警告 Scrapy中的HTTP/2支持是试验性的,尚未推荐用于生产环境。未来的Scrapy版本可能会引入相关更改,而不会出现弃用期限或警告。 注解 Scrapy的当前HTTP/2实现的已知限制包括: 不支持HTTP/2明文(H2c),因为没有主要浏览器支持未加密的HTTP/2(请参阅 http2 faq )。 没有指定最大值的设置 frame size 大于默认值16384。与发送较大帧的服务器的连接将失败。 不支持 server pushes ,它们将被忽略。 不支持 bytes_received 和 headers_received 信号。 DOWNLOAD_TIMEOUT¶违约: 180 下载程序在超时前等待的时间(以秒计)。 注解 可以使用以下方法设置每个蜘蛛的超时 download_timeout 蜘蛛属性和每个请求使用 download_timeout requesta键。 DOWNLOAD_MAXSIZE¶违约: 1073741824 (1024MB) 下载程序将下载的最大响应大小(字节)。 如果要禁用它,请将其设置为0。 注解 此尺寸可通过使用 download_maxsize 蜘蛛属性和每个请求使用 download_maxsize requesta键。 DOWNLOAD_WARNSIZE¶违约: 33554432 (32 MB) 下载程序将开始警告的响应大小(字节)。 如果要禁用它,请将其设置为0。 注解 此尺寸可通过使用 download_warnsize 蜘蛛属性和每个请求使用 download_warnsize requesta键。 DOWNLOAD_FAIL_ON_DATALOSS¶违约: True 是否在错误的响应上失败,也就是说,声明 Content-Length 与服务器发送的内容不匹配,或者分块响应未正确完成。如果 True ,这些反应引发了 ResponseFailed([_DataLoss]) 错误。如果 False ,这些响应将传递给 dataloss 添加到响应中,即: 'dataloss' in response.flags 是 True . 或者,可以通过使用 download_fail_on_dataloss 请求.meta键 False . 注解 从服务器配置错误到网络错误,再到数据损坏,在多种情况下可能会发生中断响应或数据丢失错误。由用户决定处理中断的响应是否有意义,因为它们可能包含部分或不完整的内容。如果 RETRY_ENABLED 是 True 此设置设置为 True , the ResponseFailed([_DataLoss]) 失败将像往常一样重试。 警告 此设置将被 H2DownloadHandler 下载处理程序(请参见 DOWNLOAD_HANDLERS )。如果发生数据丢失错误,相应的HTTP/2连接可能会损坏,从而影响使用同一连接的其他请求;因此, ResponseFailed([InvalidBodyLengthError]) 对于使用该连接的每个请求,总是会引发失败。 DUPEFILTER_CLASS¶违约: 'scrapy.dupefilters.RFPDupeFilter' 用于检测和筛选重复请求的类。 默认设置 (RFPDupeFilter )基于请求指纹使用 scrapy.utils.request.request_fingerprint 功能。为了更改检查重复项的方式,您可以子类 RFPDupeFilter 并重写其 request_fingerprint 方法。此方法应接受scrapy Request 对象并返回其指纹(字符串)。 您可以通过设置禁用对重复请求的过滤 DUPEFILTER_CLASS 至 'scrapy.dupefilters.BaseDupeFilter' 。但是要非常小心,因为您可能会进入爬行循环。通常更好的做法是将 dont_filter 参数设置为 True 在特定的情况下 Request 这不应该被过滤掉。 DUPEFILTER_DEBUG¶违约: False 默认情况下, RFPDupeFilter 只记录第一个重复请求。设置 DUPEFILTER_DEBUG 到 True 将使其记录所有重复的请求。 EDITOR¶违约: vi (在UNIX系统上)或空闲编辑器(在Windows上) 用于编辑蜘蛛的编辑器 edit 命令。此外,如果 EDITOR 设置了环境变量, edit 命令将优先于默认设置。 EXTENSIONS¶违约:: {{}} 包含项目中启用的扩展及其顺序的dict。 EXTENSIONS_BASE¶违约:: { 'scrapy.extensions.corestats.CoreStats': 0, 'scrapy.extensions.telnet.TelnetConsole': 0, 'scrapy.extensions.memusage.MemoryUsage': 0, 'scrapy.extensions.memdebug.MemoryDebugger': 0, 'scrapy.extensions.closespider.CloseSpider': 0, 'scrapy.extensions.feedexport.FeedExporter': 0, 'scrapy.extensions.logstats.LogStats': 0, 'scrapy.extensions.spiderstate.SpiderState': 0, 'scrapy.extensions.throttle.AutoThrottle': 0, }包含默认情况下在scrappy中可用的扩展名及其顺序的dict。此设置包含所有稳定的内置扩展。请记住,其中一些需要通过设置启用。 有关更多信息,请参阅 extensions user guide 以及 list of available extensions . FEED_TEMPDIR¶feed temp目录允许您设置自定义文件夹,以便在上载之前保存crawler临时文件 FTP feed storage 和 Amazon S3 . FEED_STORAGE_GCS_ACL¶将项存储到中时使用的访问控制列表(ACL) Google Cloud Storage . 有关如何设置此值的详细信息,请参阅列 JSON API 在里面 Google Cloud documentation . FTP_PASSIVE_MODE¶违约: True 启动FTP传输时是否使用被动模式。 FTP_PASSWORD¶违约: "guest" 当没有ftp连接时用于ftp连接的密码 "ftp_password" 在里面 Request 元。 注解 释义 RFC 1635 尽管匿名ftp通常使用密码“guest”或电子邮件地址,但有些ftp服务器明确要求用户的电子邮件地址,不允许使用“guest”密码登录。 FTP_USER¶违约: "anonymous" 当没有ftp连接时用于ftp连接的用户名 "ftp_user" 在里面 Request 元。 GCS_PROJECT_ID¶违约: None 在上存储数据时将使用的项目ID Google Cloud Storage . ITEM_PIPELINES¶违约: {{}} 包含要使用的项目管道及其订单的dict。顺序值是任意的,但通常在0-1000范围内定义它们。低订单处理优先于高订单。 例子:: ITEM_PIPELINES = { 'mybot.pipelines.validate.ValidateMyItem': 300, 'mybot.pipelines.validate.StoreMyItem': 800, } ITEM_PIPELINES_BASE¶违约: {{}} 包含默认情况下在Scrapy中启用的管道的dict。您不应该在项目中修改此设置,请修改 ITEM_PIPELINES 相反。 JOBDIR¶违约: '' 指示用于存储爬网状态的目录的字符串 pausing and resuming crawls 。 LOG_ENABLED¶违约: True 是否启用日志记录。 LOG_ENCODING¶违约: 'utf-8' 用于日志记录的编码。 LOG_FILE¶违约: None 用于日志记录输出的文件名。如果 None ,将使用标准错误。 LOG_FILE_APPEND¶违约: True 如果 False 指定的日志文件 LOG_FILE 将被覆盖(如果有,则丢弃以前运行的输出)。 LOG_FORMAT¶违约: '%(asctime)s [%(name)s] %(levelname)s: %(message)s' 用于格式化日志消息的字符串。请参阅 Python logging documentation 所有可用占位符列表。 LOG_DATEFORMAT¶违约: '%Y-%m-%d %H:%M:%S' 用于格式化日期/时间的字符串,扩展 %(asctime)s 占位符 LOG_FORMAT . 参考 Python datetime documentation 对于可用指令的整个列表。 LOG_FORMATTER¶违约: scrapy.logformatter.LogFormatter 用于的类 formatting log messages 对于不同的行动。 LOG_LEVEL¶违约: 'DEBUG' 要记录的最低级别。可用级别包括:严重、错误、警告、信息、调试。有关详细信息,请参阅 登录 . LOG_STDOUT¶违约: False 如果 True ,进程的所有标准输出(和错误)都将重定向到日志。例如,如果你 print('hello') 它会出现在残缺的木头上。 LOG_SHORT_NAMES¶违约: False 如果 True 日志只包含根路径。如果设置为 False 然后显示负责日志输出的组件 LOGSTATS_INTERVAL¶违约: 60.0 统计信息的每个日志打印输出之间的间隔(秒) LogStats . MEMDEBUG_ENABLED¶违约: False 是否启用内存调试。 MEMDEBUG_NOTIFY¶违约: [] 当启用内存调试时,如果此设置不为空,则会将内存报告发送到指定的地址,否则报告将写入日志。 例子:: MEMDEBUG_NOTIFY = ['[email protected]'] MEMUSAGE_ENABLED¶违约: True 经营范围: scrapy.extensions.memusage 是否启用内存使用扩展。此扩展跟踪进程使用的峰值内存(它将其写入统计信息)。它还可以选择在超过内存限制时关闭 Scrapy 进程(请参见 MEMUSAGE_LIMIT_MB ,并在发生这种情况时通过电子邮件通知(请参见 MEMUSAGE_NOTIFY_MAIL ) 见 内存使用扩展 . MEMUSAGE_LIMIT_MB¶违约: 0 经营范围: scrapy.extensions.memusage 关闭scrappy前允许的最大内存量(以兆字节为单位)(如果memusage_enabled为true)。如果为零,则不执行任何检查。 见 内存使用扩展 . MEMUSAGE_CHECK_INTERVAL_SECONDS¶违约: 60.0 经营范围: scrapy.extensions.memusage 这个 Memory usage extension 检查当前内存使用情况,与 MEMUSAGE_LIMIT_MB 和 MEMUSAGE_WARNING_MB ,以固定的时间间隔。 这将以秒为单位设置这些间隔的长度。 见 内存使用扩展 . MEMUSAGE_NOTIFY_MAIL¶违约: False 经营范围: scrapy.extensions.memusage 通知是否达到内存限制的电子邮件列表。 例子:: MEMUSAGE_NOTIFY_MAIL = ['[email protected]']见 内存使用扩展 . MEMUSAGE_WARNING_MB¶违约: 0 经营范围: scrapy.extensions.memusage 发送警告电子邮件通知前允许的最大内存量(以兆字节为单位)。如果为零,则不会产生警告。 NEWSPIDER_MODULE¶违约: '' 模块在何处使用 genspider 命令。 例子:: NEWSPIDER_MODULE = 'mybot.spiders_dev' RANDOMIZE_DOWNLOAD_DELAY¶违约: True 如果启用,Scrapy将随机等待一段时间(0.5之间 * DOWNLOAD_DELAY and 1.5 * DOWNLOAD_DELAY )同时从同一网站获取请求。 这种随机化减少了爬虫被站点检测(并随后被阻止)的机会,这些站点分析请求,寻找它们请求之间的时间有统计学意义的相似性。 随机化策略与 wget --random-wait 选择权。 如果 DOWNLOAD_DELAY 为零(默认值)此选项无效。 REACTOR_THREADPOOL_MAXSIZE¶违约: 10 扭曲反应器线程池大小的最大限制。这是各种 Scrapy 组件使用的通用多用途线程池。线程DNS解析器,blockingfeedstorage,s3filestore等等。如果遇到阻塞IO不足的问题,请增加此值。 REDIRECT_PRIORITY_ADJUST¶违约: +2 经营范围: scrapy.downloadermiddlewares.redirect.RedirectMiddleware 相对于原始请求调整重定向请求优先级: 正优先级调整(默认)意味着更高的优先级。 负优先级调整意味着低优先级。 ROBOTSTXT_OBEY¶违约: False 经营范围: scrapy.downloadermiddlewares.robotstxt 如果启用,scrapy将遵守robots.txt策略。有关详细信息,请参阅 RobotsTxtMiddleware . 注解 当默认值为 False 出于历史原因,默认情况下,此选项在由生成的settings.py文件中启用。 scrapy startproject 命令。 ROBOTSTXT_PARSER¶违约: 'scrapy.robotstxt.ProtegoRobotParser' 用于分析的分析器后端 robots.txt 文件夹。有关详细信息,请参阅 RobotsTxtMiddleware . ROBOTSTXT_USER_AGENT¶违约: None 中用于匹配的用户代理字符串机器人.txt文件。如果 None ,随请求或 USER_AGENT 设置(按该顺序)将用于确定要在中使用的用户代理机器人.txt文件。 SCHEDULER¶违约: 'scrapy.core.scheduler.Scheduler' 要用于爬网的计划程序类。请参阅 调度程序 主题了解详细信息。 SCHEDULER_DEBUG¶违约: False 设置为 True 将记录有关请求计划程序的调试信息。如果无法将请求序列化到磁盘,则当前只记录一次。统计计数器 (scheduler/unserializable )跟踪发生这种情况的次数。 日志中的示例条目: 1956-01-31 00:00:00+0800 [scrapy.core.scheduler] ERROR: Unable to serialize request: - reason: cannot serialize (type Request)> - no more unserializable requests will be logged (see 'scheduler/unserializable' stats counter) SCHEDULER_DISK_QUEUE¶违约: 'scrapy.squeues.PickleLifoDiskQueue' 计划程序将使用的磁盘队列类型。其他可用类型包括 scrapy.squeues.PickleFifoDiskQueue , scrapy.squeues.MarshalFifoDiskQueue , scrapy.squeues.MarshalLifoDiskQueue . SCHEDULER_MEMORY_QUEUE¶违约: 'scrapy.squeues.LifoMemoryQueue' 调度程序使用的内存中队列的类型。其他可用类型为: scrapy.squeues.FifoMemoryQueue . SCHEDULER_PRIORITY_QUEUE¶违约: 'scrapy.pqueues.ScrapyPriorityQueue' 调度程序使用的优先级队列的类型。另一种可用类型是 scrapy.pqueues.DownloaderAwarePriorityQueue . scrapy.pqueues.DownloaderAwarePriorityQueue 比 scrapy.pqueues.ScrapyPriorityQueue 当您并行地对许多不同的域进行爬网时。但目前 scrapy.pqueues.DownloaderAwarePriorityQueue 不与一起工作 CONCURRENT_REQUESTS_PER_IP . SCRAPER_SLOT_MAX_ACTIVE_SIZE¶2.0 新版功能. 违约: 5_000_000 正在处理的响应数据的软限制(字节)。 当正在处理的所有响应的大小之和大于此值时,Scrapy不处理新请求。 SPIDER_CONTRACTS¶违约:: {{}} 包含项目中启用的蜘蛛合约的dict,用于测试蜘蛛。有关详细信息,请参阅 蜘蛛合约 . SPIDER_CONTRACTS_BASE¶违约:: { 'scrapy.contracts.default.UrlContract' : 1, 'scrapy.contracts.default.ReturnsContract': 2, 'scrapy.contracts.default.ScrapesContract': 3, }包含Scrapy中默认启用的Scrapy契约的dict。您不应该在项目中修改此设置,修改 SPIDER_CONTRACTS 相反。有关详细信息,请参阅 蜘蛛合约 . 您可以通过分配 None 去他们的班级 SPIDER_CONTRACTS . 例如,禁用内置 ScrapesContract 把这个放在你的 settings.py :: SPIDER_CONTRACTS = { 'scrapy.contracts.default.ScrapesContract': None, } SPIDER_LOADER_CLASS¶违约: 'scrapy.spiderloader.SpiderLoader' 将用于加载spider的类,该类必须实现 SpiderLoader API . SPIDER_LOADER_WARN_ONLY¶违约: False 默认情况下,当Scrapy试图从 SPIDER_MODULES 如果有的话,它会很响地失效。 ImportError 例外。但是您可以选择沉默这个异常,并通过设置将它变成一个简单的警告 SPIDER_LOADER_WARN_ONLY = True . 注解 一些 scrapy commands 使用此设置运行到 True 已经(即,它们只会发出警告,不会失败),因为它们实际上不需要加载蜘蛛类来工作: scrapy runspider , scrapy settings , scrapy startproject , scrapy version . SPIDER_MIDDLEWARES¶违约:: {{}} 包含项目中启用的蜘蛛中间件及其订单的dict。有关详细信息,请参阅 激活蜘蛛中间件 . SPIDER_MIDDLEWARES_BASE¶违约:: { 'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50, 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500, 'scrapy.spidermiddlewares.referer.RefererMiddleware': 700, 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800, 'scrapy.spidermiddlewares.depth.DepthMiddleware': 900, }包含spider中间件的dict,默认情况下在scrappy中启用,以及它们的顺序。低阶更接近发动机,高阶更接近蜘蛛。有关详细信息,请参阅 激活蜘蛛中间件 . SPIDER_MODULES¶违约: [] Scrapy将在其中查找蜘蛛的模块列表。 例子:: SPIDER_MODULES = ['mybot.spiders_prod', 'mybot.spiders_dev'] STATS_CLASS¶违约: 'scrapy.statscollectors.MemoryStatsCollector' 用于收集统计信息的类,必须实现 统计收集器API . STATS_DUMP¶违约: True 转储 Scrapy stats (对着残破的木头)一旦蜘蛛完成。 有关详细信息,请参阅: 统计数据集合 . STATSMAILER_RCPTS¶违约: [] (空表) 蜘蛛完成爬取后发送残缺数据。见 StatsMailer 更多信息。 TELNETCONSOLE_ENABLED¶违约: True 一个布尔值,指定 telnet console 将被启用(前提是它的扩展也被启用)。 TEMPLATES_DIR¶违约: templates Scrapy 模块内部目录 创建新项目时要在其中查找模板的目录 startproject 命令和新蜘蛛 genspider 命令。 项目名称不得与中自定义文件或目录的名称冲突。 project 子目录。 TWISTED_REACTOR¶2.0 新版功能. 违约: None 给定的导入路径 reactor . 如果还没有安装其他反应器,比如当 scrapy 调用CLI程序或在使用 CrawlerProcess 班级。 如果您正在使用 CrawlerRunner 类,还需要手动安装正确的reactor。你可以用 install_reactor() : scrapy.utils.reactor.install_reactor(reactor_path, event_loop_path=None)[源代码]¶安装 reactor 具有指定的导入路径。如果启用了asyncio reactor,还将使用指定的导入路径安装asyncio事件循环 如果已经安装了反应堆, install_reactor() 没有效果。 CrawlerRunner.__init__ 加薪 Exception 如果安装的反应器与 TWISTED_REACTOR 设置;因此,拥有顶级 reactor 项目文件中的导入和导入的第三方库将使Scrapy提高 Exception 当它检查安装了哪个反应堆时。 为了使用Scrapy安装的反应器: import scrapy from twisted.internet import reactor class QuotesSpider(scrapy.Spider): name = 'quotes' def __init__(self, *args, **kwargs): self.timeout = int(kwargs.pop('timeout', '60')) super(QuotesSpider, self).__init__(*args, **kwargs) def start_requests(self): reactor.callLater(self.timeout, self.stop) urls = ['http://quotes.toscrape.com/page/1'] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): for quote in response.css('div.quote'): yield {'text': quote.css('span.text::text').get()} def stop(self): self.crawler.engine.close_spider(self, 'timeout')使 Exception ,变成: import scrapy class QuotesSpider(scrapy.Spider): name = 'quotes' def __init__(self, *args, **kwargs): self.timeout = int(kwargs.pop('timeout', '60')) super(QuotesSpider, self).__init__(*args, **kwargs) def start_requests(self): from twisted.internet import reactor reactor.callLater(self.timeout, self.stop) urls = ['http://quotes.toscrape.com/page/1'] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): for quote in response.css('div.quote'): yield {'text': quote.css('span.text::text').get()} def stop(self): self.crawler.engine.close_spider(self, 'timeout')的默认值 TWISTED_REACTOR 设置是 None ,这意味着Scrapy不会尝试安装任何特定的reactor,并且将使用Twisted为当前平台定义的默认reactor。这是为了保持向后兼容性,并避免使用非默认反应器可能导致的问题。 有关其他信息,请参阅 Choosing a Reactor and GUI Toolkit Integration . URLLENGTH_LIMIT¶违约: 2083 经营范围: spidermiddlewares.urllength 允许爬网的URL的最大URL长度。 在URL长度不断增加的情况下,此设置可以作为停止条件,例如,这可能是由目标服务器或您的代码中的编程错误引起的。另请参阅 REDIRECT_MAX_TIMES 和 DEPTH_LIMIT 。 使用 0 以允许任何长度的URL。 默认值是从 Microsoft Internet Explorer maximum URL length ,即使此设置存在的原因不同。 USER_AGENT¶违约: "Scrapy/VERSION (+https://scrapy.org)" 爬网时使用的默认User-Agent,除非被覆盖。此用户代理也由使用 RobotsTxtMiddleware 如果 ROBOTSTXT_USER_AGENT 设置为 None 并且没有为请求指定重写的User-Agent标头。 其他地方记录的设置:¶以下设置记录在其他地方,请检查每个特定案例以了解如何启用和使用它们。 AJAXCRAWL_ENABLED AUTOTHROTTLE_DEBUG AUTOTHROTTLE_ENABLED AUTOTHROTTLE_MAX_DELAY AUTOTHROTTLE_START_DELAY AUTOTHROTTLE_TARGET_CONCURRENCY CLOSESPIDER_ERRORCOUNT CLOSESPIDER_ITEMCOUNT CLOSESPIDER_PAGECOUNT CLOSESPIDER_TIMEOUT COMMANDS_MODULE COMPRESSION_ENABLED COOKIES_DEBUG COOKIES_ENABLED FEEDS FEED_EXPORTERS FEED_EXPORTERS_BASE FEED_EXPORT_BATCH_ITEM_COUNT FEED_EXPORT_ENCODING FEED_EXPORT_FIELDS FEED_EXPORT_INDENT FEED_STORAGES FEED_STORAGES_BASE FEED_STORAGE_FTP_ACTIVE FEED_STORAGE_S3_ACL FEED_STORE_EMPTY FEED_URI_PARAMS FILES_EXPIRES FILES_RESULT_FIELD FILES_STORE FILES_STORE_GCS_ACL FILES_STORE_S3_ACL FILES_URLS_FIELD HTTPCACHE_ALWAYS_STORE HTTPCACHE_DBM_MODULE HTTPCACHE_DIR HTTPCACHE_ENABLED HTTPCACHE_EXPIRATION_SECS HTTPCACHE_GZIP HTTPCACHE_IGNORE_HTTP_CODES HTTPCACHE_IGNORE_MISSING HTTPCACHE_IGNORE_RESPONSE_CACHE_CONTROLS HTTPCACHE_IGNORE_SCHEMES HTTPCACHE_POLICY HTTPCACHE_STORAGE HTTPERROR_ALLOWED_CODES HTTPERROR_ALLOW_ALL HTTPPROXY_AUTH_ENCODING HTTPPROXY_ENABLED IMAGES_EXPIRES IMAGES_MIN_HEIGHT IMAGES_MIN_WIDTH IMAGES_RESULT_FIELD IMAGES_STORE IMAGES_STORE_GCS_ACL IMAGES_STORE_S3_ACL IMAGES_THUMBS IMAGES_URLS_FIELD MAIL_FROM MAIL_HOST MAIL_PASS MAIL_PORT MAIL_SSL MAIL_TLS MAIL_USER MEDIA_ALLOW_REDIRECTS METAREFRESH_ENABLED METAREFRESH_IGNORE_TAGS METAREFRESH_MAXDELAY REDIRECT_ENABLED REDIRECT_MAX_TIMES REFERER_ENABLED REFERRER_POLICY RETRY_ENABLED RETRY_HTTP_CODES RETRY_PRIORITY_ADJUST RETRY_TIMES TELNETCONSOLE_HOST TELNETCONSOLE_PASSWORD TELNETCONSOLE_PORT TELNETCONSOLE_USERNAME |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |