列举几个简单的例子来更好的理解scrapy工作的原理 |
您所在的位置:网站首页 › 介绍你所了解的Scrapy › 列举几个简单的例子来更好的理解scrapy工作的原理 |
2022中国 DevOps 现状调查全面启动!>>>![]() 说明:了解爬虫的可能都会知道,在爬虫里,requests入门简单,即使是没有基础的小白,学个几天也能简单的去请求网站,但是scrapy就相对来说就比较难,本片文章能是列举几个简单的例子去理解的scrapy工作的原理,理解了scrapy工作的原理之后,学起来就会简单很多 适用:本篇文章适合有一点的爬虫基础但又是刚刚接触或者想要学习scrapy的同学 scrapy框架:scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 scrapy框架的结构:scrapy是一个5+2结构,见下图 5表示: 1. spiders(蜘蛛) 2. engine(引擎) 3. downloader(下载器) 4. scheduler(调度器) 5. item pipeline(项目管道) 2表示: 1. downloder middlewares(下载中间件) 2. spider middlewares(蜘蛛中间件)[图片上传失败...(image-946ae8-1545285941079)] 接下来我们就列举几个列子来方便的理解scrapy原理: 先说一下爬虫,对于一个爬虫,整体来看,分为三个部分:请求 就是请求网站,分为get和post 解析 就是解析网站返回的response,即对response进行进一步处理 存储 就是把处理过的信息存储到文件,或者数据库的操作
本篇文章只是对scrapy框架的的原理进行的简单的讲解,想要精通scrapy框架,还需要进一步的学习...... 关注我获取更多内容 注:转载还请注明出处,谢谢^_^ |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |