[Python爬虫] 二、爬虫原理之定义、分类、流程与编码格式 |
您所在的位置：网站首页 › 基本的爬虫工作原理是什么呢英文 › [Python爬虫] 二、爬虫原理之定义、分类、流程与编码格式 |
[Python爬虫] 二、爬虫原理之定义、分类、流程与编码格式
|
往期内容提要： [Python爬虫] 一、爬虫原理之HTTP和HTTPS的请求与响应 一、爬虫的定义、分类和流程 爬虫定义 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。爬虫就是模拟浏览器的行为，越像越好，越像就越不容易被发现。原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。 爬虫的分类 通用爬虫：通常指搜索引擎的爬虫。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。聚焦爬虫：针对特定网站的爬虫，我们现在学习的网络爬虫，就是聚焦爬虫 爬虫的流程 爬虫流程步骤如下： 向起始url发送请求，并获取响应对响应进行提取如果提取url，则继续发送请求获取响应如果提取数据，则将数据进行保存
在正式学习聚焦爬虫前，我们先来了解通用爬虫工作原理，进而厘清我们学习聚焦爬虫之原因。 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 第一步：抓取网页搜索引擎网络爬虫的基本工作流程如下： 首先选取一部分的种子URL，将这些URL放入待抓取URL队列； 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环.... Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如： 淘宝网：https://www.taobao.com/robots.txt 腾讯网： http://www.qq.com/robots.txt 第二步：数据存储搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。 搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到访问权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。 第三步：预处理搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理。 提取文字 中文分词 消除噪音（比如版权声明文字、导航条、广告等……） 索引处理链接关系计算 特殊文件处理....除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。 但搜索引擎还不能处理图片、视频、Flash 这类非文字内容，也不能执行脚本和程序。 第四步：提供检索服务，网站排名搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。 同时会根据页面的PageRank值（链接的访问量排名）来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前。
通用搜索引擎所返回的结果都是网页，而大多情况下，网页里90%的内容对用户来说都是无用的。 不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎无法提供针对具体某个用户的搜索结果。 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎对这些文件无能为力，不能很好地发现和获取。 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。 因此我们需要学习聚集爬虫。聚焦爬虫在实施网页抓取时会对内容进行处理筛选，能尽量保证只抓取与需求相关的网页信息。
bytes对象只负责以二进制字节序列的形式记录所需记录的对象，至于该对象到底表示什么（比如到底是什么字符）则由相应的编码格式解码所决定。其中 ASCII、GB2312、GB18030、Unicode这类字符集是各国家文字、标点符号、图形符号、数字等的集合，str是这些字符集的呈现形式。
Python2 中 >>> type(b'xxxxx') >>> type('xxxxx')Python3 中 >>> type(b'xxxxx') >>> type('xxxxx')Python 2 里不区分bytes和str，bytes是Python 3中特有的。 实际应用中在互联网上是通过二进制进行传输，所以就需要将str转换成bytes进行传输，在Python 2中由于不区分str和bytes所以可以直接通过encode()和decode()方法进行编码解码。 而在Python 3中把两者给分开了，所以就需要将str转换成bytes进行传输，而在接收中通过decode()解码成我们需要的编码进行处理数据。这样不管对方是什么编码而本地是我们使用的编码这样就不会乱码。 encode decode str bytesstr 使用encode方法转化为 bytes bytes通过decode转化为str （3）bytearraybytearray和bytes不一样的地方在于，bytearray是可变的。 In [26]: str1 Out[26]: '人生苦短，我用Python!' In [28]: b1=bytearray(str1.encode()) In [29]: b1 Out[29]: bytearray(b'\xe4\xba\xba\xe7\x94\x9f\xe8\x8b\xa6\xe7\x9f\xad\xef\xbc\x8c\xe6\x88\x91\xe7\x94\xa8Python!') In [30]: b1.decode() Out[30]: '人生苦短，我用Python!' In [31]: b1[:6]=bytearray('生命'.encode()) In [32]: b1 Out[32]: bytearray(b'\xe7\x94\x9f\xe5\x91\xbd\xe8\x8b\xa6\xe7\x9f\xad\xef\xbc\x8c\xe6\x88\x91\xe7\x94\xa8Python!') In [33]: b1.decode() Out[33]: '生命苦短，我用Python!'后期内容提要： [Python爬虫] 三、数据抓取之Requests HTTP 库 [Python爬虫] 四、数据抓取之HTTP/HTTPS抓包工具Fiddler [Python爬虫] 五、数据提取之正则表达式re模块 [Python爬虫] 六、数据提取之XPath与lxml类库 [Python爬虫] 七、结构化数据提取之JSON与JsonPATH [Python爬虫] 八、动态HTML处理之Selenium与PhantomJS [Python爬虫] 九、机器视觉与机器图像识别之Tesseract [Python爬虫] 十、Scrapy 框架如果您有任何疑问或者好的建议，期待你的留言与评论！ |
【本文地址】
今日新闻 |
推荐新闻 |