通俗的讲,网络爬虫到底是什么? |
您所在的位置:网站首页 › 解析数据是什么 › 通俗的讲,网络爬虫到底是什么? |
爬虫通俗来说就是抓取网页数据,比如说大家都喜欢的妹子图、小视频呀,还有电子书、文字评论、商品详情等等。 只要网页上有的,都可以通过爬虫爬取下来。 一般而言,python爬虫需要以下几步: 找到需要爬取内容的网页URL打开该网页的检查页面(即查看HTML代码,按F12快捷键即可进入)在HTML代码中找到你要提取的数据写python代码进行网页请求、解析存储数据当然会撸python是前提,对于小白来说自学也不是件容易的事,需要花相当的时间去适应python的语法逻辑,而且要坚持亲手敲代码,不断练习。 如果对自己没有自信,也可以考虑看编程课程,跟着老师的节奏去学习,能比较快地掌握python语法体系,也能得到充分的案例练习。 在默认你已经有python基础的前提下,来说一说如何写代码进行网页请求、解析。 网页请求意思是把网页的HTML源码下载下来。 好了,接下来我们一步步按照套路把本问题的信息都爬下来! 一、找到需要爬取网页的URL这个很容易,该问题的url:https://www.zhihu.com/question/21358581 我们需要爬取四个信息: 问题描述问题补充关注者数被浏览数二、打开该网页的检查页面推荐使用chrome浏览器实践,会和本文操作同步。 打开本问题的网页: 按F12键进入开发者页面: 三、在HTML代码中找到你要提取的数据点击开发者页面左上角的‘选择元素’箭头: 然后再点击网页上的问题描述,这时候开发者界面上出现HTML源码: 你想要的问题描述文字,就藏在html源码里: 我们要爬取的第一个信息已经找到,按照上面步骤,可以找到其它三个信息在html中的位置。 如果你不懂什么是html?为甚么爬信息需要看html?请先看这篇回答: 如何入门 Python 爬虫?四、写python代码进行网页请求、解析这一步可能是大家最最关心的,因为涉及到python代码。 其实这里对python的要求也仅限于你需要会数据类型、变量、运算符、函数、模块之类的简单语法。 因为我们会用到好几个第三方库,帮助我们完成网页请求、解析的工作,你需要做的是知道这些库的使用方法。 如果你对这个过程仍感迷惑,仍推荐先看这篇回答: 如何入门 Python 爬虫?Part 1 这里用到的用于网页请求的库是requests,一个非常流行的http请求库。 这里请求的是什么?不是原谅、也不是理解,而是网页的html信息。 服务器收到请求后,会返回相应的网页对象。 Requests库会自动解码来自服务器的内容,大多数 unicode 字符集都能被无缝地解码。 这一切requests都能妥妥地搞定。 我们来尝试下: import requests headers = {'User-Agent':你的浏览器headers} # 传入url和请求头 r = requests.get('https://www.zhihu.com/question/21358581',headers=headers) # 响应的内容 print(r.text)我们会接收到服务器返回的页面,requests解析后,呈现下面这样子: 这就是我们需要的html源码呀! 接下来要做的就是从html中抽取我们需要的四个信息。 Part 2 通过网页请求,我们获取到响应的html文档,我们需要的东西都在这个文档里。 但是怎么去抽取信息呢? XPath 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。 这里用到另一个有用的库xpath,xpath库可以让你轻松的使用XPath语言查找信息。 既然XPath是在XML文档中才能起作用,然而我们刚刚获取的html只是文本字符串。 所以需要把html文档转换为XPath可以解析的对象:lxml.etree._Element(xml/html文件树中的一个节点)。 接着上面代码: # 将html文档转换为XPath可以解析的 s = etree.HTML(r.text)Part 3 这下我们可以使用xpath库来进行信息的提取了。 xpath的使用方法这里不赘述了,大家可以网上搜搜资料,个半小时也能学会。 这里介绍一种简单的方法,你在开发者页面中找到对应信息的源码后,直接右键复制xpath地址: 但复制的xpath很有可能会导致获取的信息为空,所以我这里用标签的属性来获取对应文本。 接上面代码: # 获取问题内容 q_content = s.xpath('//*[@class="QuestionHeader-title"]/text()')[0] # 获取问题描述 q_describe = s.xpath('//*[@class="RichText ztext"]/text()')[0] # 获取关注数和浏览量,这两个属性一样 q_number = s.xpath('//*[@class="NumberBoard-itemValue"]/text()') concern_num = q_number[0] browing_num = q_number[1] # 打印 print('问题:',q_content,'\n','描述:',q_describe,'\n','关注数:',concern_num,'\n','浏览量:',browing_num)最终呈现的结果: 全部代码:import requests from lxml import etree headers = {'User-Agent':你的浏览器headers} r = requests.get('https://www.zhihu.com/question/21358581',headers=headers) s = etree.HTML(r.text) # 获取问题内容 q_content = s.xpath('//*[@class="QuestionHeader-title"]/text()')[0] # 获取问题描述 q_describe = s.xpath('//*[@class="RichText ztext"]/text()')[0] # 获取关注数和浏览量,这两个属性一样 q_number = s.xpath('//*[@class="NumberBoard-itemValue"]/text()') concern_num = q_number[0] browing_num = q_number[1] # 打印 print('问题:',q_content,'\n','描述:',q_describe,'\n','关注数:',concern_num,'\n','浏览量:',browing_num)结论好了,关于这个问题的信息已经通过python爬下来。 初学的小伙伴自己尝试再多爬些内容,练习requests和xpath的使用,爬虫也就能入门了。 对于小白来说自学也不是件容易的事,需要花相当的时间去适应python的语法逻辑,而且要坚持亲手敲代码,不断练习。 如果对自己没有自信,也可以考虑看编程课程,跟着老师的节奏去学习,能比较快地掌握python语法体系,也能得到充分的案例练习。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |