都说python爬网页数据方便，我们今天就来试试，python爬取数据到底有多方便

简介 爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息

准备 IDE：pyCharm 库：requests、lxml

大概介绍一下，这俩库主要为我们做什么服务的 requests：获取网页源代码 lxml：得到网页源代码中的指定数据

言简意赅有没有 _

搭建环境 这里的搭建环境，可不是搭建python的开发环境，这里的搭建环境是指，我们使用pycharm新建一个python项目，然后弄好requests和lxml 新建一个项目： 光溜溜的啥也没有，新建个src文件夹再在里面直接新建一个Test.py吧

依赖库导入 我们不是说要使用requests吗，来吧 由于我们使用的是pycharm，所以我们导入这两个库就会显的格外简单，如图： 在Test.py中输入：

import requests

这个时候，requests会报红线，这时候，我们将光标对准requests，按快捷键：alt + enter，pycharm会给出解决之道，这时候，选择install package requests，pycharm就会自动为我们安装了，我们只需要稍等片刻，这个库就安装好了。lxml的安装方式同理.

将这两个库安装完毕后，编译器就不会报红线了 接下来进入快乐的爬虫时间

获取网页源代码 之前我就说过，requests可以很方便的让我们得到网页的源代码 网页就拿我的博客地址举例好了：https://blog.csdn.net/it_xfviewmode=contents 获取源码：

html = requests.get(“https://blog.csdn.net/it_xf?viewmode=contents”)

print html.text

代码就是这么简单，这个html.text便是这个URL的源码

获取指定数据 现在我们已经得到网页源码了，这时就需要用到lxml来来筛选出我们所需要的信息 这里我就以得到我博客列表为例

首先我们需要分析一下源码，我这里使用的是chrome浏览器，所以右键检查，便是这样一份画面： 然后在源代码中，定位找到第一篇 像这样？ 操作太快看不清是不是？ 我这里解释一下，首先点击源码页右上角的箭头，然后在网页内容中选中文章标题，这个时候，源码会定位到标题这里， 这时候选中源码的标题元素，右键复制如图： 得到xpath，嘿嘿，知道这是什么吗，这个东西相当于地址。比如网页某长图片在源码中的位置，我们不是复制了吗，粘贴出来看看长啥样

//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a

这里给你解释解释：

// 定位根节点 / 往下层寻找 提取文本内容：/text() 提取属性内容：/@xxxx

后面两个我们还没有在这个表达式见过，待会说，先摆张图放出来 表达式：//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a 我们来琢磨琢磨，首先，//表示根节点，也就是说啊，这//后面的东西为根，则说明只有一个啊 也就是说，我们需要的东西，在这里面 然后/表示往下层寻找，根据图片，也显而易见，div -> main -> div[2] -> div[1] -> h4 -> a 追踪到a这里，我想，你们应该也就看得懂了，然后我们在后面加个/text，表示要把元素的内容提取出来，所以我们最终的表达式长这样：

//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a/text()

这个表达式只针对这个网页的这个元素，不难理解吧？ 那么这个东西怎么用呢？ 所有代码：

import requests from lxml import etree

html = requests.get(“https://blog.csdn.net/it_xf?viewmode=contents”)

etree_html = etree.HTML(html.text) content = etree_html.xpath(’//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a/text()’) for each in content: print(each)

这时候，each里面的数据就是我们想要得到的数据了 打印结果：

打印结果却是这个结果，我们现在把换行和空格去掉

import requests from lxml import etree

html = requests.get(“https://blog.csdn.net/it_xf?viewmode=contents”)

etree_html = etree.HTML(html.text) content = etree_html.xpath(’//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a/text()’)

for each in content: replace = each.replace(’\n’, ‘’).replace(’ ', ‘’) if replace == ‘\n’ or replace == ‘’: continue else: print(replace)

打印结果：

如何撸一个ArrayList

相当nice，那么，如果我们要得到所有的博客列表呢 看图看表达式分析大法 表达式：//*[@id=“mainBox”]/main/div[2]/div[1]/h4/a/text() 其实我们能够很容易发现，main->div[2]其实包含所有文章，只是我们取了main->div[2]->div[1]，也就是说我们只是取了第一个而已。所以，其实表达式写出这样，就可以得到所有的文章了

//*[@id=“mainBox”]/main/div[2]/div/h4/a/text()

再来一次：

import requests from lxml import etree

html = requests.get(“https://blog.csdn.net/it_xf?viewmode=contents”)

etree_html = etree.HTML(html.text) content = etree_html.xpath(’//*[@id=“mainBox”]/main/div[2]/div/h4/a/text()’)

for each in content: replace = each.replace(’\n’, ‘’).replace(’ ', ‘’) if replace == ‘\n’ or replace == ‘’: continue else: print(replace)

打印结果：

如何撸一个ArrayList Android相机屏幕适配 Tinker关于clean后准基包消失的解决方案 Tinker使用指南 git分支的使用 如何将Androidstudio中的项目导入到第三方的git托管库中 遍历矩阵 从矩阵中取出子矩阵 AndroidStudio配置OpenCV 一步一步了解handler机制 Android常用框架 Android绘制波浪线 RxJava系列教程之线程篇（五） RxJava系列教程之过滤篇（四） RxJava系列教程之变换篇（三） RxJava系列教程之创建篇（二） RxJava系列教程之介绍篇（一） 一个例子让你彻底理解java接口回调 SharedPreferences的用法及指南 异步加载网络图片带进度 VideoView加载闪黑屏 android视频播放vitamio的简单运用 仿网易新闻分类刷新 ListView加CheckBox简单实现批量删除 Android如何高效加载大图 Android聊天界面实现方式 抽屉侧滑菜单Drawerlayout-基本使用方法 android-引导页的实现方式 Java设计模式–工厂模式的自述 javaweb学习路线 getWindow().setFlags()使用说明书 歪解Activity生命周期-----初学者彻底理解指南

相当nice，我们得到了所有的文章列表。

———————————————— 版权声明：本文为CSDN博主「你缺少想象力」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/IT_XF/article/details/82184585