练练手:用Python爬虫抓取网页 |
您所在的位置:网站首页 › 1050ti和1060的区别 › 练练手:用Python爬虫抓取网页 |
本节讲解第一个 Python 爬虫实战案例:抓取您想要的网页,并将其保存至本地计算机。 首先我们对要编写的爬虫程序进行简单地分析,该程序可分为以下三个部分: 拼接 url 地址发送请求将照片保存至本地明确逻辑后,我们就可以正式编写爬虫程序了。 导入所需模块本节内容使用 urllib 库来编写爬虫,下面导入程序所用模块: ** from urllib import request from urllib import parse 拼接URL地址定义 URL 变量,拼接 url 地址。代码如下所示: url = ‘http://www.baidu.com/s?wd={}’#想要搜索的内容word = input(‘请输入搜索内容:’)params = parse.quote(word)full_url = url.format(params) 向URL发送请求发送请求主要分为以下几个步骤: 创建请求对象-Request获取响应对象-urlopen获取响应内容-read代码如下所示: #重构请求头headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0’}#创建请求对应req = request.Request(url=full_url,headers=headers)#获取响应对象res = request.urlopen(req)#获取响应内容html = res.read().decode(“utf-8”) 保存为本地文件把爬取的照片保存至本地,此处需要使用 Python 编程的文件 IO 操作,代码如下: filename = word + ‘.html’with open(filename,‘w’, encoding=‘utf-8’) as f:f.write(html)完整程序如下所示: from urllib import request,parse 1.拼url地址 url = ‘http://www.baidu.com/s?wd={}’word = input(‘请输入搜索内容:’)params = parse.quote(word)full_url = url.format(params) 2.发请求保存到本地 headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0’}req = request.Request(url=full_url,headers=headers)res = request.urlopen(req)html = res.read().decode(‘utf-8’) 3.保存文件至当前目录 filename = word + ‘.html’with open(filename,‘w’,encoding=‘utf-8’) as f:f.write(html)尝试运行程序,并输入编程帮,确认搜索,然后您会在 Pycharm 当前的工作目录中找到“编程帮.html”文件。 函数式编程修改程序Python 函数式编程可以让程序的思路更加清晰、易懂。接下来,使用函数编程的思想更改上面代码。 定义相应的函数,通过调用函数来执行爬虫程序。修改后的代码如下所示: from urllib import requestfrom urllib import parse 拼接URL地址 def get_url(word):url = ‘http://www.baidu.com/s?{}’#此处使用urlencode()进行编码params = parse.urlencode({‘wd’:word})url = url.format(params)return url 发请求,保存本地文件 def request_url(url,filename):headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0’} 请求对象 + 响应对象 + 提取内容 req = request.Request(url=url,headers=headers)res = request.urlopen(req)html = res.read().decode(‘utf-8’) 保存文件至本地 with open(filename,‘w’,encoding=‘utf-8’) as f:f.write(html) 主程序入口 if name == ‘main’:word = input(‘请输入搜索内容:’)url = get_url(word)filename = word + ‘.html’request_url(url,filename)除了使用函数式编程外,您也可以使用面向对象的编程方法(本教程主要以该方法),在后续内容中会做相应介绍。 零基础Python学习资源介绍👉Python学习路线汇总👈 温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。 👉Python必备开发工具👈 温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。 👉Python学习视频600合集👈
👉实战案例👈 光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。 👉100道Python练习题👈检查学习结果。 👉面试刷题👈 温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |