python爬虫爬取天气数据并图形化显示

您所在的位置:网站首页 全国天气预报的图片 python爬虫爬取天气数据并图形化显示

python爬虫爬取天气数据并图形化显示

2024-05-26 00:56| 来源: 网络整理| 查看: 265

前言 使用python进行网页数据的爬取现在已经很常见了,而对天气数据的爬取更是入门级的新手操作,很多人学习爬虫都从天气开始,本文便是介绍了从中国天气网爬取天气数据,能够实现输入想要查询的城市,返回该城市未来一周的天气情况,保存为csv文件,并对数据图形化展示分析。最后附完整代码。

1、使用模块 Python3。主要使用到了csv、sys、urllib.request和BeautifulSoup4模块,其中csv模块是为了对csv文件的处理,urllib.request可以构造http请求,BeautifulSoup4可以解析页面信息。在使用这些模块之前,如果不存在需要进行安装,可打开cmd使用pip进行安装。当然,还需要一个城市名与城市code对应的文件,便于我们输入城市后找到对应的code进行相应的天气信息提取。这里点击文件内容cityinfo,可以查看到整理好的城市代码,将该页面内容复制保存为.py文件,然后放入同路径导入即可。

2、根据输入城市从城市代码文件提取到相应的城市代码

cityname = input("请输入你想要查询天气的城市:") if cityname in cityinfo.city: citycode = cityinfo.city[cityname] else: sys.exit()

3、制作请求头,得到请求的应答内容,即页面信息

url = 'http://www.weather.com.cn/weather/' + citycode + '.shtml' header = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36") # 设置头部信息 http_handler = urllib.request.HTTPHandler() opener = urllib.request.build_opener(http_handler) # 修改头部信息 opener.addheaders = [header] request = urllib.request.Request(url) # 制作请求 response = opener.open(request) # 得到应答包 html = response.read() # 读取应答包 html = html.decode('utf-8') # 设置编码,否则会乱码

其中,设置头部信息header是为了防止某些网站设置了反爬虫,在chrome浏览器下,头部信息header可在浏览器中按f12然后点击network,找到一个请求流,点击请求流后可以看到相应的头部信息。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3