(一)、选题的背景

由于疫情原因的影响，世界各地都因为新型冠状病毒（简称新冠肺炎）而陷入种种危机。因此，对于现存全球的疫情数据我进行了一个爬取和一些数据分析，并作出数据可视化处理，更加直观的查看出全球现存疫情的情况。

(二)、主题式网络爬虫设计方案

1.主题式网络爬虫名称

           全球疫情实施动态爬取

2.主题式网络爬虫爬取的内容与数据特征分析

           爬取多国的当日新增确诊，当日新增治愈，当日新增死亡，病死率以及累计治愈，从而作出分析。

3.主题式网络爬虫设计方案概述

           使用爬虫爬取【网易新闻 肺炎疫情实时动态播报】页面信息，然后将爬取的数据存储为csv格式文件，再读取csv文件，对数据进行相应的处理，最后对处理后的数据进行可视化分析。

(三)、主题页面的结构特征分析

1.主题页面的结构与特征分析

 爬取界面josn格式展示：

2.Htmls 页面解析

josn格式可以观察到每个数据都可以通过索引得到。通过字典索引即可得到需要数据

3.节点（标签）查找方法与遍历方法

通过data,keys()获取字典键再对其索引遍历，通过reaTree = data['areaTree'] 获取各国数据，索引前先对data['areaTree'][1]进行分析数据的索引字符串，再通过遍历对需要数据爬取添加。

(四)、网络爬虫程序设计

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。

1.数据爬取与采集

进入需要爬取的目标网址 https://wp.m.163.com/163/page/news/virus_report/index.html 

通过响应network找到数据源如下：

（https://c.m.163.com/ug/api/wuhan/app/data/list-total?t=328093598837)

 伪装浏览器，headers如下：headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}）

 使用requests库对目标网址进行请求，打印响应码：

 源码：

截图展示：

 打印响应内容（这里不知道为什么响应内容只显示在一行，但是并不影响操作）：

  使用Json模块对响应内容进行初步解析

data_json = json.loads(req.text) #使用json.loads将json字符串转化为字典打印字典的key值

源码： 1 data_json = json.loads(req.text) 2 data_json.keys() 

截图展示：

 可以看到我们需要的是其中的data数据，再次打印data查看结果。

源码： 1 print(data_json['data']) 

截图展示：

有点混乱，可以看到其仍然为字典，再次打印data的key值，得到关键信息。

源码： 1 print(data_json['data'].keys()) 

截图展示：

前两个和中国有关，第3、4个和更新时间有关，最后一个不太确定是啥，打印再看看。

 源码：1 print(data_json['data']['areaTree']) 

截图展示：

 这次我们可以看到出现了很多国家的名字，按照猜测应该是对应网页这块

   使用PrettyPrinter打印字典（PrettyPrinter格式化输出字典）

源码： 1 pp.pprint(data['areaTree'][0]) 

截图展示：

 可以看到areaTree的数据格式是list，里面每一个国家对应一个字典，而字典中又嵌套着字典。

（1）获取areaTree数据areaTree = data['areaTree']（2）获取数据

源码：

截图展示:

 存储数据

 源码：

截图展示：

按照各国id，访问各国的数据，并获取json数据,提取各国的数据，然后写入各国的名称,然后合并数据。

源码：

截图展示：

      2.对数据进行清洗和处理

       更换数据列名，将英文列名换为中文列名方便我们理解数据进行处理。

      源码：

截图展示：

 使用drop()方法删除Unnamed: 0列，使用describe()方法查看对数据的描述：

 源码：

截图展示：

计算【当日现存确诊】公式为：累计确诊-累计治愈-累计死亡计算【病死率】公式为：累计死亡/累计确诊

通过数据描述可以发现NaN值特别多，那么我们可以计算一下每一列NaN值占多少

源码：

截图展示：

使用isnull()方法查看DataFrame数据的NaN值，并用sum()方法进行求和，除以总大小。

使用sort_values方法对DataFrame进行排序，排序方式以病死率，按降序方式，得到如下结果：

源码： 1 td_wd.sort_values('病死率', ascending=False, inplace=True) 2 td_wd.head() 

截图展示：

将索引改为国家名称：td_wd.set_index('名称',inplace=True)并按累计确诊进行再次排序，取出['累计确诊','累计死亡','病死率']三列前10赋给新的变量：

源码：

截图展示：

     3.数据分析与可视化

（1）从matplotlib可视化库中导入pyplot（2）指定plt.rcParams['font.sans-serif'] = ['SimHei'] #防止中文乱码（3）按照病死率对10位数据进行排序，并将['累计确诊','累计死亡','病死率']三列分别作为每一张子图，得到可视化结果

源码：

截图展示：

 爬取最近几月内历史数据。经过适当处理后得到如下结果：

源码：

截图展示：

 可以看到一个国家对应最近俩月不同的行，这种数据结构不易处理，再将其国家名称作为key值，存储每一天的数据。

 源码：

 循环读取数据的每一行，判断当前行国家名在此字典key值是否存在，如果存在直接添加数据，不存在则创建值空列表再添加当前行数据。

 查看数据以后，发现不同国家之间爬取到的数据是存在缺失值的，我们将不存在的日期去除，只保留当前所有国家存在日期的交集：

 源码：

cn为国家名称（由于数据太多，表现效果不是很理想，故只取病死率前5国家作为可视化分析的依据）

由于横坐标轴显示问题，将其文本旋转60°，由于太过密集的原因，再将其设置为间隔显示。

当日新增确诊趋势：

 源码：

当日新增治愈趋势：

源码：

当日新增死亡趋势：

源码：

病死率趋势：

源码：

当日累计治愈：

源码：

截图展示如下：

 4.将以上各部分的代码汇总，附上完整程序代码

(五)、总结

 1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

从以上数据可以看到也门人口基数少，但却是病死率最高的国家。秘鲁的新增确诊和新增治愈波动都比较大，有可能是因为人口基数的原因，同时可能是由于政策上的原因导致疫情二次扩散，不过及时解决了问题，同时也说明了秘鲁治疗肺炎的能力也不差，好在病死率不高。

圣马丁岛的病死率也不低。从累计治愈人数来看  秘鲁>圣马丁岛>也门>蒙特塞拉特>毛利亚尼亚。总的来说，对主题数据的分析与可视化，还是达到了预期目标。

                                                                                              （89556>61>23>10>6）

 2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

 通过本次Python爬虫设计，掌握了许多编程技巧。在不断进步的过程中，收获了许多新的知识，实用性也非常好，对于以后不懂编程很难混有极大的科普价值，当然也有一定的实用性！

 数据处理过程中，DataFrame虽然好用但不是非常灵活，配合字典和列表构成新的数据格式，可以绘制出想要的可视化效果