应用背景:

前不久，2019年开放数据中心峰会在北京国际会议中心成功召开，ODCC指出：“对数据进行汇聚，在体系化融合中产生新的价值已成为未来发展的关键”

在DT时代，谁拥有数据，谁就有筹码。话不多说，我们先来了解一下，什么是大数据？简单来说，假如你是一名气象员，负责统计某个城市的天气情况（最高温度、最低温度、风速等等），如果你每小时统计一次，那么，一天下来，你可以获得24条数据，如果你雇了很多人一起统计你所在城市的每个城区的天气，假设该城市有5个城区，那么，你在一天之内就能收集245=120条数据，再把范围扩大，我们把全国各个城市的天气数据汇聚在一起，（我查了一下，截止2018年，全国共有661个市），那么你在一天之内，就收集到了120661=79320条数据！这仅仅只是一天的数据，如果你坚持一周、一个月甚至更久…

调查研究并分析: 以上是中国天气网展示的天气数据.可以看出,天气预报分成了中国八大地区进行显示,在每个地区下,还有一周天气预报,里面包含了天气现象,风向风力,最高气温,最低气温.

可以说,里面可以利用的数据还是很多的,为了便于获取数据,我这里使用爬虫,一次性把数据抓取下来,具体方法请见我写的博客:

抓取中国天气网当前时段所有城市的天气数据(python+xpath)

https://blog.csdn.net/zbp_12138/article/details/101617083

我本来的想法是按照八个地区,建八张数据表,但是,这样一来,会显得很杂乱,因为还有时间,要通过时间进行分类.因此,我打算一天建一张表,把当天内所有城市的天气数据放在一起.在我的数据库里,就会呈现以下结构:

我的命名规则是:日期+小写字母+数字

中国天气网的天气预报每年小时更新一次,因此,我可以在一天内建多张数据表,方便命名,也便于查找.每张数据表里的结构是这样的:

为了便于区分每张表里的城市是属于哪一个省或直辖市的,因此,我建了一个area表: 我给每个省或直辖市建了一个新的proid作为这张表的主键,除此之外,因为34个省有一个总体天气状况,因此我新增了一列weather用来存储该省的总体天气状况.

刚刚建立的20191102a1和area表都是在city表下的,以下是city表: 里面存放了所有城市的id,以及每个城市属于的省或直辖市,以及对应的proid,我把这张表作为主表.

构建ER图: 将ER图转为关系表: 数据库开发: 建表:

在插入数据之前,要连接数据库:

我的数据表名称是日期和简单的字母加数字,因此,我可以通过系统时间获取:

ticks里存放我将要建表的表名称,开始建表:

抓取数据的部分代码: 这张上对应着下面将要存放数据的代码.抓取到数据后,把数据存到刚刚新建的数据表中:

以下是运行结果: 在数据表中显示的结果: 不是当天的数据,所以会对不上

对于查询语句,我结合python写了一个可视化的程序: 1:查询所有城市的天气信息

2:查询每个省/直辖市下有几个城市

3:根据温度区间查找城市