【时间序列预测/分类】 全系列60篇由浅入深的博文汇总：传送门

通过之前有关LSTM的8遍基础教程和10篇处理时间序列预测任务的教程介绍，使用简单的序列数据示例，已经把LSTM的原理，数据处理流程，模型架构，Keras实现都讲清楚了。从这篇文章开始，将介绍有关时间序列预测和时间序列分类任务在真实数据集上的应用，你可以以此为模板，针对自己的业务需求进行二次开发。在本系列文章的最后会尝试通过自动调参脚本来辅助优化模型。

代码环境：

本文所有代码在 jupyter notebook 中编写。

其实家庭用电量预测仅仅是个“引子”，如果有电网数据的话，可以开发适合业务需求的模型，比如通过预测各时段各区域的用电量来协助电网更好地实现电能调度；除此之外，还可以用于发电量预测，比如光伏电站、风力发电站、水电站发电量预测…等等。模型一般不是问题，关键在数据和数据处理。

本文将介绍使用Pandas和Matplotlib对UCI上的家庭用电量数据集进行可视化，针对用电量预测问题，探究不同的网络架构、数据准备方式以及建模方法。

数据集名称为：Individual household electric power consumption Data Set（点击跳转数据集下载页面），该数据集是一个多变量时间序列数据集，采集了法国巴黎一个家庭近四年（2006年12月至2010年11月）的用电量，采样周期为1分钟。数据集的属性信息如下：

为了避免翻译错误引起歧义，现贴出数据集属性的英文介绍如下文所示：

以上九个属性中，可以作为特征的有七个，去掉的两个是日期和时间，因为序列化数据已经包含先后顺序了，所以不需要时间和日期数据，因此可以使用的数据为一个由七个变量（特征）组成的多元序列。

最后三个属性统计的电能消耗并不是家里所有的电路电能消耗。其它的电能消耗可以通过下式计算： r e m a i n d e r = g l o b a l _ a c t i v e _ p o w e r × 1000 60 − ( s u b _ m e t e r i n g _ 1 + s u b _ m e t e r i n g _ 2 + s u b _ m e t e r i n g _ 3 ) remainder = \frac {global\_active\_power \times 1000}{60}− (sub\_metering\_1 + sub\_metering\_2 + sub\_metering\_3) remainder=60global_active_power×1000​−(sub_metering_1+sub_metering_2+sub_metering_3) 这里注意：有功功率单位为 K W KW KW，有功电能的单位为瓦时（ w a t t − h o u r watt-hour watt−hour），以上数据都是间隔一分钟测得的，因此公式的前半部分就是通过有功率乘以时间（1/60小时，也就是一分钟）计算得到总的有功电能消耗，单位是瓦时。减去公式的后半部分（后三个属性的加和），得到了家庭中其他电路的电能消耗。

该数据集已成为评估时间序列预测和多步预测（特别是预测有功功率）的机器学习方法的标准，接下来我们来探究该数据集。

在加载之前，先查看数据详情信息： 查看是否有异常数据： 使用Pandas中的 read_csv() 函数加载数据，如果是excel或者csv文件通常不用考虑分隔方式，用默认的配置就可以加载；但是对于 txt 文件则需要考虑，可以看到数据集是用 ; 来分隔数据的，下面加载数据：

read_csv() 参数说明：

更多参数配置，请查看官方文档：👉点开它带走我

1. 查看数据的shape：

输出：

2. 查看数据前10行：

输出： 3. 查看缺失值：

输出：

4. 查看有默认标记的异常值：

输出：

5. 有默认标记的异常值处理 为了提高数据处理效率，将所有标记为’?'的异常值用 np.nan 替换，将数据作为一个浮点值数组来处理。

再查看异常值：

输出：

再查看缺失值：

输出：

6. 添加新列 使用上一节中计算剩余用电量的计算公式，添加新列作为新的特征序列：

查看新的数据shape：

输出：

查看数据前十行：

输出：

7. 保存为新的文件：

1. 首先读取新保存的数据：

2.绘制不同特征的子图： 创建一个包含八个子图的图像，每个子图对应一个变量。完整代码如下：

输出：

3. 每年的有功功率变化图 为每一年创建一个有功功率图，观察是否有相同的模式。因为2006年只有不到一个月的数据，所以不绘制该年的子图。完整代码如下：

输出： 因为设置了 infer_datetime_format 参数，所以可直接使用年份索引进行截取数据。通过对以上数据进行分析可知，每年2月和8月内的某段时间耗电量有明显下降。我们似乎也看到夏季（6、7、8月）的用电量呈下降趋势，我们还可以在第以、第三和第四个图中有一些缺失的数据。

接下来，进一步查看每个月的用电情况。比如查看2008年每个月的有功功率，可能有助于梳理出几个月的变化规律，如每日和每周用电状况规律。完整代码如下：

输出：

接下来进一步查看每日的用电情况。完整代码如下：

输出：

另一个需要考虑的重要方面是变量的分布。例如，了解观测值的分布是高斯分布还是其他分布。可以通过为每个特征创建一个直方图来研究数据分布。完整代码如下：

输出： 可以看到有功和无功功率、强度以及分表功率都是向瓦时或千瓦倾斜的分布，电压数据呈高斯分布。有功功率的分布似乎是双峰的，这意味着它看起来有两组观测值。可以通过查看四年来的数据的有功功率分布来验证，完整代码如下：

输出：

可以看到，有功功率分布看起来非常相似。这种分布确实是双峰的，一个峰值约为0.3kw，另一个峰值约为1.3kw。随着有功功率（x轴）的增加，高功率用电时间点的数量越来越少。

所确定的群体可能在一年中的不同季节有所不同。可以通过查看一年中每个月的有功功率分布来对此进行调查。完整代码如下：

输出： 可以看到，在北半球较暖的月份（法国巴黎），有功功率比较大的点少，而在较冷的月份，有功功率比较大的点多。在12月到3月的较冷月份，可以看到有更大的千瓦值（大约 3.7 − 4 K W 3.7-4KW 3.7−4KW）。

对于我们使用的家庭用电量数据集来说，可以提出很多建模问题，比如：

以上四类预测问题称为多步预测。利用所有特征进行预测的模型称为多变量多步预测模型。每个模型都不局限于日期的大小，还可以根据需求对更细粒度的问题进行建模，比如一天内某各时段每分钟的耗电量预测问题。这有助于电力公司进行电能调度，是一个广泛研究的重要问题。

在为建模准备这些数据时有很大的灵活性。具体的数据准备方法及其效益实际上取决于问题的框架选择和建模方法。然而，以下是可能有用的一般数据准备方法的列表：

有许多简单的人为因素可能有助于从数据中提取工程特征，从而使特定日期更易于预测。一些例子包括：

对于这个问题，可能有四类方法值得探讨：

朴素的方法包括一些非常简单但通常非常有效的假设。例如：

经典的线性方法适用于单变量时间序列预测问题。常用的方法有：

机器学习方法要求将问题构造为有监督学习问题。这将要求将序列的滞后观测值作为输入特征，丢弃数据中的时间关系。常用的非线性和集成方法有：

为了确保模型拟合和评估，要保留数据中的时间结构，需要做大量的特征工程，来增加特征，专业程度较高。当有多个特征时，可能变得对业务需求不适用。

一般来说，神经网络在自回归型问题上并没有被证明是非常有效的。然而，卷积神经网络等技术能够从原始数据（包括一维信号数据）中自动学习复杂特征。而递归神经网络，例如LSTM，能够直接在多个输入数据的并行序列中学习。此外，这些方法的组合如CNN-LSTM和ConvLSTM等方法，在时间序列分类任务中被证明是有效的。这些方法可以处理大量数据和多个输入变量（特征）任务。

之后文章会介绍以上提到的的建模方法。

参考： https://matplotlib.org/index.html https://matplotlib.org/api/_as_gen/matplotlib.pyplot.tight_layout.html#matplotlib.pyplot.tight_layout https://matplotlib.org/api/_as_gen/matplotlib.pyplot.subplot.html?highlight=subplot#matplotlib.pyplot.subplot http://www.imooc.com/wenda/detail/574859 https://machinelearningmastery.com/how-to-load-and-explore-household-electricity-usage-data/