10个电站的历史数据，数据分为训练集与测试集，其具体数据类型如下：

日平均绝对偏差的计算公式如下：

其中，MAE_D 为每日的平均绝对偏差，n为当天实际功率的值大于等于装机容量3%（即实际功率值大于等于Cp0.03）的测量样本的数量；Pmi为实际功率；Ppi为预测功率；Cp为装机容量。十个电站的装机功率依次为：20、30、10、20、21、10、40、30、50、20（单位MW）。

每月的绝对平均偏差的平均值计算方法如下：

MAE_M为每月的绝对平均偏差，n为当月天数，MAE_Di为第i天的日平均绝对偏差。

这里有3个文件夹，train文件夹存放训练数据，test文件夹存放测试数据，气象数据文件夹存放训练数据的气象数据。每个文件夹10个文件，对应10个不同的电场，如图1所示：

注意，训练数据集中有实际辐照度这个特征，而测试集中没有，且不能将实际辐照度作为特征来训练。所以有两种思路，一种是将实际辐照度作为标签来预测，通过预测得到的标签作为测试数据集的特征来进行训练；另一种是不考虑实际辐照度，由于实际辐照度和实际功率相关性太大，会降低其他气象数据的作用。这里我就不考虑实际辐照度这个特征了。

观察数据，查看数据包含哪些内容，查看训练数据集是否有缺失值，判断是否有缺失值后，若存在缺失值，可将其删除。

运行结果如图2、图3、图4所示：

从图2中可以看出数据的整体描述；从图3可以看出特征有时间、辐照度、风速、风向、温度、湿度、压强、实际辐照度，要预测的是实际功率，而测试集中则不包含实际辐照度和实际功率；从图4可以看出数据不存在缺失值，不需要关注。

然后对数据进行可视化操作，主要分析辐照度、实际辐照度和实际功率的异常值。因为可能会出现晚上电场也在发电的情况，或者白天电场不工作的情况。考虑到每个电场的情况会不同，所以将每个电场单独进行分析，这里拿第1个电场进行全面的分析，参考代码：

从图5可以看出实际辐照度存在负数和偏差大的值，还有一小段缺失值，这里可以通过左下角的图标放大来看。本人用的是Pycharm，需要设置'File'下的'Setting'，找到'Tools'下的'Python Scientific'，将'Show plots in tool winsow'的钩给去掉。放大后的图像如图6所示：

从图6我们可以粗略观察到三个数据的分布情况以及异常值，这里可以进一步放大，正常情况下实际辐照度大于实际功率，实际功率大于辐照度，否则就是异常值。通过观察异常数据并确定异常值出现的情况，建立异常值的索引，并将其删除，参考代码：

在处理每个电场数据之前，记得使用describe()函数和isnull().any()观察值，再进行处理。经过预处理后的数据如图7所示，放大后也没有异常值。

按照上面的思路将剩余的9个训练场进行异常值处理，由于每个电场的情况不一样，都需要通过图像去分析，这里每个电场的处理都不一样。

接下来最主要的部分就是特征的处理了，一个模型的好坏主要取决于数据和特征的选择。数据和特征决定了机器学习的上限，而模型和算法是尽量接近这个上限，所以，特征是很重要的。

运行结果如图8所示：

特征差分处理

这里主要的6个特征是辐照度、温度、湿度、风速、风向和压强，先对这6个特征进行差分处理，获取他们的差分特征，然后对其实行可视化操作，参考程序如下：

可视化结果如图9所示：

至此，特征的处理基本完成。

前面将特征处理好之后，接下来进行特征选择和建模。

第一个电场的特征选择可视化结果如图11所示：

通过上述可视化结果自己设定阈值，选择合适的特征保留下来。

然后将上面的模型参数去预测测试集。

模型优化：将预测的结果进行线上检验，第一次线上的结果比线下的要差很多，出现了过拟合。可以增加正则化函数l1、l2，减少过拟合。

调参参考：

Use bagging by setting bagging_fraction and bagging_freq Use feature sub-sampling by setting feature_fraction Use small max_bin Use save_binary to speed up data loading in future learning Use parallel learning, refer to Parallel Learning Guide

Use large max_bin (may be slower) Use small learning_rate with large num_iterations Use large num_leaves (may cause over-fitting) Use bigger training data Try dart

Use small max_bin Use small num_leaves Use min_data_in_leaf and min_sum_hessian_in_leaf Use bagging by set bagging_fraction and bagging_freq Use feature sub-sampling by set feature_fraction Use bigger training data Try lambda_l1, lambda_l2 andmin_gain_to_split for regularization Try max_depth to avoid growing deep tree

1.数据清洗方面：

个人是对每一个电场都放大进行分析，这个过程比较耗时，但是异常值也清洗得比较干净。但是也会把一些正常数据给清洗掉，比如雨天、沙尘暴天气，辐射度正常，但是实际功率很低，这样的话可能会降低气象数据对模型的权重，而且也会降低模型的泛化能力。但是不放大分析的话，又有可能有许多噪声数据，模型将异常数据当做正常数据来分析，这样模型的泛化效果也会降低。所以，权衡利弊，个人还是选择放大进行数据清洗。

2.特征处理方面：这个过程是最麻烦的。

3.特征选择，可以使用feature_importance来进行特征选择，将一些重要的特征保存下来。特征少了，机器会学不到，特征多了，又会影响模型的效果，所以阈值需要稍微调试一下。

4.建立模型并预测：

学习数据分析也有一段时间了，过去都是拿着书上的代码照着敲，最多就是处理完异常值直接拿模型去预测数据，特征工程也没有做，模型参数也没有优化。通过这次竞赛也算是积累经验了，中间遇到过很多问题，都一一解决了。总体来看，个人在算法的理解上还不到位，对数据的了解也不够深，还需要多多努力有很多不足的地方，请大家指出。

源码地址：github