论文地址：https://arxiv.org/pdf/2302.04501.pdf

代码地址：https://github.com/plumprc/MTS-Mixers

一、简介

多元时间序列预测已广泛应用于各种实际场景。最近，由于捕获了远程依赖关系，基于 Transformer 的模型在预测任务中显示出了巨大的潜力。然而，最近在视觉和NLP领域的研究表明，注意力模块的作用并不明确。

本文研究了注意力机制对时间序列预测性能的贡献和不足。具体来说，发现（1）注意力对于捕获时间依赖性不是必需的，（2）捕获时间和通道交互中的冗余会影响预测性能，以及（3）对输入和预测序列之间的映射建模很重要。为此，提出了 MTS-Mixers，它使用两个分解模块来捕获时间特征和通道间依赖性。

二、Transformer的探讨

尽管这些基于Transformer的模型在长期时间序列预测任务中表现良好，但仍有一些问题需要解决。

时间特征的提取是时序预测的关键，而注意力机制如何实现这种信息提取还没有被合理得到解释。一个简单而有效的基线DLinear质疑基于Transformer的模型是否对时间序列预测有效。

基于Transformer的模型严重依赖于额外的位置或特定于日期的编码来保证注意力得分的顺序，这可能会干扰对时间特征的捕获。

现有的基于Transformer的方法几乎集中在如何降低注意计算的复杂度上，并通过适当的选择策略设计了各种稀疏注意机制，然而，这些方法有大量Attention以外的额外操作，这使得实际运行时间非常长。

为了验证注意力机制在时间序列预测中的有效性，在ETTh1上进行了一组实验。图(a)提供了对Transformer进行修改的预测结果。直接用傅里叶变换替换注意层保持了预测性能，而去除交叉注意显著提高了预测性能。这些结果表明，时间序列预测任务的注意机制可能并不那么有效。图(b)显示，与没有额外位置或特定日期编码的基于注意力的模型相比，应用简单的傅里叶变换可以实现相同的，甚至更好的预测性能。此外，单独捕获时间和通道依赖关系可能会带来额外的改进。

二、多元时间序列的冗余性

由于采样率和传感器数量的差异，当前不同场景的多元时间序列数据往往数据形式差异较大，冗余严重。

如下图，在时间维度上，对一个序列进行下采样，生成的新序列和原始序列保持着相似的趋势性、季节性。

而在channel维度上，多元序列中不同的子序列也展示出相似的pattern。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多元时间序列的建模。

三、MTS-Mixers

整体计算逻辑可以表示为如下形式：时间维度信息提取+空间维度信息提取+输出映射。

添加正弦位置编码以获得输入嵌入。然后，多头自注意力将用于捕获时间依赖性 。前馈网络是为了学习通道特征 。与普通 Transformer 相比，删除了解码器并使用一个线性层来直接映射。

其计算公式如下，主要是将时间维度、channel维度使用两个矩阵进行特征描述，再加上一个输出映射矩阵。这三个矩阵都是随机初始化的。

对于时间维度的冗余性，将源时间序列拆分成多个子序列，每段子序列分别进行temporal信息的学习，然后再按原来的顺序拼接在一起。

对于通道冗余的时间序列数据，我们通过矩阵分解，降低时间序列对应的噪声

N ∈ R n × c N\in R^{n×c} N∈Rn×c表示噪声， X h C ∈ R n × c X_h^C\in R^{n×c} XhC​∈Rn×c表示去噪后的通道依赖关系。 U ∈ R n × m U\in R^{n×m} U∈Rn×m和 V ∈ R m × c V\in R^{m×c} V∈Rm×c表示因式分解的通道相互作用，可以使用截断SVD和NMF等传统方法来获得 X h c X_h^c Xhc​。论文提供一个简单而有效的因式分解方法

四、实验

仅采用基于 MLP 的 MTSMixers 通过分解时间和通道混合来与预测任务的其他基线进行比较。MTS-Mixers在所有基准测试和预测长度设置中都表现出色，这表明它在各种现实场景中的优势。

五、总结

本文出了多元时间序列预测的通用框架MTS-Mixers。