华为2023年多元时间序列预测模型（MTS |
您所在的位置：网站首页 › 多元时间序列预测建模 › 华为2023年多元时间序列预测模型（MTS |
华为2023年多元时间序列预测模型（MTS
|
向AI转型的程序员都关注了这个号👇👇👇 华为在这2023年2月9日发布了一篇关于多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。 1. Transformer的探讨 Transformer在时间序列预测中的作用最近得到非常广泛地探讨。下图为经典Transformer时间序列预测模型图。
Transformer做时间序列预测时，存在以下几个问题。首先，Temporal dependency的提取是时间序列预测的关键，而Attention机制如何实现这种信息提取还没有被合理得到解释。其次，Transformer对时间特征、Position embedding有很强的依赖性，这些信息会和序列一起进入Attention模块，影响了Temporal dependency的学习。最后，Transformer模型本身的计算量很大，虽然一些工作提出了Attention的高效计算方法，但是除了Attention外，模型中还有很多其他模块计算量也很大。 文中对比了Transformer模型和其他结构的效果差异。如果将Attention换成简单的傅里叶变换，效果是有提升的。而去掉Encoder和Decoder之间的Attention，效果反而提升非常大。这不禁让人们怀疑attention机制在多大程度上帮助了时间序列预测任务。
2. 多元时间序列的冗余性 多元时间序列无论是在Temporal维度还是Channel维度，都存在比较强的冗余性。如下图所示，在Temporal维度上，对一个序列进行下采样，生成的新序列和原始序列保持着相似的趋势性、季节性。而在channel维度上，多元序列中不同的子序列也展示出相似的Pattern。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只使用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多元时间序列的建模。
MTS-Mixer的模型结构如下，第二列是一个抽象结构，后面3列是具体的实现方法。
文中在多个数据集上对比了MTS-Mixer和众多Transformer模型的效果，发现即使不加Attention结构，采用文中提出的简单架构，就能取得超过Transformer的效果。
5. 结论 本文提出了MTS Mixers，这是一个多变量时间序列预测的通用框架。我们进行了一项广泛的研究，以调查注意力机制对时间序列预测性能的真正贡献和不足。实验结果表明，捕获时间相关性不需要注意，时间序列数据中的冗余会影响预测性能。此外，我们提出的时间和信道因子分解策略利用了时间序列数据的低秩特性，并在多个真实世界数据集上以更高的效率获得了最先进的结果。对模型学习到的模式的模型分析表明，输入和输出序列之间的映射可能是我们需要的关键。 机器学习算法AI大数据技术 搜索公众号添加： datanlp
长按图片，识别二维码 阅读过本文的人还看了以下文章： TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank，用MaskRCNN做表格检测 《基于深度学习的自然语言处理》中/英PDF Deep Learning 中文版初版-周志华团队 【全套视频课】最全的目标检测算法系列讲解，通俗易懂！ 《美团机器学习实践》_美团算法团队.pdf 《深度学习入门：基于Python的理论与实现》高清中文PDF+源码 《深度学习：基于Keras的Python实践》PDF和代码 特征提取与图像处理(第二版).pdf python就业班学习视频，从入门到实战项目 2019最新《PyTorch自然语言处理》英、中文版PDF+源码 《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码 《深度学习之pytorch》pdf+附书源码 PyTorch深度学习快速实战入门《pytorch-handbook》 【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》 《Python数据分析与挖掘实战》PDF+完整源码 汽车行业完整知识图谱项目实战视频(全23课) 李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材 笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！ 《神经网络与深度学习》最新2018版中英PDF+源码 将机器学习模型部署为REST API FashionAI服装属性标签图像识别Top1-5方案分享 重要开源！CNN-RNN-CTC 实现手写汉字识别 yolo3 检测出图像中的不规则汉字 同样是机器学习算法工程师，你的面试为什么过不了？ 前海征信大数据算法：风险概率预测 【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类 VGG16迁移学习，实现医学图像识别分类工程项目 特征工程(一) 特征工程(二) :文本数据的展开、过滤和分块 特征工程(三):特征缩放,从词袋到 TF-IDF 特征工程(四): 类别特征 特征工程(五): PCA 降维 特征工程(六): 非线性特征提取和模型堆叠 特征工程(七)：图像特征提取和深度学习 如何利用全新的决策树集成级联结构gcForest做特征工程并打分？ Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏） python+flask搭建CNN在线识别手写中文网站 中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程 不断更新资源 深度学习、机器学习、数据分析、python 搜索公众号添加： datayx
|
【本文地址】