HyperAIHyperAI

Command Palette

Search for a command to run...

Informer:超越高效的Transformer用于长序列时间序列预测

Haoyi Zhou; Shanghang Zhang; Jieqi Peng; Shuai Zhang; Jianxin Li; Hui Xiong; Wancai Zhang

摘要

许多实际应用需要预测长序列时间序列,例如电力消费规划。长序列时间序列预测(LSTF)要求模型具有较高的预测能力,即能够高效地捕捉输出与输入之间的精确长距离依赖关系。最近的研究表明,Transformer 在提高预测能力方面展现出巨大潜力。然而,Transformer 存在几个严重的问题,阻碍了其直接应用于 LSTF,包括二次时间复杂度、高内存使用量以及编码器-解码器架构的固有限制。为了解决这些问题,我们设计了一种高效的基于 Transformer 的 LSTF 模型,命名为 Informer,该模型具有三个显著特点:(i) 一种 ProbSparseProbSparseProbSparse 自注意力机制,该机制在时间复杂度和内存使用上达到 O(LlogL)O(L \log L)O(LlogL) 的水平,并且在序列依赖对齐方面的性能相当;(ii) 自注意力蒸馏通过减半级联层输入来突出主要注意力,并能高效处理极长的输入序列;(iii) 生成式解码器虽然概念简单,但能够在一次前向操作中预测长时间序列,而不是逐步进行预测,从而大幅提高了长序列预测的推理速度。大量实验在四个大规模数据集上的结果表明,Informer 显著优于现有方法,并为 LSTF 问题提供了新的解决方案。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供