时空预测学习旨在通过学习历史帧来生成未来的帧。本文深入研究了现有方法，并提出了一种通用的时空预测学习框架：该框架中，空间编码器与解码器用于捕捉帧内特征，而中间的时序模块则用于建模帧间相关性。尽管主流方法通常采用循环单元来捕捉长期时序依赖关系，但其不可并行化的架构导致计算效率较低。为实现时序模块的并行化，本文提出了一种时序注意力单元（Temporal Attention Unit, TAU），该单元将时序注意力分解为帧内静态注意力与帧间动态注意力两部分。此外，针对均方误差损失仅关注帧内误差的局限性，本文引入了一种新型的差异发散正则化项，以有效考虑帧间的变化特性。大量实验结果表明，所提出的框架能够使构建的模型在多个时空预测基准任务上取得具有竞争力的性能表现。