在长时序视频中进行未来预测，需要基于当前及历史观测信息进行推理。本文提出一种灵活的多粒度时间聚合框架，以应对时间跨度、模型扩展性以及语义抽象层次等关键问题。我们证明，仅通过诸如最大池化（max-pooling）和注意力机制（attention）等简单技术，即可在下一动作预测与密集未来预测任务上实现当前最优性能。为验证模型的预测能力，我们在Breakfast、50Salads和EPIC-Kitchens三个数据集上进行了实验，均取得了当前最优的结果。此外，仅需进行少量修改，该模型还可轻松扩展至视频分割与动作识别任务。