以往基于卷积神经网络（CNN）的视频超分辨率方法需要将多个帧对齐到参考帧。本文表明，适当的帧对齐和运动补偿对于实现高质量结果至关重要。因此，我们在CNN框架中提出了一种“亚像素运动补偿”（Sub-Pixel Motion Compensation, SPMC）层。分析和实验结果证明了该层在视频超分辨率中的适用性。最终的端到端、可扩展的CNN框架有效地集成了SPMC层，并融合了多个帧以揭示图像细节。我们的实现方法能够在无需参数调整的情况下生成视觉上和定量上均优于当前最先进方法的高质量结果。