HyperAIHyperAI

Command Palette

Search for a command to run...

深度流导向视频修复

Rui Xu Xiaoxiao Li Bolei Zhou Chen Change Loy

摘要

视频修复旨在填补视频中缺失的区域,但由于难以保持视频内容在空间和时间上的精确一致性,这一任务仍然具有挑战性。在这项工作中,我们提出了一种新颖的基于光流引导的视频修复方法。与直接填充每一帧的RGB像素不同,我们将视频修复视为一个像素传播问题。首先,我们使用新设计的深度光流补全网络(Deep Flow Completion network)合成了跨越视频帧的空间和时间连贯的光流场。然后,利用合成的光流场来指导像素的传播,以填补视频中的缺失区域。具体而言,深度光流补全网络遵循从粗到精的细化过程来完成光流场,而通过挖掘困难的光流样例进一步提高了其质量。根据完成后的光流引导,可以精确地填补缺失的视频区域。我们的方法在DAVIS和YouTube-VOS数据集上进行了定性和定量评估,结果表明该方法在修复质量和速度方面均达到了当前最佳水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供