2 个月前

转换模型:重新思考生成式学习目标

Zidong Wang, Yiyuan Zhang, Xiaoyu Yue, Xiangyu Yue, Yangguang Li, Wanli Ouyang, Lei Bai
转换模型:重新思考生成式学习目标
摘要

生成建模领域仍面临一个根本性难题:迭代式扩散模型虽能实现极高的生成保真度,但计算成本高昂;而高效、少步数的替代方案则受限于难以突破的质量瓶颈。这一生成步数与输出质量之间的矛盾,源于训练目标的局限性——现有方法要么专注于微小时间尺度的动力学(PF-ODEs),要么直接预测最终输出端点。为解决这一挑战,我们提出了一种精确的、连续时间的动力学方程,该方程可解析地描述任意有限时间区间内的状态转移过程。基于此,我们构建了一种全新的生成范式——过渡模型(Transition Models, TiM),该模型能够适应任意步数的生成过程,无缝衔接从单步跳跃到多步精细优化的完整生成轨迹。尽管TiM仅包含8.65亿参数,其性能已达到当前最先进水平,在所有评估步数下均超越了如SD3.5(80亿参数)和FLUX.1(120亿参数)等主流模型。尤为重要的是,与以往少步数生成器不同,TiM在采样预算增加时展现出持续的质量提升特性。此外,结合我们提出的原生分辨率策略,TiM在高达4096×4096的高分辨率下仍能实现卓越的生成保真度。

转换模型:重新思考生成式学习目标 | 论文 | HyperAI超神经