摘要
我们介绍了FreeMorph，这是首个无需调参的图像变形方法，能够处理具有不同语义或布局的输入。现有的方法依赖于微调预训练扩散模型，受到时间限制和语义/布局差异的制约，而FreeMorph则无需针对每个实例进行训练即可实现高保真图像变形。尽管这些无调参方法在效率和潜力方面表现出色，但由于多步骤去噪过程的非线性特性和预训练扩散模型继承的偏差，它们在保持高质量结果方面仍面临挑战。本文中，我们通过集成两项关键创新来解决这些问题。1）首先，我们提出了一种引导感知的球面插值设计，通过修改自注意力模块来显式地利用输入图像的引导信息，从而解决了身份丢失问题并确保生成序列中的方向过渡。2）此外，我们引入了一种面向步骤的变化趋势，将从每个输入图像派生的自注意力模块进行融合，以实现受控且一致的过渡，同时尊重两个输入图像。我们的大量评估表明，FreeMorph在速度上比现有方法快10倍至50倍，并且在图像变形领域树立了新的最先进水平。