局部感知并行解码用于高效的自回归图像生成

我们提出了一种局部感知并行解码（Locality-aware Parallel Decoding, LPD）方法，以加速自回归图像生成。传统的自回归图像生成依赖于下一补丁预测，这是一种受内存限制的过程，导致高延迟。现有的研究尝试通过转向多补丁预测来并行化下一补丁预测，从而加速该过程，但仅实现了有限的并行化。为了在保持生成质量的同时实现高并行化，我们引入了两项关键技术：（1）灵活并行自回归建模（Flexible Parallelized Autoregressive Modeling），一种新颖的架构，支持任意生成顺序和并行度。它使用可学习的位置查询令牌来引导目标位置的生成，同时确保并发生成的令牌之间具有相互可见性，以实现一致的并行解码。（2）局部感知生成排序（Locality-aware Generation Ordering），一种新颖的调度策略，通过形成组来最小化组内依赖关系并最大化上下文支持，从而提高生成质量。借助这些设计，我们在ImageNet类别条件生成中将生成步骤从256减少到20（256×256分辨率）和从1024减少到48（512×512分辨率），且不牺牲质量，并且比之前的并行自回归模型至少降低了3.4倍的延迟。