我们提出了一种基于迭代改进的条件非自回归神经序列模型。该模型的设计基于潜在变量模型和去噪自动编码器的原则，适用于任何序列生成任务。我们在机器翻译（英德和英罗）和图像标题生成任务上对所提出的模型进行了广泛评估，观察到该模型在显著加快解码速度的同时，生成质量与自回归模型相当。