DiffuCode-7B-cpGRPO：基于掩码扩散技术的代码生成模型

一、教程简介

DiffuCoder-7B-cpGRPO 是由 Apple 团队于 2025 年 6 月 25 日在相关论文中首次提出的、一种基于掩码扩散（masked diffusion）的代码生成模型（dLLM）。并经过超过 20000 个精心挑选的编码示例进行训练。该模型旨在通过迭代式降噪的方式进行代码的生成与编辑，而非传统的从左到右的自回归（Autoregressive）生成。 DiffuCoder-7B-cpGRPO 的一个显著特点是它不严格依赖从左到右的生成方式来生成代码，这使得它在主流编程跑分测试中，相较于其他基于扩散的编程模型，得分提高了 4.4% 。这种非顺序性的代码生成能力，使其在代码编辑和生成任务中展现出更高的灵活性和效率。相关论文成果为「DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation」。

本教程采用资源为单卡 RTX 4090 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 使用步骤

若显示「Bad Gateway」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

参数说明

• Advanced Settings：
  • Temperature：控制生成多样性，越高越随机，越低越确定。
  • Top-p：概率采样的累积阈值，越小生成更保守。
  • Max-tokens：限制模型单次生成的最大长度。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@article{gong2025diffucoder,
  title={DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation},
  author={Shansan Gong, Ruixiang Zhang, Huangjie Zheng, Jiatao Gu, Navdeep Jaitly, Lingpeng Kong, Yizhe Zhang},
  year={2025},
  eprint={2506.20639},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2506.20639},
}