课程 LoRA 专家动态混合方法 Dynamic Mixture of Curriculum LoRA Experts

课程 LoRA 专家动态混合方法（Dynamic Mixture of Curriculum LoRA Experts，简称 D-MoLE）是由阿里巴巴集团安全部—交互内容安全团队联合清华大学于 2025 年 6 月 13 日提出的一种专为持续多模态指令微调设计的新方法，旨在在有限参数预算下，多模态大语言模型（MLLM）能够持续适应新任务，同时有效保留已有知识。相关论文成果为「Dynamic Mixture of Curriculum LoRA Experts for Continual Multimodal Instruction Tuning」，该论文已被 ICML 2025 收录。

D-MoLE 结合了 LoRA 和 专家混合（Mixture of Experts, MoE）的思想，并引入了课程学习的机制，通过动态地选择和组合不同的 LoRA 模块来适应新任务，同时尽量避免对已有知识的干扰。大量实验表明，D-MoLE 显著优于最先进的基线模型，比最佳基线平均提升 15% 。资料显示，这是首次从架构角度研究 MLLMs 的持续学习问题。