HyperAIHyperAI

Command Palette

Search for a command to run...

QualityFlow:由LLM控制的程序合成代理工作流 质量检查

Hu Yaojie ; Zhou Qiang ; Chen Qihong ; Li Xiaopeng ; Liu Linbo ; Zhang Dejiao ; Kachroo Amit ; Oz Talha ; Tripp Omer

摘要

我们介绍了QualityFlow,一种用于程序合成的动态代理工作流。给定一个编程问题的英文描述和一组单元测试,该模型的目标是合成能够解决问题并通过测试的正确程序。QualityFlow包括类似于软件开发团队的大规模语言模型(LLM)代理,涵盖代码生成、测试和自我调试等功能。我们提出了LLM质量检查器,该检查器明确“想象”合成程序的执行是否符合单元测试的要求。质量检查器动态控制工作流,包括提交最终答案、澄清问题陈述以及回滚先前工作流步骤等操作。我们的实验表明,质量检查器能够精确接受任何正确的程序,减轻错误合成测试的影响,并防止潜在的工作流偏差。QualityFlow在四个程序合成基准测试中建立了最先进的结果:MBPP、HumanEval以及来自MBPP-EvalPlus和HumanEval-EvalPlus的更严格评估。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供