用于开放和专业医疗保健的LLM的芦荟家族配方

目的：随着大型语言模型（LLMs）在医疗保健领域的进步，保护公共利益的需求促使开发具有竞争力的开源模型。本研究通过优化数据预处理和训练的关键阶段，展示了如何通过直接偏好优化（DPO）提高模型的安全性以及通过检索增强生成（RAG）提升其效能，从而为开放医疗LLM领域做出贡献。所采用的评估方法包括四种不同类型的测试，定义了该领域的全新标准。最终开发出的模型在性能上与最佳的私有替代方案相当，并以宽松许可发布。方法：基于强大的基础模型如Llama 3.1和Qwen 2.5，Aloe Beta利用自定义数据集来增强公共数据，加入合成的“思维链”示例。这些模型通过直接偏好优化进行对齐，特别强调在面对越狱攻击时的伦理和政策一致性表现。评估过程包括封闭式测试、开放式测试、安全性评估和人工评估，以最大化结果的可靠性。结果：针对整个流程提出了多项建议，并得到了Aloe系列模型稳健性能的支持。这些模型在医疗保健基准测试和各个医学领域中表现出色，经常受到医疗专业人士的青睐。在偏见和毒性方面，Aloe Beta模型显著提高了安全性，显示出对未知越狱攻击的强大抵抗力。为了负责任地发布这些模型，附带了一份详细的医疗领域特定风险评估报告。结论：Aloe Beta模型及其开发方法是对开源医疗LLM领域的重要贡献，在提供顶级性能的同时保持高标准的伦理要求。本研究为医疗领域内对齐LLM的开发和报告设定了新的标准。