丰田研究院用大型行为模型加速机器人学习，减少80%训练数据

丰田研究所（TRI）最近发布了一项关于大型行为模型（LBMs）的研究成果，该模型可以加速机器人学习并训练通用型机器人。研究显示，通过预先训练，单个LBM可以学会数百种任务，并且在获取新技能时使用的训练数据减少了80%。这项研究旨在揭示LBMs的实际优势和应用潜力，尽管存在一些需要谨慎注意的事项。 TRI的LBM基于扩散变换器架构，该架构结合了多模态视觉-语言编码器和一个条件化于AdaLN的变换器降噪头。这些模型可以接收手腕摄像头和场景摄像头的图像、机器人本体感知数据以及语言指令，并预测未来的1.6秒动作片段。研究团队对LBM进行了预训练，使用的数据包括468小时内部收集的双机械臂远程操作数据、45小时模拟远程操作数据、32小时Universal Manipulation Interface（UMI）数据以及1,150小时从互联网上精选的数据。 TRI对LBM的评估方法严谨而全面。评估平台包括Franka Panda FR3机械臂和多达六台摄像头，分别位于两个手腕和两个静态场景位置。团队在仿真和现实环境中对LBM模型进行了评估，涉及16种仿真预训练任务、3种现实预训练任务、5种新出现的仿真长期任务和5种复杂的新现实长期任务。每个模型在每项现实任务中测试50次，在每项仿真任务中测试200次，共计4,200次测试，覆盖29种任务。研究人员还确保初始条件在现实和仿真环境中保持一致，并采用了盲测A/B对比和顺序假设检验框架来提高统计可信度。 主要研究发现包括： 1. 即使只需几百小时的多样化数据，LBM的性能就能显著提升。 2. 预先训练提供了比预期更早的性能提升，这表明即使机器人数据量尚未达到互联网级别，依然可以通过不断积累数据和性能提升形成良性循环。 3. 在新的、具有挑战性的长期任务中，预训练LBM表现优于未预训练的模型，尽管这些任务与预训练任务差异很大。 研究人员也注意到一些需要注意的问题： 1. 非调优的预训练LBM在某些任务上的表现参差不齐。虽然单个网络能够同时学习多个任务，但在没有调优的情况下，其性能并未明显超过从零开始单一任务训练的模型。 2. 细微的设计选择，如数据归一化，对性能的影响可能大于架构或算法的变化。因此，这些设计选择在实验中需要仔细隔离，以避免混淆性能改善的真正来源。 TRI的研究表明，大型行为模型在提升机器人通用性和减少训练数据需求方面展示了巨大潜力。尽管仍面临一些挑战，但总体上支持了LBMs在机器人领域的快速发展。这一研究成果不仅为开发更多功能强大的家用机器人创造了可能，也为机器人领域的基础研究提供了新的方向。 业内人士对这项研究给予了高度评价。他们认为TRI的工作在机器人基础模型的设计和评估方法上迈出了重要一步，特别是在处理现实世界中的复杂任务方面展现了显著进步。随着技术的进一步发展，这类模型有望在更多应用场景中发挥作用，尤其是在医疗和家庭服务领域。丰田研究所作为一家领先的技术研究机构，近年来一直在致力于机器人技术和自动驾驶系统的研究，此次LBM研究是其在通用机器人领域的又一突破性进展。