{Dugki Min Hyeonseo Cho Hyungeun Jo Tuan Anh Nguyen Vishnu Kumar Kaliappan Hoeun Lee Sangwoo Jeon}

摘要

无人机（UAV）的广泛应用催生了多种智能化服务，其中高效的协同机制在提升多机协作执行效能方面发挥着关键作用。然而，由于无人机自身续航时间和作业范围有限，在未知动态环境中实现高度高效的协同行为仍面临巨大挑战。为此，本文提出一种基于多智能体深度强化学习（MADRL）的融合多智能体注意力评论家（F-MAAC）模型，用于实现多无人机系统的能量高效协同导航控制。该模型在多智能体注意力评论家（MAAC）模型的基础上进行了两项重要改进。首先，引入传感器融合层，使智能体网络能够有效整合全部所需的传感信息，提升环境感知能力。其次，新增一个用于计算不同智能体间差异性权重的模块，以补偿MAAC模型中注意力机制导致的信息损失，从而增强协同决策的鲁棒性与准确性。为验证所提模型的能量效率，本文采用Unity引擎构建的无人机物流配送服务（UAV LDS）仿真环境进行训练与评估。在该环境中，引入衡量无人机总飞行距离的特征指标，以量化能量消耗并验证模型的节能性能。为全面评估F-MAAC模型的性能，本文将其与多种经典强化学习模型在两个典型应用场景下进行对比。首先，在20,000个训练周期内，基于平均回合奖励对F-MAAC、DDPG、MADDPG及MAAC模型进行比较。随后，选取表现最优的F-MAAC与MAAC模型进行进一步训练，延长至150,000个训练周期。通过统计相同时间段内的总配送数量以及相同飞行距离下的总配送量，来衡量系统的能量效率。仿真结果表明，F-MAAC模型显著优于MAAC模型：在3000个时间步内，其配送量提升38%；在每1000米飞行距离下，配送效率提高30%。这充分证明了所提F-MAAC模型在提升多无人机系统能量效率与协同性能方面的优越性。