语义场景理解对于实现鲁棒且安全的自主导航至关重要，尤其是在非道路环境中的应用。近年来，基于深度学习的三维语义分割技术在很大程度上依赖于大规模的训练数据集，然而现有的自动驾驶数据集大多聚焦于城市环境，或缺乏多模态的非道路场景数据。为此，本文提出了RELLIS-3D——一个在非道路环境中采集的多模态数据集，包含13,556帧LiDAR扫描数据和6,235张图像。该数据集采集自德克萨斯农工大学Rellis校区，其特点包括类别不平衡问题以及复杂的地形地貌，对现有算法构成了显著挑战。此外，本文在该数据集上评估了当前最先进的深度学习语义分割模型。实验结果表明，针对城市环境设计的分割算法在RELLIS-3D上表现不佳，难以应对非道路场景的独特挑战。RELLIS-3D为研究人员提供了必要的资源，以推动更先进的算法研发，并探索提升非道路环境下自主导航能力的新研究方向。RELLIS-3D数据集现已开源，获取地址为：https://github.com/unmannedlab/RELLIS-3D。