{Alexandr Axyonov Denis Ivanko Dmitry Ryumin}

摘要

自动手语手势识别（Gesture Recognition, GR）在促进听障人士与社会其他成员之间的交流方面发挥着关键作用。然而，由于手语种类（Sign Languages, SLs）的多样性以及标注数据的有限性，实现准确且高效的自动手语识别仍是一项具有挑战性的任务。本文提出了一种基于视觉信息的跨语言迁移学习新方法，旨在提升自动手语识别的准确性。研究采用两个大规模多模态手语语料库作为基础手语数据集：安卡拉大学土耳其手语数据集（Ankara University Turkish Sign Language Dataset, AUTSL）和俄语手语词典（Thesaurus Russian Sign Language, TheRusLan）。实验结果表明，该方法在识别18种不同手势（包括目标俄语手语手势）时，达到了93.33%的识别准确率，较此前最先进水平提升了2.19%，充分验证了所提方法的有效性。研究结果表明，该方法具有显著潜力，可进一步提升机器手语翻译的准确性与鲁棒性，增强人机交互的自然性，并促进听障人士的社会融合。本文为未来研究提供了有前景的方向，即探索该方法在其他手语体系中的应用，并深入研究个体差异与文化因素对手语识别性能的影响。