HyperAIHyperAI

Command Palette

Search for a command to run...

MCIF 多模态跨语言指令跟随数据集

在 Discord 上讨论

日期

1 个月前

数据集组织

Fondazione Bruno Kessler
KIT
Translated

论文 URL

2507.19634

许可证

CC BY 4.0

MCIF 是由 Fondazione Bruno Kessler 联合 Karlsruhe Institute of Technology 、 Translated 于 2025 年发布的一个基于科学演讲构建的多语言、多模态人工标注评测数据集,相关论文成果为 MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks,旨在评估多模态大语言模型在跨语言场景下的指令理解与执行能力,以及其融合语音、视觉和文本信息进行推理的能力。

该数据集共包含 100 个科学演讲样本,覆盖约 10 小时的视频内容。数据集提供文本、语音和视频三种模态输入,覆盖英语、德语、意大利语和中文四种语言,并同时包含长输入和短输入两种形式。其中,21 个核心演讲样本提供了完整的高质量英文人工转写,文本规模约 1.55 万词;其余样本主要用于摘要任务,均配有对应的论文摘要,并提供对齐的音频与视频内容。该数据集涵盖识别、翻译、问答和摘要等指令任务,所有任务均通过自然语言指令驱动,用于评估多模态模型的跨语言指令理解能力。

用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供