MMPR-v1.2-Prompts 多模态推理提示语数据集

MMPR-v1.2-Prompts 是由上海人工智能实验室联合清华大学、复旦大学等机构于 2024 年发布的一个面向多模态推理偏好学习的提示语料集合，相关论文成果为「Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization」，旨在支持模型在复杂的视觉–语言推理任务中的训练与评估。

数据结构

该数据集包含约 300 万个样本，每条数据为一条自然语言文本提示，部分包含多模态约束（例如结合图像与文本的推理要求）：

• 任务指令（Instruction / Prompt）：以自然语言表述，涵盖多模态推理场景，例如视觉问答、图文推理、场景理解等。
• 输入上下文（Context）：在部分任务中包含图像、文本或两者结合，用于约束模型生成输出。
• 输出格式要求（Output Format）：提示中对回答形式的限定，如「逐步推理（Chain-of-Thought）」、「多选理由」、「解释型输出」等。

需要注意的是，该数据集本身并不包含模型生成的回答或偏好标注结果，而是作为数据生成的起点，为后续构建多模态偏好排序数据（MMPR 数据集）提供输入提示。