Junjie Zhou Zheng Liu Ze Liu Shitao Xiao Yueze Wang Bo Zhao Chen Jason Zhang Defu Lian Yongping Xiong

摘要

尽管多模态检索的需求迅速增长，该领域的进展仍严重受限于训练数据的匮乏。本文提出了一种名为MegaPairs的新颖数据合成方法，该方法利用视觉语言模型（VLMs）和开放域图像，生成了一个大规模的合成数据集。实证分析表明，MegaPairs能够生成高质量的数据，使多模态检索模型的性能显著超越在现有数据集上训练、数据量多出70倍的基线模型。此外，由于MegaPairs仅依赖通用图像语料库和开源视觉语言模型，具有良好的可扩展性，能够持续提升检索性能。在本阶段，我们已生成超过2600万条训练样本，并基于该数据集训练了多个不同规模的模型。这些新模型在4个主流的组合图像检索（CIR）基准测试中均达到当前最优的零样本性能，并在MMEB提供的36个数据集上取得最高综合表现。同时，这些模型在后续的微调任务中也展现出显著的性能提升。我们所构建的数据集、训练良好的模型以及数据合成流程将对公众开放，以推动该领域的未来发展。