摘要

我们介绍了多语言视觉与语言模型PaLI-X的训练方法及其在组件规模和训练任务多样性方面的扩展结果。该模型在多种复杂任务上实现了新的性能水平，包括基于图像的标题生成和问答任务、基于图像的文档理解、少量样本（上下文）学习，以及目标检测、视频问答和视频标题生成。PaLI-X在大多数考虑的视觉与语言基准测试中（超过25个）取得了最先进的成果。最后，我们观察到一些新兴能力的出现，例如复杂的计数和多语言目标检测，这些任务并未明确包含在训练任务组合中。