HyperAIHyperAI

Command Palette

Search for a command to run...

MaPLe:多模态提示学习

Muhammad Uzair Khattak Hanoona Rasheed Muhammad Maaz Salman Khan Fahad Shahbaz Khan

摘要

预训练的视觉-语言(V-L)模型(如CLIP)在下游任务中展现出卓越的泛化能力。然而,这些模型对输入文本提示(prompt)的选择较为敏感,需精心设计提示模板才能取得良好性能。受自然语言处理(NLP)领域启发,近期针对CLIP的适应方法将提示学习(prompt learning)作为文本输入,用于微调CLIP以适配下游任务。我们注意到,仅在CLIP的单一模态分支(语言或视觉)中使用提示进行表示适配是次优的,因为这种方法无法在下游任务中动态调整两个模态的表示空间,限制了模态间交互的灵活性。为此,本文提出一种多模态提示学习方法(Multi-modal Prompt Learning, MaPLe),同时在视觉与语言两个分支中引入提示学习,以增强视觉与语言表示之间的对齐能力。我们的设计强调视觉-语言提示之间的强耦合,确保二者产生协同效应,同时抑制独立学习单模态解决方案的倾向。此外,我们在不同早期网络阶段分别学习独立的提示,以逐步建模各阶段特征之间的关系,从而支持更丰富的上下文信息学习。我们在三个具有代表性的泛化任务上评估了所提方法的有效性:新类别识别、新目标数据集上的泛化以及未见领域偏移的适应能力。实验结果表明,与当前最先进的方法Co-CoOp相比,MaPLe在新类别识别任务上实现了3.45%的绝对性能提升,在11个多样化图像识别数据集上平均的总体调和均值(harmonic-mean)也提升了2.72%。相关代码与预训练模型已开源,地址为:https://github.com/muzairkhattak/multimodal-prompt-learning


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供