HyperAIHyperAI

Command Palette

Search for a command to run...

MasQCLIP用于开放词汇通用图像分割

Zhuowen Tu Zheng Ding Tianyi Xiong Xin Xu

摘要

我们提出了一种新型的开放词汇通用图像分割方法,能够在统一框架下实现实例分割、语义分割与全景分割。该方法名为MasQCLIP,通过利用预训练CLIP模型的密集特征,无缝集成至CLIP架构中,从而避免了对大量参数进行冗长训练的需要。在基于CLIP模型构建图像分割方法时,MasQCLIP引入了两个创新设计:1)采用师生(student-teacher)模块,通过从基础(已见)类别中蒸馏信息,有效处理新型(未见)类别的分割任务;2)引入微调过程,用于更新CLIP模型中查询向量Q的模型参数。得益于这两个简洁而直观的设计,MasQCLIP在所有三项任务——开放词汇实例分割、语义分割与全景分割——上均取得了当前最优性能,显著超越现有方法,提升幅度显著。项目主页详见:https://masqclip.github.io/


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供