HyperAIHyperAI

Command Palette

Search for a command to run...

MEAformer:多模态实体对齐 Transformer 用于元模态混合

摘要

多模态实体对齐(MMEA)旨在发现不同知识图谱(KGs)中相同的实体,这些实体与相关的图像相关联。然而,当前的MMEA算法依赖于知识图谱级别的模态融合策略来表示多模态实体,这忽略了不同实体在模态偏好上的差异,从而降低了对模糊图像和关系等模态噪声的鲁棒性。本文介绍了一种名为MEAformer的多模态实体对齐变换器方法,用于元模态混合,该方法动态预测各模态之间的相互关联系数,实现更细粒度的实体级别模态融合与对齐。实验结果表明,我们的模型不仅在多种训练场景下(包括监督、无监督、迭代和低资源设置)实现了最先进的性能,而且参数数量有限、运行效率高且具有可解释性。我们的代码可在https://github.com/zjukg/MEAformer 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供