HyperAIHyperAI

Command Palette

Search for a command to run...

GRPE:图Transformer中的相对位置编码

Wonpyo Park Woonggi Chang Donggeon Lee Juntae Kim Seung-won Hwang

摘要

我们提出了一种用于Transformer架构中图学习的新型位置编码方法。现有的方法要么将图线性化,以在节点序列中编码绝对位置,要么通过偏置项以另一节点为参考编码相对位置。前者在图的线性化过程中会损失相对位置的精确性,后者则难以实现节点与边、节点与拓扑结构之间紧密的交互建模。为克服上述方法的局限性,我们的方法在不进行图线性化的基础上,同时考虑了节点-拓扑与节点-边的交互关系。我们将其命名为图相对位置编码(Graph Relative Positional Encoding),专为图表示学习而设计。在多个图数据集上的实验结果表明,所提出的方法显著优于现有方法。相关代码已公开,可通过 https://github.com/lenscloth/GRPE 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供