HyperAIHyperAI

Command Palette

Search for a command to run...

多文档摘要中的行列式点过程注意力

Mirella Lapata Laura Perez-Beltrachini

摘要

在多文档摘要任务中,准确传达相关且多样化的信息至关重要,然而现有的神经序列到序列(seq-to-seq)模型往往难以实现这一目标,其生成结果常出现冗余信息,且未能充分覆盖关键细节。针对这一问题,本文提出一种新的注意力机制,旨在增强模型对信息相关性与多样性的关注。该机制基于定义在待摘要内容单元集合上的行列式点过程(Determinantal Point Processes, DPPs)所给出的(比例)概率来计算注意力权重。DPPs在抽取式摘要中已取得成功应用,本文则将其拓展至神经抽象式摘要,用于选择既相关又多样化的文本内容。我们将基于DPP的注意力机制与多种序列到序列架构相结合,涵盖CNN、LSTM以及Transformer等模型。实验结果表明,该注意力机制在多文档摘要任务中 consistently 提升了摘要质量,在MultiNews数据集上的表现达到与当前最先进方法相当的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供