HyperAIHyperAI

Command Palette

Search for a command to run...

CLEAR:用于句子表示的对比学习

Zhuofeng Wu Sinong Wang Jiatao Gu Madian Khabsa Fei Sun Hao Ma

摘要

预训练语言模型在捕捉语言的隐含特征方面已展现出独特优势。然而,大多数预训练方法主要关注词级训练目标,而对句级目标的研究则相对较少。本文提出了一种基于对比学习的句向量表示方法——CLEAR(Contrastive LEArning for sentence Representation),该方法通过引入多种句级数据增强策略,旨在学习对噪声具有鲁棒性的句向量表示。这些增强策略包括词语与短语删除、重排以及替换等。此外,我们通过大量实验深入探究了对比学习有效性的关键原因。实验结果表明,预训练阶段采用的不同句级增强方式会在各类下游任务上带来差异化的性能提升。在SentEval和GLUE两个基准测试中,所提出的CLEAR方法均显著优于多种现有方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供