HyperAIHyperAI

Command Palette

Search for a command to run...

Chemformer:面向计算化学的预训练Transformer

Esben Jannik Bjerrum Jiazhen He Spyridon Dimitriadis Ross Irwin

摘要

近年来,基于Transformer架构并结合简化分子线性输入规范(SMILES)的分子表示方法,在解决化学信息学领域挑战方面展现出强大潜力。然而,这类模型通常针对单一应用场景专门设计,且训练过程往往资源消耗巨大。本文提出Chemformer模型——一种基于Transformer的通用型模型,可快速应用于序列到序列及判别型化学信息学任务。此外,我们证明了自监督预训练能够显著提升模型性能,并大幅加速下游任务的收敛速度。在直接合成与逆合成预测的基准数据集上,Chemformer在Top-1准确率方面取得了当前最优(state-of-the-art)的结果。同时,我们在分子优化任务上也超越了现有方法,并进一步验证了Chemformer能够同时优化多个判别性任务的能力。模型、数据集及代码将在论文发表后公开发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供