HyperAIHyperAI

Command Palette

Search for a command to run...

通过信息最大化自增强训练学习离散表示

Weihua Hu Takeru Miyato Seiya Tokui Eiichi Matsumoto Masashi Sugiyama

摘要

学习数据的离散表示是机器学习中的一个核心任务,因为这些表示具有紧凑性和易于解释的特点。该任务包括聚类和哈希学习作为其特殊情况。深度神经网络因其能够建模数据的非线性特性并扩展到大规模数据集而显示出巨大的潜力。然而,它们的模型复杂度很高,因此需要谨慎地对网络进行正则化,以学习在特定应用中表现出预期不变性的有用表示。为此,我们提出了一种称为信息最大化自增强训练(Information Maximizing Self-Augmented Training, IMSAT)的方法。在IMSAT中,我们利用数据增强来施加离散表示的不变性。具体来说,我们鼓励增强后的数据点的预测表示与原始数据点的预测表示在端到端的方式下保持接近。同时,我们最大化数据与其预测的离散表示之间的信息论依赖关系。广泛的基准数据集实验表明,IMSAT在聚类和无监督哈希学习方面均取得了最先进的结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供