HyperAIHyperAI

Command Palette

Search for a command to run...

监督学习中的稀疏活动和稀疏连接

Markus Thom Günther Palm

摘要

稀疏性是一种在广泛的应用中,特别是在神经网络中非常有用的正则化方法。本文提出了一种针对分类任务的模型,通过稀疏活动和稀疏连接来增强分类能力。实现这一目标的工具是一种稀疏性强制投影算子,该算子可以为任意给定的向量找到与其最接近且具有预定义稀疏性的向量。在本文的理论部分,对这种投影算子进行了全面的理论分析。结论表明,该投影算子几乎处处可微,因此可以作为平滑的神经元传递函数实现。整个模型因此可以通过基于梯度的方法进行端到端的调优。在手写数字数据库MNIST上的实验结果显示,通过稀疏活动或稀疏连接可以提升分类性能。当两者结合使用时,性能相比传统的非稀疏方法有显著提高。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供