HyperAIHyperAI

Command Palette

Search for a command to run...

FairNAS:重新思考权重共享神经架构搜索的评估公平性

Xiangxiang Chu; Bo Zhang; Ruijun Xu

摘要

在权重共享神经架构搜索中,最核心的问题之一是在预定义的搜索空间内评估候选模型。在实际应用中,通常训练一个一次性超级网络(one-shot supernet)作为评估器。一个忠实的排名无疑会带来更准确的搜索结果。然而,当前的方法容易出现误判。本文证明了这些方法的偏差评估是由于超级网络训练中的固有不公平性所致。为此,我们提出了两个层次的约束条件:期望公平性和严格公平性。特别是,严格公平性确保在整个训练过程中所有选择块都获得平等的优化机会,既不会高估也不会低估它们的能力。我们展示了这一点对于提高模型排名的信心至关重要。通过将提出公平性约束下训练的一次性超级网络与多目标进化搜索算法相结合,我们获得了多种最先进的模型,例如 FairNAS-A 在 ImageNet 上达到了 77.5% 的 top-1 验证准确率。这些模型及其评估代码已在线公开发布于 http://github.com/fairnas/FairNAS


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供