HyperAIHyperAI

Command Palette

Search for a command to run...

LayerNAS:多项式复杂度下的神经架构搜索

Yicheng Fan Dana Alon Jingyue Shen Daiyi Peng Keshav Kumar Yun Long Xin Wang Fotis Iliopoulos Da-Cheng Juan Erik Vee

摘要

神经架构搜索(Neural Architecture Search, NAS)已成为发现高效模型架构的流行方法,尤其在面向特定硬件目标时表现突出。因此,能够在各类约束条件下寻找最优架构的NAS方法至关重要。在本文中,我们提出LayerNAS,通过将多目标NAS问题转化为组合优化问题,有效解决了该挑战,从而将搜索复杂度控制在多项式级别。对于一个包含 LLL 层的模型架构,LayerNAS对每一层进行逐层搜索,从一组候选操作集合 S\mathbb{S}S 中选择最优配置。LayerNAS首先根据某一目标(如模型大小或延迟)对候选模型进行分组,然后在该分组基础上,基于另一目标寻找最优模型,从而将搜索过程中的代价与收益要素进行解耦。该方法将整体搜索复杂度限制在 O(HSL)O(H \cdot |\mathbb{S}| \cdot L)O(HSL),其中 HHH 为LayerNAS中预设的常数。实验结果表明,与多种强基准方法相比,LayerNAS在多个不同搜索空间中均能稳定发现性能更优的模型,这些搜索空间涵盖来自NATS-Bench、MobileNetV2和MobileNetV3的架构空间。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供