HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search¶
论文信息¶
- arXiv ID: 2605.04103
- 作者: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri
- 发表日期: 2026-05-03
- 方向: 持续学习、神经架构搜索、边缘 AI
- 代码: 未公开
摘要（翻译）¶
神经架构搜索（NAS）已成为自动发现平衡准确率和效率的神经架构的强大框架。然而，随着 AI 从静态基准转向实际部署，传统对硬件感知效率的关注已不再足够。
我们观察到，现代 NAS 方法，特别是针对边缘 AI 的方法，正在演进以解决三重目标：效率（Efficiency）、鲁棒性（Robustness）和持续学习（Continual Learning）。效率确保资源受限环境的可行性，鲁棒性保证环境变化下的可靠性，持续学习支持顺序任务的适应而不发生灾难性遗忘。
我们提出通过这三重透镜对 NAS 方法进行分类，区分针对资源优化、环境适应和架构可塑性目标的方法。这种统一视角揭示了这些轴线——虽然经常被独立研究——是相互加强的。
在此分类学基础上，我们将这些 NAS 方法映射到一个名为 HERCULES（Hardware-Efficient, Robust, and ContinUal LEarning Search）的新框架中。我们定义了 HERCULES 的目标，即解决在考虑当前 AI 系统这些关键目标的同时，平衡适当的搜索空间探索与多目标 NAS 巨大计算成本的非平凡挑战。
通过识别现有研究中的关键差距，本调查概述了一条通向真正的终身学习 AI 系统的综合算法、架构和硬件-软件协同设计的路线图。
核心贡献¶
1. 三重目标分类学¶
| 目标 | 描述 | NAS 方法 |
|---|---|---|
| 效率 (Efficiency) | 资源受限环境可行 | 剪枝、量化、神经架构优化 |
| 鲁棒性 (Robustness) | 环境变化下可靠 | 对抗训练、域适应、噪声鲁棒 |
| 持续学习 (Continual Learning) | 顺序任务适应无遗忘 | 架构可塑性、记忆感知搜索 |
2. 目标间相互加强¶
HERCULES 的核心洞察：三重目标不是独立的，而是相互加强的： - 高效架构 → 减少计算 → 更多资源用于鲁棒性训练 - 鲁棒性 → 减少分布偏移下的遗忘 → 更好的持续学习 - 架构可塑性 → 更高效的增量学习 → 更低计算成本
3. 十二项 HERCULES 任务¶
定义了 NAS 持续学习应用的 12 个关键挑战： 1. 搜索空间设计（支持任务增量） 2. 架构共享机制 3. 跨任务知识迁移 4. 遗忘感知损失函数 5. 硬件感知评估 6. 对抗鲁棒性验证 7. 等等...
4. 路线图¶
识别了通向终身学习 AI 的关键差距和未来研究方向。
为什么重要¶
HERCULES 是首个系统整合 NAS × 持续学习 × 边缘 AI 三个方向的研究：
- 分类学贡献：为研究这三个方向的交叉提供统一框架
- 问题识别：识别了现有研究中的 12 个关键挑战
- 路线图价值：为未来研究指明方向
与端侧/移动端相关性¶
- 硬件-算法协同设计：直接面向边缘 AI 部署
- 三重目标平衡：效率+鲁棒性+持续学习正是端侧 AI 的核心需求
- 路线图指导：为端侧持续学习系统的设计提供系统性参考