Mistake Gating: Energy-Efficient Continual Learning — arXiv:2604.14336

摘要¶

突触可塑性在代谢上代价高昂，但动物们持续更新内部模型而不会耗尽能量储备。然而，当人工神经网络训练时，网络参数通常在呈现的每个样本上都会更新，即使样本已被正确分类。受人类负性偏差和错误相关负性的启发，论文提出"记忆错误门控学习"（memorized mistake-gated learning）——一种生物可信的塑性规则，其中突触更新严格由当前和过去的分类错误门控。这减少了网络所需更新次数达50%~80%。错误门控在两种情况下特别适合：1）增量学习场景（新知识在先验知识背景下获取）；2）需要存储数据以供后续回放的在线学习场景（因为错误门控减少了存储缓冲区需求）。该算法仅需几行代码实现，无超参数添加，计算开销可忽略。

核心贡献¶

生物启发的错误门控机制：突触更新仅在当前或过去分类错误时发生，模仿人类负性偏差。
50%~80%更新减少：大幅降低计算和能量消耗，对边缘/电池供电设备意义重大。
减少存储缓冲区需求：在需要回放的场景下，缓冲区大小可大幅减小。
无超参数设计：算法实现简洁，无额外超参数需要调优。
生物可信性：该机制与神经科学研究中观察到的生物大脑错误处理机制一致。

为什么重要¶

持续学习的一个核心问题是每次新样本都更新模型参数导致的高能耗。该论文指出一个关键洞察：动物不会对已正确分类的样本进行学习——这是进化的能量效率优化。错误门控机制使网络"只学习重要的东西"，这与遗忘机制有异曲同工之妙。该工作对绿色AI和边缘计算有重要启示。

与端侧/移动端的相关性¶

移动设备和可穿戴设备是电池供电，能量效率至关重要。50%~80%的更新减少意味着同等电池下智能体运行时间大幅延长。错误门控机制还减少了存储回放数据的缓冲区需求，直接降低内存占用。对边缘端侧智能体而言，这种生物启发的节能机制是持续学习的重要方向。

参考文献¶

本文参考文献待从原文补充。