Imbalanced Forgetting in Rehearsal CIL — arXiv:2605.14785

摘要¶

神经网络在类别增量学习（CIL）设置中遭受灾难性遗忘。排练——重放过去样本的子集——是一种成熟的缓解策略。然而，近期研究表明，尽管排练分配平衡，一些类别的遗忘程度显著高于其他类别。尽管具有相关性，这种不平衡遗忘现象仍未得到充分探索。本文表明，不平衡遗忘在基于排练的 CIL 中系统且严重地发生，并对其进行了深入研究。具体而言，本文从原理性分析构建了三个最终层系数，捕捉在增量步骤期间影响每个过去类别的不同梯度级干扰源。然后证明，这些系数共同可靠地预测了过去类别在该步骤结束时将如何排序。虽然仅预测性能不能建立因果关系，但这些结果支持将系数解释为一种 plausible 的机制性解释，将训练期间最终层梯度级交互与类别级遗忘结果联系起来。值得注意的是，捕捉自我诱导干扰的一个系数成为最强预测因子，受控实验提供的证据与该系数受新类别干扰系数影响的解释一致。

核心贡献¶

不平衡遗忘现象的系统性识别：证明不平衡遗忘在基于排练的 CIL 中系统且严重地发生。
三个最终层系数：捕捉不同梯度级干扰源对过去类别的影响。
预测性排名：系数共同可靠地预测类别级遗忘排名。
自我诱导干扰的关键作用：识别为最强预测因子。
因果机制假说：为理解灾难性遗忘提供了新的视角。

为什么重要¶

理解灾难性遗忘的机制是解决持续学习问题的前提。该工作揭示了即使在平衡排练的情况下，不平衡遗忘仍然存在，并找到了其梯度级根源。这对 Agent 记忆系统的持续学习设计具有重要指导意义。

与移动端/端侧的相关性¶

端侧持续学习需要处理不断到来的新任务和类别，该工作揭示的不平衡遗忘机制提醒设计者关注类别间的梯度干扰问题。自我诱导干扰作为主要预测因子，对设计更有效的排练策略具有参考价值。