Lost or Hidden: Concept-Level Forgetting in Supervised CL — arXiv:2605.16374
摘要¶
持续学习研究模型如何适应新任务同时保留已获得的知识。尽管已有大量方法被提出用于缓解灾难性遗忘，但该领域主要由性能驱动，对于遗忘在视觉模型表征空间中实际对应什么缺乏深入理解。先前工作主要通过任务级性能或粗粒度的表征漂移度量来分析遗忘，未能深入探究概念级别的变化。本文首次在概念级别分析监督持续学习中遗忘的发生机制，揭示遗忘与表征空间中的概念丢失之间的对应关系。
核心贡献¶
- 概念级遗忘分析框架：提出在表征空间中从概念级别理解和度量遗忘的方法，而非仅依赖任务级性能指标
- 遗忘机制的深入洞察：发现遗忘并非简单地表现为知识丢失，而是在表征空间中呈现"隐藏"特性——知识仍在表征中存在但无法有效检索
- 细粒度度量方法：引入概念级别的遗忘度量，捕捉先前方法遗漏的细粒度变化
- 视觉模型实证：在视觉分类任务上验证了概念级遗忘分析的有效性
为什么重要¶
该论文填补了灾难性遗忘研究中"理解遗忘真正含义"的空白。现有方法大多针对遗忘现象本身设计缓解策略，却未深入探究遗忘在模型内部如何表现。理解遗忘的概念级机制对于设计更有效的记忆巩固和持续学习方法至关重要。
与移动端/端侧的相关性¶
边缘设备上的持续学习面临严峻的灾难性遗忘问题。当用户在移动端部署的视觉模型上持续微调时，概念级遗忘分析可以帮助识别哪些知识最容易被覆盖，从而设计更有针对性的记忆保护策略。