Recovery Guarantees for Continual Learning of Dependent Tasks — arXiv:2604.17578
摘要¶
持续学习（CL）研究如何在不遗忘已学任务的情况下顺序学习多个任务。尽管近年来取得实质性实证进展，CL的理论发展仍处于起步阶段。开发CL理论的核心挑战在于数据分布在不同任务间存在差异——该论文认为，正确应对这一挑战需要理解任务间的依赖关系。为显式建模任务依赖，论文考虑非线性回归任务，并提出一种假设：当前任务的数据是先前数据的非线性变换。基于该模型和自然假设，论文为几种实际使用的CL范式提供了统计恢复保证（估计误差边界），包括：带数据独立正则化和数据独立权重的经验回放、带数据依赖权重的回放以及带数据依赖正则化的持续学习。据所知，该论文的界在先前工作给出空洞界的案例中仍然是有信息的（informative）。
核心贡献¶
- 任务依赖建模：首次系统研究任务间非线性依赖关系对持续学习的影响。
- 非线性回归框架：提出当前任务数据是先前数据非线性变换的假设，比传统独立任务假设更符合实际。
- 非空洞理论保证：为多种实际CL范式提供估计误差边界，这些界在先前工作给出空洞界的场景下仍然有信息。
- 实践指导：揭示何时经验回放、数据依赖权重或正则化是必要的，为从业者选择CL方法提供理论依据。
为什么重要¶
持续学习领域长期缺乏理论保证——很多方法在实验中表现良好，但无法回答"为什么有效"和"何时会失效"。该论文填补了这一空白：通过对任务依赖关系的显式建模，首次给出非平凡的理论界限。这对理解不同CL方法的能力边界、选择适合特定场景的CL技术具有重要指导意义。
与端侧/移动端的相关性¶
端侧智能体面临的任务往往具有时序依赖性（如用户上午的需求与下午的需求相关联），而非独立同分布。该论文的任务依赖建模框架对端侧场景尤为重要：理解任务间依赖关系有助于设计更高效的记忆管理系统，决定何时需要保存完整上下文，何时可以压缩或遗忘。
参考文献¶
本文参考文献待从原文补充。