Abstraction as Memory-Efficient Inductive Bias for CL — arXiv:2603.17198

摘要¶

现实世界是非平稳且无限复杂的，要求智能体持续学习而不必从头重新训练的高昂成本。在线持续学习设置中，学习新信息经常干扰已获得的知识，导致遗忘和泛化能力下降。该论文提出Abstraction-Augmented Training（AAT），一种损失函数层面的修改，鼓励模型捕获跨示例共享的潜在关系结构。通过对具体实例及其抽象表示的联合优化，AAT引入了一种记忆高效的归纳偏置，稳定在线数据流中的学习，无需重放缓冲区。为捕获抽象的多面性，论文在两个基准上评估AAT：一个是关系数据集（抽象通过实体掩码实现），另一个是叙事数据集（抽象通过共享谚语表达）。结果表明，AAT在零额外记忆成本和最小训练目标修改下，实现与强经验回放基线相当或更优的性能。

核心贡献¶

AAT损失修改：鼓励模型捕获跨示例的潜在关系结构，而非单个样本特征。
零额外记忆重放：完全不需要重放缓冲区，仅通过修改损失函数实现持续学习。
关系抽象评估：在实体掩码和共享谚语两种抽象形式上验证方法有效性。
与记忆效率正交：可与其他记忆压缩方法结合。

为什么重要¶

该论文提出了一种与记忆存储正交的持续学习方法——不依赖存储过去样本，而是让模型学会更抽象的表示，从而减少记忆负担。这对需要无限期运行的智能体系统特别重要：不存储原始经验，而是学习更通用的关系结构，这些结构天然抗遗忘。

与端侧/移动端的相关性¶

移动端智能体无法存储大量历史数据，但仍然需要持续学习新任务。AAT的零记忆方法对端侧场景极具吸引力——不需要coreset存储，不需要重放缓冲区，仅通过学习更抽象的关系表示就能避免遗忘。这可以与记忆压缩方法结合，实现更高效的端侧持续学习系统。

参考文献¶

本文参考文献待从原文补充。