Modular Memory: Key to Continual Learning Agents — arXiv:2603.01761

摘要¶

基础模型通过大规模预训练和增加测试时计算彻底改变了机器学习。尽管在多个领域超越人类表现，这些模型在持续操作、经验积累和个性化方面仍受到根本限制——这些能力对自适应智能至关重要。持续学习研究长期聚焦于"权重内学习"（IWL），即更新单个模型参数以吸收新知识，但这导致了灾难性遗忘这一持续挑战。该论文提出：结合权重内学习（IWL）和上下文内学习（ICL）的优势，通过模块化记忆设计，是实现大规模持续适应的缺失环节。论文概述了模块化记忆中心架构的概念框架，利用ICL实现快速适应和知识积累，同时用IWL实现模型能力的稳定更新。

核心贡献¶

IWL与ICL结合框架：首次系统提出将权重内学习与上下文内学习结合，通过模块化记忆实现持续适应。
模块化记忆中心架构概念框架：设计能同时支持快速情境适应（ICL）和稳定能力更新（IWL）的记忆架构。
持续适应路线图：为构建能够持续学习而不遗忘的智能体提供实践路线图。
作者阵容强大：22位持续学习领域顶级研究者联署，包括Vincenzo Lomonaco、Tyler Hayes等该领域先驱。

为什么重要¶

该论文是持续学习领域的重要立场论文（position paper），由22位该领域顶尖研究者联合撰写。它指出了该领域的根本性问题——仅靠更新模型参数无法解决灾难性遗忘，因为参数空间有限而知识无限。模块化记忆（不同记忆存储在不同模块）提供了一种正交于参数更新的解决路径。该框架对理解为何现有持续学习方法难以规模化具有重要意义。

与端侧/移动端的相关性¶

模块化记忆架构天然适合端侧部署——不同模块可以独立更新和管理，不必全量更新模型。在移动端，这意味着可以保留基础能力的同时快速适应用户个性化需求，而不需要昂贵的全量微调。

参考文献¶

本文参考文献待从原文补充。