摘要¶
实现智能体的自我进化需要在不断变化的任务序列中持续积累新知识，同时不遗忘已获得的能力。现有方法要么通过更新模型参数将知识内化（导致灾难性遗忘），要么依赖外部记忆（无法真正增强模型的内在能力）。本文提出 MoLEM（Mixture of Latent Memory），一种基于动态混合专家（MoE）的生成式潜在记忆框架。该框架将多个专家视为独立的记忆载体，通过键值匹配选择和加权专家，将聚合的潜在记忆注入推理过程。用于推理的基础模型完全冻结，所有经验知识都被内化到附加模块中，从而避免灾难性遗忘。对于持续学习，每个训练阶段都配有一个轻量级自编码器，在推理时选择合适的路由组，不匹配任何阶段的输入回退到预训练模型。实验在数学、科学和代码领域的持续学习序列上训练该框架，在完整持续学习序列后，本文方法相比Vanilla预训练基线平均准确率提升10.40%。
核心贡献¶
- 生成式潜在记忆框架：将多个专家作为独立记忆载体，通过路由器动态选择，实现知识持续积累而不遗忘
- 冻结推理基础模型：所有经验知识内化到附加模块，基础模型参数保持冻结，从根本上避免灾难性遗忘
- 轻量级路由自适应：每个训练阶段配自编码器进行路由选择，未知任务自动回退预训练模型
- 多领域验证：在数学、科学、代码等持续学习序列上显著超越基线
为什么重要¶
自我进化智能体是LLM Agent的重要发展方向，但如何在持续学习中避免遗忘仍是核心难题。MoLEM通过将记忆从"外部存储"变为"内部化知识"（MoE专家），在保持模型适应性的同时避免了参数更新的遗忘问题。这一范式为端侧持续学习提供了新思路——不依赖外部向量数据库，而是通过模型自身结构实现记忆化。
与移动端/端侧相关性¶
- 端侧友好：推理时基础模型冻结，仅通过路由机制选择专家，无需实时更新模型参数
- 计算高效：路由器和自编码器均为轻量模块，适合移动端部署
- 持续适应：无需云端协同即可在端侧实现持续学习与记忆更新
参考文献¶
（参考文献待从原文补充）