From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms
摘要¶
基于大语言模型（LLM）的 Agent 通过整合外部工具和规划能力根本性地重塑了人工智能。记忆机制作为这些系统的架构基石，当前研究却高度碎片化——在操作系统工程和认知科学之间振荡。这种理论分裂阻止了技术合一的统一视图和连贯的演化视角。本文提出一个新的 LLM Agent 记忆机制演化框架，将发展过程形式化为三个阶段：存储（Storage）——轨迹保存；反思（Reflection）——轨迹精炼；经验（Experience）——轨迹抽象。本文首先形式化定义三个阶段，然后分析演化的三个核心驱动因素：长程一致性的必要性、动态环境中的挑战、以及持续学习的最终目标。此外，本文特别探索了前沿经验阶段的两大变革性机制：主动探索（proactive exploration）和跨轨迹抽象（cross-trajectory abstraction）。通过综合这些不同视角，本文为下一代 LLM Agent 的发展提供了可靠的设计原则和清晰的发展路线图。
核心框架：三阶段演化¶
Stage 1: Storage（存储）—— 轨迹保存¶
第一阶段聚焦于原始交互轨迹的保存。Agent 将每次用户交互、工具调用、环境反馈完整记录，形成可供后续检索的原始记忆库。典型代表：简单的消息日志、对话历史摘要存储。
核心技术问题：存储压缩、上下文窗口管理、相关轨迹的快速定位。
Stage 2: Reflection（反思）—— 轨迹精炼¶
第二阶段在存储基础上增加了主动提炼过程。Agent 周期性地回顾和整合存储的轨迹，提炼出高层次的见解、模式识别和可复用的知识片段。典型代表：自SQLa、self-reflection 机制、经验总结生成。
核心技术问题：提炼触发时机、提炼粒度控制、提炼质量评估。
Stage 3: Experience（经验）—— 轨迹抽象¶
第三阶段将具体轨迹抽象为可迁移的概念经验。记忆从"发生了什么"升级为"意味着什么"和"如何应用到新情境"。这是记忆从数据向知识的质变。典型代表：跨任务知识迁移、类人经验类比推理。
核心新技术： - 主动探索（Proactive Exploration）：Agent 不仅被动存储，还主动探索以丰富记忆内容 - 跨轨迹抽象（Cross-Trajectory Abstraction）：从多个相关轨迹中综合提取高层模式
演化的三大核心驱动因素¶
- 长程一致性需求：多轮对话、跨会话交互中保持上下文连贯性的需要推动了记忆系统的分层设计
- 动态环境挑战：开放世界环境中信息持续变化，要求记忆具备更新和遗忘机制
- 持续学习终极目标：Agent 必须在不遗忘旧知识的前提下持续获取新能力
为什么重要¶
这是第一篇系统梳理 LLM Agent 记忆机制演化脉络的综述，建立了 Storage→Reflection→Experience 的统一框架。当前记忆研究要么聚焦底层工程实现、要么借用认知科学类比，两者之间存在巨大鸿沟。本文首次将两个方向融合，为记忆系统的设计提供了理论根基和实践路线图。
主要发现¶
- 当前记忆研究分裂为"工程导向"和"认知科学导向"两派，缺乏统一术语和框架
- Storage 阶段的技术相对成熟，但 Reflection 和 Experience 阶段仍有大量开放问题
- 主动探索和跨轨迹抽象是 Experience 阶段的两个最前沿方向
- 移动端/端侧记忆系统的设计需要在存储效率和抽象能力之间找到平衡
与移动端/端侧相关性¶
该综述对端侧记忆系统的分层设计有直接指导意义： - Storage 层：适合在本地设备上实现，利用边缘存储 - Reflection 层：可采用轻量级周期性触发机制 - Experience 层：是端侧系统最具挑战性的部分，可能需要云边协同
该综述提供了评估端侧记忆系统成熟度的框架，帮助判断当前系统处于哪个演化阶段。