Memini: Continual Knowledge Updating in LLM Systems Through Multi-Timescale Memory Dynamics
论文速览¶
核心问题: LLMs 训练一次就部署到不断变化的世界中。外部记忆通常需要显式管理（人工更新、删除），而生物记忆则通过耦合的多时间尺度动力学自主运作——新关联立即可用，重复确认的逐渐巩固，其余的自然消退。
核心贡献: 提出 Memini 系统，将外部记忆建模为有向图，每个边携带两个耦合的内部变量（快变量+慢变量），遵循 Benna-Fusi 突触巩固模型。从这个耦合中，情景敏感性、渐进巩固和选择性遗忘作为单一机制的不同侧面涌现出来。
核心思想¶
1. 多时间尺度耦合记忆¶
Memini 的核心是一个联想记忆系统，将知识组织为有向图： - 节点: 实体/概念 - 边: 关系/关联 - 每条边携带两个变量: - 快变量: 快速响应新信息，模拟短时突触可塑性 - 慢变量: 缓慢整合重复确认，模拟长时突触巩固
这两个变量遵循 Benna-Fusi 生物突触模型，形成耦合动力学。
2. 三种涌现行为¶
从单一机制的不同侧面涌现：
| 行为 | 快变量主导 | 慢变量主导 |
|---|---|---|
| 情景敏感性 | 新信息立即可用 | - |
| 渐进巩固 | 重复确认 → 慢变量增强 | 强关联难以遗忘 |
| 选择性遗忘 | 无关信息自然消退 | - |
3. 与传统外部记忆的对比¶
| 方面 | 传统显式管理 | Memini 自主动力学 |
|---|---|---|
| 新知识获取 | 需显式 INSERT | 自动（快变量即时响应） |
| 知识巩固 | 需显式 BATCH UPDATE | 自动（慢变量渐进整合） |
| 遗忘 | 需显式 DELETE | 自动（弱关联消退） |
| 机制数量 | 3个独立操作 | 1个统一机制 |
技术细节¶
Benna-Fusi 模型¶
Benna-Fusi 模型描述突触可塑性的两个时间尺度： - 快速阶段: 对新刺激的即时响应，修改 synaptic strength - 慢速阶段: 对重复确认的渐进整合，形成持久记忆痕迹
Memini 将此形式化为边的快/慢变量更新方程。
有向图记忆组织¶
Memini Graph:
节点: "Python" --边--> "Data Science" (fast=0.9, slow=0.3)
--边--> "Web Dev" (fast=0.2, slow=0.1)
每次交互更新边的快变量
重复确认时增强慢变量
快慢耦合决定边的有效权重
记忆动力学方程¶
边的有效权重 = f(快变量, 慢变量)
当一个新的关联出现时： 1. 快变量立即跳升 2. 如果该关联在短时间窗口内被重复确认，慢变量开始增强 3. 如果没有后续确认，快变量自然衰减（遗忘）
为什么重要¶
- 统一框架: 将三个看似独立的操作（获取、巩固、遗忘）统一为单一机制的侧面
- 生物启发: 借鉴神经科学的多时间尺度记忆机制，而非人工设计的规则
- 端侧友好: 完全自主运作，无需人工干预，适合资源受限的部署环境
- 持续适应: 记忆本身成为学习 substrate，通过自身动力学重组
与端侧/移动端的相关性¶
- 完全本地运行: 记忆动力学自主运作，无需云端协调
- 低开销: 图结构稀疏，变量更新计算轻量
- 隐私友好: 知识组织完全在本地，不暴露给外部
- 适合长期部署: 一次部署后持续自主适应，无需人工维护
核心贡献¶
- 形式化: 提出用多时间尺度耦合变量建模外部记忆的框架
- 理论分析: 证明从 Benna-Fusi 耦合动力学中自然涌现三种记忆现象
- 系统演示: Memini 原型系统在知识更新任务上优于显式管理基线
- 设计原则: 为 Agent 记忆系统提供"让记忆自己管理自己"的新范式
参考文献¶
- Benna-Fusi synaptic consolidation model
- Associative memory theory (Hopfield networks, etc.)
- Continual learning in neural networks