SCM: Sleep-Consolidated Memory with Algorithmic Forgetting for Large Language Models¶

作者: Saish Sachin Shinde
发表: 2026-04-22
方向: 记忆压缩与遗忘、持续学习
类别: cs.LG

摘要¶

SCM（Sleep-Consolidated Memory）是一项研究预览，提出一种受神经科学启发的大语言模型记忆架构，旨在解决当前系统缺乏持久性、结构化和生物学可信记忆的根本性局限。现有方法依赖截断上下文窗口、无限制扩展向量数据库或缺乏整合与遗忘机制的分层存储系统。SCM 实现了五个受人类记忆启发的核心组件：有限容量工作记忆、多维重要性标签、包含离线睡眠阶段整合（区分 NREM 和 REM 相）、基于价值的主动遗忘，以及支持内省计算的自模型。在八项标准化测试基准上，原型在十轮对话中实现了完美召回精度，同时通过自适应遗忘将记忆噪声降低 90.9%。即使存储数百个概念，记忆搜索延迟仍低于一毫秒。

核心贡献¶

有限容量工作记忆：模仿人类工作记忆的容量限制，避免向量数据库无限膨胀。
多维重要性标签：从多个维度评估记忆片段的重要性，支持差异化存储。
离线睡眠阶段整合：引入区分 NREM 和 REM 相的睡眠阶段模拟，支持记忆巩固。
基于价值的主动遗忘：根据价值评估主动遗忘低价值记忆，降低噪声。
计算自模型：支持模型对自身记忆状态的内省。

为什么重要¶

当前 LLM 记忆系统面临"只存不丢"的困境——向量数据库只增不减，导致上下文窗口污染和检索质量下降。SCM 首次将神经科学中睡眠巩固机制引入 LLM 记忆，通过生物启发的遗忘机制实现自适应记忆管理。90.9% 的噪声降低率和毫秒级搜索延迟证明了该方法在效率和效果上的可行性。

与端侧/移动端的相关性¶

SCM 的有限容量工作记忆和主动遗忘机制对资源受限的端侧设备尤为重要。90.9% 的噪声降低意味着更少的存储占用和更快的检索速度，支持端侧 LLM 在有限内存下保持高质量的长期记忆。

参考文献¶

原论文: arXiv:2604.20943