Remember the Decision, Not the Description: A Rate-Distortion Framework for Agent Memory¶

论文信息¶

arXiv ID: 2605.10870
发表日期: 2026-05-11
作者: Mingxi Zou, Zhihan Guo, Langzhang Liang, Zhuo Wang, Qifan Wang, Qingsong Wen, Irwin King, Lizhen Qu, Zenglin Xu
方向: 记忆压缩 / 决策论
开源: 待确认

摘要（英译中）¶

长程语言智能体必须在有限的运行时记忆下运作，然而现有记忆机制通常围绕描述性标准（如相关性、显著性或摘要质量）来组织经验。但对于智能体而言，记忆的价值不在于忠实地描述过去，而在于保留那些在固定预算下必须被区分的历史，以支持良好的决策。

作者将此问题建模为以决策为中心的率失真问题，通过压缩induced的决策质量损失来衡量记忆质量。这产生了一个精确的遗忘边界——即什么可以安全地被遗忘，以及一个记忆-失真前沿，刻画记忆预算与决策质量之间的最优权衡。

受此决策中心视角启发，作者提出 DeMem，一个在线记忆学习器，仅当数据证明共享状态会引发决策冲突时才细化其分区，并证明了近乎极小极大的遗憾保证。在受控的合成诊断和长程对话基准上，DeMem 在相同运行时预算下获得一致的性能提升，验证了"记忆应保留对决策重要的区分，而非描述性细节"这一原则。

核心贡献¶

率失真框架：将智能体记忆建模为以决策为中心的率失真问题，突破传统基于描述质量的记忆评估范式
遗忘边界证明：推导出精确的遗忘边界，刻画什么可以安全遗忘
记忆-失真前沿：提出记忆预算与决策质量之间的最优权衡曲线
DeMem 算法：仅在数据证明决策冲突时才细化记忆分区，具近极小极大遗憾保证
长上下文能力：在超出预训练长度（4K）的上下文上保持性能，Transformer 基线则快速退化

关键洞察¶

记忆的价值不在于忠实地描述过去，而在于保留那些必须被区分的历史，以支持良好的决策。

传统记忆评估依赖描述性指标（相关性、显著性、摘要质量），但作者指出这些指标与决策质量之间的联系并不直接。以决策为中心的视角将记忆压缩的质量直接链接到压缩后的记忆能否支持好的决策行为。

为什么重要¶

理论基础：首个将率失真理论引入智能体记忆压缩的框架，提供了严格的理论保证
实践价值：在相同内存预算下显著提升决策质量，资源受限的端侧部署尤为关键
范式转变：从"记忆应该记住什么"到"记忆应该保留哪些决策相关区分"的思路转换

与端侧/移动端的相关性¶

DeMem 的决策驱动分区机制天然适合资源受限场景： - 内存预算固定时，最大化决策质量 - 无需存储完整历史，只保留决策相关区分 - 在线学习特性适合持续运行的端侧智能体

参考文献¶

原论文: https://arxiv.org/abs/2605.10870