Human-like Working Memory Interference in Large Language Models¶

摘要¶

人类大脑的工作记忆容量有限，需要在干扰环境中主动选择相关信息。Transformer 模型虽然可以通过注意力机制访问全部上下文，但预训练大语言模型（LLM）仍然表现出与人类相似的工作记忆局限性。本文系统研究了预训练 LLM 中的工作记忆干扰现象，发现 LLM 复现了人类特有的干扰特征：性能随记忆负荷增加而下降，并受到近因偏差和刺激统计的调节。这一发现表明，表示干扰是生物和人工系统工作记忆的共同计算约束。

核心贡献¶

干扰特征验证：首次系统证明预训练 LLM 再现了人类工作记忆的干扰特征，包括：
记忆负荷增加时性能下降
近因效应（recency bias）
刺激统计依赖性
共同计算机制：尽管工作记忆表现存在广泛差异，LLM 惊人地收敛于一个共同的计算机制——不是直接从上下文复制记忆项，而是在纠缠表示中编码多个记忆项，成功的回忆依赖于干扰控制
因果干预：提出了一种靶向干预方法，通过抑制刺激内容信息来改善性能，为表示干扰提供了因果支持
容量-能力关联：更强的工作记忆容量与更广泛的基准测试能力相关，映射了人类中一般智力与工作记忆的联系

为什么重要¶

这项研究揭示了 LLM 记忆系统的深层局限性，为设计更强大的人机协作 Agent 提供了重要洞察。理解工作记忆干扰机制可以帮助：

设计更好的记忆管理策略
优化 Agent 的上下文利用方式
指导记忆增强干预措施

与移动端/端侧相关性¶

端侧工作记忆瓶颈：移动端 Agent 的工作记忆限制直接影响设备端用户体验
干扰控制机制：边缘设备可通过主动抑制不相关信息来优化记忆利用
资源受限场景：工作记忆干扰控制在资源受限的移动/嵌入式环境中尤为重要
本地推理优化：理解干扰机制有助于设计更高效的端侧推理策略

Human-like Working Memory Interference in Large Language Models¶

摘要¶

核心贡献¶

为什么重要¶

与移动端/端侧相关性¶

相关论文¶