Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval

论文基本信息

• arXiv ID: 2603.09250
• 发表时间: 2026-03-10
• 作者: Yingyi Zhang, Junyi Li, Wenlin Zhang, Penyue Jia, Xianneng Li et al.
• 方向: 记忆检索、个性化记忆、RAG
• 类别: cs.IR

摘要

个性化大语言模型依赖记忆检索来整合用户特定的历史、偏好和上下文。现有的方法要么通过将所有用户过去记忆加载到提示中来给 LLM 造成过载（成本高且不可扩展），要么将检索简化为一次性相似度搜索（只能捕获表面匹配）。

认知科学表明，人类记忆通过双重过程运作：熟悉性（Familiarity） 提供快速但粗略的识别，回忆（Recollection） 实现深思熟虑的链式重构以深度恢复情景内容。当前系统缺乏执行回忆检索的能力以及在两种检索路径之间自适应切换的机制，导致要么召回不足，要么引入噪声。

为此，本文提出 RF-Mem（Recollection-Familiarity Memory Retrieval），一种基于熟悉度不确定性的双路径记忆检索器。RF-Mem 通过均值分数和熵来测量熟悉度信号： - 高熟悉度 → 直接 top-K 熟悉度检索路径 - 低熟悉度 → 激活回忆路径

在回忆路径中，系统对候选记忆进行聚类，并将 alpha-mix 与查询结合，在嵌入空间中迭代扩展证据，模拟深思熟虑的上下文重构。这种设计将类人双过程识别嵌入到检索器中，避免了全上下文开销，实现了可扩展的自适应个性化。

在三个基准测试和不同语料规模的实验表明，RF-Mem 在固定预算和延迟约束下始终优于单次检索和全上下文推理方法。

核心贡献

1. 认知科学启发的双过程记忆理论：将人类记忆的熟悉性-回忆双重机制引入 LLM 个性化记忆检索
2. 熟悉度不确定性引导的路径切换：通过均值分数和熵测量熟悉度信号，自适应选择检索路径
3. 回忆路径的迭代证据扩展：alpha-mix + 候选记忆聚类，在嵌入空间中迭代扩展证据
4. 高效可扩展的个性化：避免全上下文过载，在固定预算下实现最优性能

为什么重要

1. 解决了记忆检索的根本矛盾：一次性相似度搜索无法捕获深层语义关联；全上下文加载成本太高
2. 认知科学理论的工程化实现：首次将熟悉性/回忆双重过程形式化并应用于 LLM 记忆系统
3. 实用的个性化检索范式：路径切换机制使系统可以根据查询类型动态调整检索策略

与移动端/端侧的相关性

1. 低开销：避免了将全部历史加载到上下文的昂贵操作，适合资源受限的端侧设备
2. 可扩展：双路径机制使系统在用户数据增长时保持高效
3. 自适应：根据熟悉度动态选择检索路径，适合个人设备上的个性化应用

关键方法细节

熟悉度测量

RF-Mem 通过以下指标测量熟悉度： - 均值分数：候选记忆与查询的相似度均值 - 熵：相似度分布的不确定性

双路径机制

• 高熟悉度路径（top-K Familiarity）：熟悉的记忆直接返回 top-K 结果
• 低熟悉度路径（Recollection）：激活迭代扩展机制：
• 候选记忆聚类
• alpha-mix 与查询结合
• 在嵌入空间中迭代扩展证据
• 模拟上下文重构过程

实验结果

在三个基准测试和不同语料规模上的实验表明： - RF-Mem 在固定预算和延迟约束下始终优于 one-shot retrieval - RF-Mem 在相同约束下优于 full-context reasoning 方法 - 双路径机制在各种任务类型和规模上均有效

参考文献

• 认知科学双重过程理论 (Familiarity-Recollection)
• 贝叶斯推理与熵估计方法
• 语义记忆检索相关研究