Why RAG Fails: Graph Perspective — arXiv:2605.14192

论文基本信息¶

标题: Why Retrieval-Augmented Generation Fails: A Graph Perspective
arXiv ID: 2605.14192
发表日期: 2026-05-13
作者: Kai Guo, Xinnan Dai, Zhibo Zhang, Nuohan Lin, Shenglai Zeng
方向: 记忆检索 / RAG 失效分析
类别: cs.CL, cs.AI

摘要（英译）¶

检索增强生成（RAG）通过外部检索证据为大型语言模型提供基础，已成为提升 LLM 能力的流行范式。然而，RAG 系统在许多情况下仍会产生错误答案——即使拥有外部信息，为何 RAG 仍然失效？本文从模型内部视角研究检索增强生成，考察检索到的证据如何影响答案生成。通过电路追踪（circuit tracing），作者构建了归因图（attribution graphs），建模解码时信息在 Transformer 各层间的流动。这些归因图建模了检索上下文、中间激活与生成 token 之间的交互，为理解外部证据如何整合进模型推理过程提供了图视角与电路层级视角。

在多个问答基准上的实验表明：正确预测呈现出更深的推理路径、更分布式的信息流和更结构化的局部连接模式；而失败预测则表现为更浅、更碎片化、信息流过度集中的模式。基于这些发现，作者开发了一个基于图的错误检测框架，利用归因图拓扑特征进行错误检测。此外，归因图还能实现定向干预——通过强化问题约束的证据基础，重塑内部路由，使答案生成始终受问题引导，从而实现更有效的检索信息整合。

核心贡献¶

归因图视角: 首次从模型内部电路追踪角度构建 RAG 的归因图，揭示信息流在生成过程中的结构化模式
RAG 失效的结构性原因: 发现正确与失败预测在推理路径深度、信息流分布和局部连接结构上存在系统性差异
图基错误检测: 提出利用归因图拓扑特征检测 RAG 错误，捕捉失败模式（碎片化、信息集中）
定向干预能力: 展示通过归因图的定向干预可以强化证据整合、减少 RAG 错误

为什么重要¶

RAG 是现代 LLM Agent 的核心记忆检索范式——外部知识通过检索注入到生成过程中。本文揭示了 RAG 失效的深层结构原因：不是检索质量本身的问题，而是信息在模型内部的流动模式出了问题。正确预测的信息流是"深层、分布、结构化"的，而失败预测是"浅层、碎片、集中"的。

这一发现对 Agent 记忆系统的设计有重要启示： - 检索到的记忆片段需要被有效整合到推理路径中，而非孤立的碎片 - 证据整合的路由机制（routing mechanism）是 RAG 成功的关键 - 错误检测可以反过来用于指导检索策略的调整

与端侧/移动端相关性¶

RAG 已被广泛部署于移动端和边缘设备（客服、医疗、金融等垂直领域）。本文的图视角分析对端侧 RAG 系统有直接参考价值： - 错误检测框架可作为端侧 RAG 的质量控制模块 - 定向干预策略可用于优化端侧检索-生成协同 - 对 RAG 失效模式的理解有助于在资源受限的移动端设计更鲁棒的检索策略

参考文献¶

（参考文献待从原文补充）