一句话理解

GraphRAG 不是一个单点模型,而是一条长链路系统,所以它的失败往往不是“模型太弱”,而是 建图误差、搜索误差、压缩误差、推理误差 在链路里逐层传递和放大。

为什么需要这张框架

  • 只看最终 answer wrong,无法知道问题出在哪。
  • GraphRAG 比普通 RAG 更复杂,因为中间多了:
    • 图构建
    • 图组织
    • 图检索
    • 图压缩
    • 图约束推理

所以必须做分层误差分析。

一个够用的分解

给定:

  • 语料 C
  • 图构造器 B
  • 图检索器 R
  • 证据压缩器 M
  • 生成器 G

可以写成:

  • H = B(C)
  • S = R(q, H)
  • Z = M(S)
  • a = G(q, Z)

于是误差会自然分成四类。

1. 表示误差

定义

  • 图里根本没有保住关键知识。

典型来源

  • 实体抽错
  • 关系抽错
  • 错误社区边界
  • graph abstraction 过粗

典型后果

  • 后续检索再强,也搜不到不存在的路径。

在当前库里的代表

  • LinearRAG 对 relation extraction 误差的批评
  • Relink 对 KG incompleteness 的处理
  • ArchRAG 对社区质量低的批评

2. 搜索误差

定义

  • 图里有,但检索没找到。

典型来源

  • seed nodes 错
  • traversal strategy 不对
  • beam 太窄
  • dynamic pruning 过早

典型后果

  • evidence recall 不足;
  • 系统会显得“明明有图,为什么还是答不出来”。

在当前库里的代表

3. 压缩误差

定义

  • 找到了证据,但在 summary、filtering、organizing、compression 里被扭曲或丢失。

典型来源

  • community summary 过粗
  • path filtering 过严
  • gist memory 只保留局部信息
  • prompt budget 限制

典型后果

  • 上下文看似干净,但关键信息被剪掉;
  • 或者上下文看似完整,但结构关系被压扁。

在当前库里的代表

4. 推理误差

定义

  • 证据已经给到了,但模型没有正确利用。

典型来源

  • 过度依赖内部先验
  • 无法综合多条路径
  • 没识别证据冲突
  • 解码时 hallucinate 出非法路径

典型后果

  • answer wrong even with enough evidence
  • answer right but reasoning fake

在当前库里的代表

为什么这个框架很重要

1. 它解释了为什么很多论文的增益点不同

  • 有些是在修表示误差;
  • 有些是在修搜索误差;
  • 有些是在修压缩误差;
  • 有些是在修推理误差。

2. 它解释了为什么不同 benchmark 结论经常冲突

  • 如果 benchmark 更重局部事实命中,搜索误差可能最重要;
  • 如果 benchmark 更重 holistic generation,压缩误差和推理误差会更关键。

3. 它解释了为什么端到端指标经常不够

  • retrieval F1 高,不代表 generation 就高;
  • answer accuracy 高,也不代表 reasoning faithful。

常见误区

误区 1:GraphRAG 出错主要是 LLM 问题

  • 不是。
  • 很多错误在生成前就被图构建和检索阶段决定了。

误区 2:只要检索更强,系统就更好

  • 不一定。
  • 如果压缩和融合做不好,更强的检索只会带来更多噪声。

误区 3:误差是线性传递的

  • 也不对。
  • 有些误差会放大,有些误差能被后续阶段补救。
  • 例如:
    • 少量表示误差可能被强生成器补掉;
    • 但关键 seed 错误常会在搜索阶段指数式放大。

更深的问题

  1. 能否给四类误差建立可测量 proxy?
  2. 哪类误差在不同任务中占主导?
  3. 是否存在端到端训练目标,能同时压低多类误差?

相关笔记


这是一篇概念笔记,用于统一解释 GraphRAG 方法的失败模式与改进位点。