一句话理解
GraphRAG 不是一个单点模型,而是一条长链路系统,所以它的失败往往不是“模型太弱”,而是 建图误差、搜索误差、压缩误差、推理误差 在链路里逐层传递和放大。
为什么需要这张框架
- 只看最终 answer wrong,无法知道问题出在哪。
- GraphRAG 比普通 RAG 更复杂,因为中间多了:
- 图构建
- 图组织
- 图检索
- 图压缩
- 图约束推理
所以必须做分层误差分析。
一个够用的分解
给定:
- 语料
C - 图构造器
B - 图检索器
R - 证据压缩器
M - 生成器
G
可以写成:
H = B(C)S = R(q, H)Z = M(S)a = G(q, Z)
于是误差会自然分成四类。
1. 表示误差
定义
- 图里根本没有保住关键知识。
典型来源
- 实体抽错
- 关系抽错
- 错误社区边界
- graph abstraction 过粗
典型后果
- 后续检索再强,也搜不到不存在的路径。
在当前库里的代表
2. 搜索误差
定义
- 图里有,但检索没找到。
典型来源
- seed nodes 错
- traversal strategy 不对
- beam 太窄
- dynamic pruning 过早
典型后果
- evidence recall 不足;
- 系统会显得“明明有图,为什么还是答不出来”。
在当前库里的代表
3. 压缩误差
定义
- 找到了证据,但在 summary、filtering、organizing、compression 里被扭曲或丢失。
典型来源
- community summary 过粗
- path filtering 过严
- gist memory 只保留局部信息
- prompt budget 限制
典型后果
- 上下文看似干净,但关键信息被剪掉;
- 或者上下文看似完整,但结构关系被压扁。
在当前库里的代表
4. 推理误差
定义
- 证据已经给到了,但模型没有正确利用。
典型来源
- 过度依赖内部先验
- 无法综合多条路径
- 没识别证据冲突
- 解码时 hallucinate 出非法路径
典型后果
- answer wrong even with enough evidence
- answer right but reasoning fake
在当前库里的代表
为什么这个框架很重要
1. 它解释了为什么很多论文的增益点不同
- 有些是在修表示误差;
- 有些是在修搜索误差;
- 有些是在修压缩误差;
- 有些是在修推理误差。
2. 它解释了为什么不同 benchmark 结论经常冲突
- 如果 benchmark 更重局部事实命中,搜索误差可能最重要;
- 如果 benchmark 更重 holistic generation,压缩误差和推理误差会更关键。
3. 它解释了为什么端到端指标经常不够
- retrieval F1 高,不代表 generation 就高;
- answer accuracy 高,也不代表 reasoning faithful。
常见误区
误区 1:GraphRAG 出错主要是 LLM 问题
- 不是。
- 很多错误在生成前就被图构建和检索阶段决定了。
误区 2:只要检索更强,系统就更好
- 不一定。
- 如果压缩和融合做不好,更强的检索只会带来更多噪声。
误区 3:误差是线性传递的
- 也不对。
- 有些误差会放大,有些误差能被后续阶段补救。
- 例如:
- 少量表示误差可能被强生成器补掉;
- 但关键 seed 错误常会在搜索阶段指数式放大。
更深的问题
- 能否给四类误差建立可测量 proxy?
- 哪类误差在不同任务中占主导?
- 是否存在端到端训练目标,能同时压低多类误差?
相关笔记
这是一篇概念笔记,用于统一解释 GraphRAG 方法的失败模式与改进位点。