一句话理解
GraphRAG 里最常见但也最容易被混淆的一组张力,就是 faithfulness 和 coverage:前者问“给出的证据和推理是否忠实”,后者问“需要的证据有没有被找全”。很多方法实际上是在这两者之间做不同偏置。
两个概念到底分别是什么意思
Faithfulness
- 关注:
- 推理是否真的受检索证据支持;
- 生成路径是否合法、是否没有胡编。
- 它更强调“别说错、别乱连”。
Coverage
- 关注:
- 回答一个问题所需的关键证据是否都被召回;
- supporting facts 是否足够完整。
- 它更强调“别漏掉关键东西”。
为什么这两者天然有张力
1. 检更多通常更全,但也更杂
- 扩大 evidence set 往往提升 recall;
- 但同时会引入冗余、错误边、无关上下文。
2. 约束更强通常更忠实,但也更窄
- 更严格的路径约束、summary 压缩、causal filtering 往往让输出更可信;
- 但也可能漏掉外围但必要的 supporting evidence。
当前知识库里最典型的例子
When-to-use-Graphs-in-RAG
- 这篇论文很明确地指出:
- 简单任务里,basic RAG 的 context relevance 往往更高;
- 复杂任务里,GraphRAG 的 evidence recall 往往更强。
- 这本质上就是 relevance/faithfulness 与 coverage 的结构性张力。
KG²RAG
- 它的消融是理解这组张力的经典例子:
- 去掉 expansion,retrieval F1 可能更高;
- 但 response F1 反而下降。
- 说明“更短更准的局部证据”不一定比“更完整的证据集”更适合生成。
Graph-Constrained-Reasoning
- 它把 faithfulness 推到极致:
- 直接约束解码只能沿 KG 合法路径进行。
- 但忠实路径不自动等于完整证据链。
GraphRAG-FI
- 这篇更偏 faithfulness / precision 一侧:
- 先过滤噪声;
- 再在 GraphRAG 与 LLM-only 之间做 logits 融合。
可以把现有 GraphRAG 方法粗分成三类偏置
1. Coverage-first
2. Faithfulness-first
- 代表: Graph-Constrained-Reasoning、HugRAG、GraphRAG-FI
- 目标: 让最终推理更可信、更可校验。
- 风险: 可能因为过滤过严而漏证据。
3. 平衡型
- 代表: KG²RAG、ArchRAG、LEGO-GraphRAG
- 目标: 通过组织、排序、模块化设计在两者之间找平衡。
为什么这对评测特别重要
- 很多 benchmark 只看最终 answer accuracy;
- 但 accuracy 无法分辨:
- 是因为 evidence 找全了;
- 还是模型碰巧答对了;
- 或者虽然答对了,但理由是假的。
所以 GraphRAG 评测至少应同时看:
- evidence recall
- context relevance
- faithfulness
- final answer quality
一个很有用的直觉
你可以把 GraphRAG 看成在做两层任务:
- 检索层 把足够完整的结构化证据找出来。
- 生成层 在这些证据上尽可能忠实地组织答案。
于是:
- coverage 更偏检索层目标;
- faithfulness 更偏生成层目标;
- 但两者通过上下文组织和解码约束耦合在一起。
常见误区
误区 1:faithfulness 高就一定更好
- 不一定。
- 如果 evidence 不完整,再忠实也只是“忠实地答不全”。
误区 2:coverage 高就一定更好
- 也不对。
- 检得太多会把 LLM 拖进噪声泥潭。
误区 3:这只是评测问题,不是方法问题
- 错。
- 很多方法设计本身就在这个 trade-off 上选边站。
更深一层可以追问的问题
- coverage 与 faithfulness 是否存在可形式化的 Pareto frontier?
- 哪类任务更需要 coverage,哪类任务更需要 faithfulness?
- 是否存在一种 retrieval objective,能直接同时优化两者?
相关笔记
这是一篇概念笔记,核心材料主要来自 When-to-use-Graphs-in-RAG、KG²RAG、Graph-Constrained-Reasoning、GraphRAG-FI 等现有笔记的综合。