一句话理解

GraphRAG 里最常见但也最容易被混淆的一组张力,就是 faithfulness 和 coverage:前者问“给出的证据和推理是否忠实”,后者问“需要的证据有没有被找全”。很多方法实际上是在这两者之间做不同偏置。

两个概念到底分别是什么意思

Faithfulness

  • 关注:
    • 推理是否真的受检索证据支持;
    • 生成路径是否合法、是否没有胡编。
  • 它更强调“别说错、别乱连”。

Coverage

  • 关注:
    • 回答一个问题所需的关键证据是否都被召回;
    • supporting facts 是否足够完整。
  • 它更强调“别漏掉关键东西”。

为什么这两者天然有张力

1. 检更多通常更全,但也更杂

  • 扩大 evidence set 往往提升 recall;
  • 但同时会引入冗余、错误边、无关上下文。

2. 约束更强通常更忠实,但也更窄

  • 更严格的路径约束、summary 压缩、causal filtering 往往让输出更可信;
  • 但也可能漏掉外围但必要的 supporting evidence。

当前知识库里最典型的例子

When-to-use-Graphs-in-RAG

  • 这篇论文很明确地指出:
    • 简单任务里,basic RAG 的 context relevance 往往更高;
    • 复杂任务里,GraphRAG 的 evidence recall 往往更强。
  • 这本质上就是 relevance/faithfulness 与 coverage 的结构性张力。

KG²RAG

  • 它的消融是理解这组张力的经典例子:
    • 去掉 expansion,retrieval F1 可能更高;
    • 但 response F1 反而下降。
  • 说明“更短更准的局部证据”不一定比“更完整的证据集”更适合生成。

Graph-Constrained-Reasoning

  • 它把 faithfulness 推到极致:
    • 直接约束解码只能沿 KG 合法路径进行。
  • 但忠实路径不自动等于完整证据链。

GraphRAG-FI

  • 这篇更偏 faithfulness / precision 一侧:
    • 先过滤噪声;
    • 再在 GraphRAG 与 LLM-only 之间做 logits 融合。

可以把现有 GraphRAG 方法粗分成三类偏置

1. Coverage-first

  • 代表: HippoRAG、DA-RAG、Relink 的某些设置
  • 目标: 尽量把多跳证据链找全。
  • 风险: 容易有 prompt inflation、噪声增加。

2. Faithfulness-first

3. 平衡型

为什么这对评测特别重要

  • 很多 benchmark 只看最终 answer accuracy;
  • 但 accuracy 无法分辨:
    • 是因为 evidence 找全了;
    • 还是模型碰巧答对了;
    • 或者虽然答对了,但理由是假的。

所以 GraphRAG 评测至少应同时看:

  • evidence recall
  • context relevance
  • faithfulness
  • final answer quality

一个很有用的直觉

你可以把 GraphRAG 看成在做两层任务:

  1. 检索层 把足够完整的结构化证据找出来。
  2. 生成层 在这些证据上尽可能忠实地组织答案。

于是:

  • coverage 更偏检索层目标;
  • faithfulness 更偏生成层目标;
  • 但两者通过上下文组织和解码约束耦合在一起。

常见误区

误区 1:faithfulness 高就一定更好

  • 不一定。
  • 如果 evidence 不完整,再忠实也只是“忠实地答不全”。

误区 2:coverage 高就一定更好

  • 也不对。
  • 检得太多会把 LLM 拖进噪声泥潭。

误区 3:这只是评测问题,不是方法问题

  • 错。
  • 很多方法设计本身就在这个 trade-off 上选边站。

更深一层可以追问的问题

  1. coverage 与 faithfulness 是否存在可形式化的 Pareto frontier?
  2. 哪类任务更需要 coverage,哪类任务更需要 faithfulness?
  3. 是否存在一种 retrieval objective,能直接同时优化两者?

相关笔记


这是一篇概念笔记,核心材料主要来自 When-to-use-Graphs-in-RAG、KG²RAG、Graph-Constrained-Reasoning、GraphRAG-FI 等现有笔记的综合。