一句话理解

Retrieval calibration 关心的不是“分数高不高”,而是 检索分数、路径置信度、子图得分是否真的对应了证据对回答的有用性与可靠性。

为什么 GraphRAG 特别需要 calibration

  • GraphRAG 不只是取 top-k 文档;
  • 它还要决定:
    • 扩不扩展
    • 剪不剪枝
    • 走哪条路径
    • 何时停止
    • 何时相信外部图,何时相信 LLM 内部知识

这些决策如果分数不校准,就会导致:

  • 错误路径被过度自信地保留;
  • 真正有用但早期分数不高的证据被剪掉;
  • 检索系统和生成系统之间的信任关系失衡。

calibration 在这里到底是什么意思

1. 候选级 calibration

  • 一个路径/节点/子图得分高;
  • 应该真的更有可能对答案有帮助。

2. 集合级 calibration

  • 当前 evidence set 的“够不够”需要被估计;
  • 而不是只给每个局部候选单独打分。

3. 决策级 calibration

  • 系统要根据置信度决定:
    • 继续搜
    • 改搜法
    • 停止
    • 交给生成器

4. 融合级 calibration

  • 当 GraphRAG 与 LLM-only 同时给出答案时;
  • 需要决定该信哪边,或如何融合。

当前知识库里最典型的例子

GraphRAG-FI

  • 这是最直接的一篇。
  • 它显式做两件事:
    • filtering
    • logits-based integration

这说明作者已经不满足于“把图证据取回来”,而是进一步追问:

  • 这些证据到底值不值得信;
  • 检索答案和模型内部答案该怎样配平。

Think-on-Graph-ToG

  • ToG 里一个重要观察是: naive beam search 很差;
  • 原因不是 beam 这两个字本身,而是单一路径早期高分常常是 过度自信但不完整 的。

这其实正是 calibration failure:

  • 局部 plausible
  • 不等于全局 answer-supporting

Inference-Scaled-GraphRAG

  • 它通过 parallel trajectories + majority vote 提升性能;
  • 从理论上也可以把这理解成: 用更多 test-time compute 去降低单一路径或单次决策的不确定性。

GRIL

  • 它的 complexity-aware budget 与 LLM feedback,也可以看成一种 calibration 机制;
  • 系统不是固定给所有问题同样检索预算,而是试图根据问题难度动态决定证据量。

When-to-use-Graphs-in-RAG

  • 这篇虽然不直接讲 calibration;
  • 但它揭示了一个关键事实: context relevance、evidence recall、最终回答质量并不总一致。

这意味着:

  • 检索分数并不天然等于 answer utility;
  • calibration 恰好就是在修复这种错位。

为什么 GraphRAG 的 calibration 比普通 RAG 更难

1. 证据是结构化依赖的

  • 一条路径看起来相关;
  • 不代表它所在整条证据链完整。

2. 局部高分不等于全局有用

  • 某个节点很相关;
  • 但如果缺桥接实体,最终还是答不出。

3. 多跳推理容易放大早期置信错误

  • 第一步种子选错;
  • 后面所有路径都可能在错图上越来越自信。

4. 还要和生成器置信度耦合

  • GraphRAG 常见的问题不是“检不到”;
  • 而是“检到了,但不该那么信”。

可以把 calibration 问题分成四类

1. Path calibration

  • 路径分数是否真的反映支持答案的概率。

2. Subgraph calibration

  • 当前子图是否足够完整,是否仍需扩展。

3. Stopping calibration

  • 什么时候应停止搜索,而不是继续浪费 token / latency。

4. Fusion calibration

  • 外部证据与模型内部知识如何做动态融合。

常见误区

误区 1:检索分数越尖锐越好

  • 不一定。
  • 过度尖锐的分布可能只是过度自信。

误区 2:reranker 做好了就等于 calibration 做好了

  • 不对。
  • reranking 只改排序,不一定让分数具备可靠置信语义。

误区 3:calibration 只是评测细节

  • 错。
  • 它直接影响 pruning、stopping、fusion 与最终回答质量。

更深的问题

  1. 能否为路径、子图、答案集合定义统一的置信度语义?
  2. 一个 calibrated retriever 是否能减少 beam search 偏差与过早剪枝?
  3. calibration 应该以 answer correctness、evidence sufficiency,还是 faithfulness 为目标?
  4. GraphRAG 与 LLM-only 的最优融合是否本质上是一个校准问题?

相关笔记


这是一篇概念笔记,用来解释 GraphRAG 中“为什么高分证据不一定真有用”这一类问题。