一句话理解
Retrieval calibration 关心的不是“分数高不高”,而是 检索分数、路径置信度、子图得分是否真的对应了证据对回答的有用性与可靠性。
为什么 GraphRAG 特别需要 calibration
- GraphRAG 不只是取 top-k 文档;
- 它还要决定:
- 扩不扩展
- 剪不剪枝
- 走哪条路径
- 何时停止
- 何时相信外部图,何时相信 LLM 内部知识
这些决策如果分数不校准,就会导致:
- 错误路径被过度自信地保留;
- 真正有用但早期分数不高的证据被剪掉;
- 检索系统和生成系统之间的信任关系失衡。
calibration 在这里到底是什么意思
1. 候选级 calibration
- 一个路径/节点/子图得分高;
- 应该真的更有可能对答案有帮助。
2. 集合级 calibration
- 当前 evidence set 的“够不够”需要被估计;
- 而不是只给每个局部候选单独打分。
3. 决策级 calibration
- 系统要根据置信度决定:
- 继续搜
- 改搜法
- 停止
- 交给生成器
4. 融合级 calibration
- 当 GraphRAG 与 LLM-only 同时给出答案时;
- 需要决定该信哪边,或如何融合。
当前知识库里最典型的例子
GraphRAG-FI
- 这是最直接的一篇。
- 它显式做两件事:
- filtering
- logits-based integration
这说明作者已经不满足于“把图证据取回来”,而是进一步追问:
- 这些证据到底值不值得信;
- 检索答案和模型内部答案该怎样配平。
Think-on-Graph-ToG
- ToG 里一个重要观察是: naive beam search 很差;
- 原因不是 beam 这两个字本身,而是单一路径早期高分常常是 过度自信但不完整 的。
这其实正是 calibration failure:
- 局部 plausible
- 不等于全局 answer-supporting
Inference-Scaled-GraphRAG
- 它通过 parallel trajectories + majority vote 提升性能;
- 从理论上也可以把这理解成: 用更多 test-time compute 去降低单一路径或单次决策的不确定性。
GRIL
- 它的 complexity-aware budget 与 LLM feedback,也可以看成一种 calibration 机制;
- 系统不是固定给所有问题同样检索预算,而是试图根据问题难度动态决定证据量。
When-to-use-Graphs-in-RAG
- 这篇虽然不直接讲 calibration;
- 但它揭示了一个关键事实: context relevance、evidence recall、最终回答质量并不总一致。
这意味着:
- 检索分数并不天然等于 answer utility;
- calibration 恰好就是在修复这种错位。
为什么 GraphRAG 的 calibration 比普通 RAG 更难
1. 证据是结构化依赖的
- 一条路径看起来相关;
- 不代表它所在整条证据链完整。
2. 局部高分不等于全局有用
- 某个节点很相关;
- 但如果缺桥接实体,最终还是答不出。
3. 多跳推理容易放大早期置信错误
- 第一步种子选错;
- 后面所有路径都可能在错图上越来越自信。
4. 还要和生成器置信度耦合
- GraphRAG 常见的问题不是“检不到”;
- 而是“检到了,但不该那么信”。
可以把 calibration 问题分成四类
1. Path calibration
- 路径分数是否真的反映支持答案的概率。
2. Subgraph calibration
- 当前子图是否足够完整,是否仍需扩展。
3. Stopping calibration
- 什么时候应停止搜索,而不是继续浪费 token / latency。
4. Fusion calibration
- 外部证据与模型内部知识如何做动态融合。
常见误区
误区 1:检索分数越尖锐越好
- 不一定。
- 过度尖锐的分布可能只是过度自信。
误区 2:reranker 做好了就等于 calibration 做好了
- 不对。
- reranking 只改排序,不一定让分数具备可靠置信语义。
误区 3:calibration 只是评测细节
- 错。
- 它直接影响 pruning、stopping、fusion 与最终回答质量。
更深的问题
- 能否为路径、子图、答案集合定义统一的置信度语义?
- 一个 calibrated retriever 是否能减少 beam search 偏差与过早剪枝?
- calibration 应该以 answer correctness、evidence sufficiency,还是 faithfulness 为目标?
- GraphRAG 与 LLM-only 的最优融合是否本质上是一个校准问题?
相关笔记
这是一篇概念笔记,用来解释 GraphRAG 中“为什么高分证据不一定真有用”这一类问题。