一句话理解

从信息论视角看,test-time compute 不只是“多算一点”,而是在动态决定 把额外带宽和推理预算分配给哪条路径、哪一层证据、哪一类不确定性。

这个理论点在回答什么问题

  • 为什么有些 GraphRAG 方法多轮搜索后确实更强?
  • 为什么更多步数或更多轨迹有时收益很大,有时又很快饱和?
  • 为什么 inference scaling 可以被理解成一种预算分配问题?

什么叫“信息率分配”

这里的直觉是:

  • 系统总预算有限;
  • 但不同 query、不同搜索分支、不同证据层级,对额外预算的价值并不相同。

所以 test-time compute 的关键问题不是:

  • 要不要多算

而是:

  • 额外预算投到哪里最值钱。

在 GraphRAG 里,这种分配通常发生在哪些地方

1. 分配给更深搜索

  • 继续往后扩路径
  • 继续走更多 hop

2. 分配给更宽搜索

  • 保留更多候选轨迹
  • 保留更多社区或子图

3. 分配给更强验证

  • 对当前候选做 rerank
  • 做 filtering
  • 做 sufficiency check

4. 分配给更丰富的跨粒度证据

  • 从 local-level 扩到 bridge-level
  • 再扩到 global-level

当前知识库里最典型的材料

Inference-Scaled-GraphRAG

  • 这是最直接的入口。
  • 它用 sequential scaling 和 parallel scaling 提升多跳 QA。

从信息率分配角度看:

  • sequential scaling: 把预算投给更深的单条轨迹。
  • parallel scaling: 把预算投给多条候选轨迹的不确定性削减。

Think-on-Graph-ToG

  • 多路径维护和 sufficiency judgment,本质也是 test-time 预算分配;
  • 它不是盲搜,而是在不断判断: 当前该继续扩哪部分搜索空间。

GeAR 与 Graph-R1

  • 这些 agentic GraphRAG 更清楚地体现了: 预算不仅分给“找证据”,还分给“重规划”和“停止判定”。

为什么这和信息论相关

1. 更多 compute 本质上在提高可获得的信息率

  • 你允许系统看更多证据;
  • 比较更多候选;
  • 进行更深的条件搜索。

2. 但收益递减很常见

  • 因为追加预算带来的新信息量会越来越少;
  • 或者新增内容主要是噪声与冗余。

3. 所以最关键的是边际信息收益

  • 某一步额外扩展是否真正降低了答案不确定性;
  • 这比“总共多算几步”更本质。

可以把 test-time compute 粗分成三种分配策略

1. 深度优先分配

  • 多给单条轨迹继续往下搜。
  • 优点: 适合长链推理。
  • 风险: 早期走错会越陷越深。

2. 广度优先分配

  • 多保几条候选轨迹。
  • 优点: 更稳、更抗单路径偏差。
  • 风险: 成本上升快,冗余也容易变多。

3. 校验优先分配

  • 不急着继续扩,而是先验证当前证据是否够。
  • 优点: 更适合控成本。
  • 风险: 若校准差,可能过早停止。

为什么这和已有理论节点强相关

与 GraphRAG中的率失真权衡

  • 更多 test-time compute 本质上是在提高率;
  • 但不一定持续降低失真。

与 GraphRAG中的Retrieval Calibration

  • 是否值得继续分配预算,依赖于系统对当前不确定性的估计是否可靠。

与 Graph搜索的完备性与Beam-Search偏差

  • 很多 test-time compute 的价值,本质上是缓解过窄 beam 带来的搜索偏差。

常见误区

误区 1:更多推理步数总会更好

  • 不对。
  • 额外步数如果主要引入噪声,反而会变差。

误区 2:test-time compute 只是算力堆叠

  • 不是。
  • 它真正有价值的地方在于更好的预算分配策略。

误区 3:只有 agent 才需要考虑这个问题

  • 也不对。
  • beam width、top-k、reranking depth、parallel trajectories,本质上都在做 test-time allocation。

更深的问题

  1. GraphRAG 能否学习 query-dependent 的 test-time compute policy?
  2. 什么信号最适合决定“继续搜还是停止”?
  3. 深度、宽度、校验三类预算如何统一成一套 allocation language?
  4. 边际信息收益能否成为 inference scaling 的统一目标?

相关笔记


这是一篇概念笔记,用来把 GraphRAG 中的多轮搜索、并行轨迹和停止策略统一理解为信息率分配问题。