一句话理解
从信息论视角看,test-time compute 不只是“多算一点”,而是在动态决定 把额外带宽和推理预算分配给哪条路径、哪一层证据、哪一类不确定性。
这个理论点在回答什么问题
- 为什么有些 GraphRAG 方法多轮搜索后确实更强?
- 为什么更多步数或更多轨迹有时收益很大,有时又很快饱和?
- 为什么 inference scaling 可以被理解成一种预算分配问题?
什么叫“信息率分配”
这里的直觉是:
- 系统总预算有限;
- 但不同 query、不同搜索分支、不同证据层级,对额外预算的价值并不相同。
所以 test-time compute 的关键问题不是:
- 要不要多算
而是:
- 额外预算投到哪里最值钱。
在 GraphRAG 里,这种分配通常发生在哪些地方
1. 分配给更深搜索
- 继续往后扩路径
- 继续走更多 hop
2. 分配给更宽搜索
- 保留更多候选轨迹
- 保留更多社区或子图
3. 分配给更强验证
- 对当前候选做 rerank
- 做 filtering
- 做 sufficiency check
4. 分配给更丰富的跨粒度证据
- 从 local-level 扩到 bridge-level
- 再扩到 global-level
当前知识库里最典型的材料
Inference-Scaled-GraphRAG
- 这是最直接的入口。
- 它用 sequential scaling 和 parallel scaling 提升多跳 QA。
从信息率分配角度看:
- sequential scaling: 把预算投给更深的单条轨迹。
- parallel scaling: 把预算投给多条候选轨迹的不确定性削减。
Think-on-Graph-ToG
- 多路径维护和 sufficiency judgment,本质也是 test-time 预算分配;
- 它不是盲搜,而是在不断判断: 当前该继续扩哪部分搜索空间。
GeAR 与 Graph-R1
- 这些 agentic GraphRAG 更清楚地体现了: 预算不仅分给“找证据”,还分给“重规划”和“停止判定”。
为什么这和信息论相关
1. 更多 compute 本质上在提高可获得的信息率
- 你允许系统看更多证据;
- 比较更多候选;
- 进行更深的条件搜索。
2. 但收益递减很常见
- 因为追加预算带来的新信息量会越来越少;
- 或者新增内容主要是噪声与冗余。
3. 所以最关键的是边际信息收益
- 某一步额外扩展是否真正降低了答案不确定性;
- 这比“总共多算几步”更本质。
可以把 test-time compute 粗分成三种分配策略
1. 深度优先分配
- 多给单条轨迹继续往下搜。
- 优点: 适合长链推理。
- 风险: 早期走错会越陷越深。
2. 广度优先分配
- 多保几条候选轨迹。
- 优点: 更稳、更抗单路径偏差。
- 风险: 成本上升快,冗余也容易变多。
3. 校验优先分配
- 不急着继续扩,而是先验证当前证据是否够。
- 优点: 更适合控成本。
- 风险: 若校准差,可能过早停止。
为什么这和已有理论节点强相关
与 GraphRAG中的率失真权衡
- 更多 test-time compute 本质上是在提高率;
- 但不一定持续降低失真。
与 GraphRAG中的Retrieval Calibration
- 是否值得继续分配预算,依赖于系统对当前不确定性的估计是否可靠。
与 Graph搜索的完备性与Beam-Search偏差
- 很多 test-time compute 的价值,本质上是缓解过窄 beam 带来的搜索偏差。
常见误区
误区 1:更多推理步数总会更好
- 不对。
- 额外步数如果主要引入噪声,反而会变差。
误区 2:test-time compute 只是算力堆叠
- 不是。
- 它真正有价值的地方在于更好的预算分配策略。
误区 3:只有 agent 才需要考虑这个问题
- 也不对。
- beam width、top-k、reranking depth、parallel trajectories,本质上都在做 test-time allocation。
更深的问题
- GraphRAG 能否学习 query-dependent 的 test-time compute policy?
- 什么信号最适合决定“继续搜还是停止”?
- 深度、宽度、校验三类预算如何统一成一套 allocation language?
- 边际信息收益能否成为 inference scaling 的统一目标?
相关笔记
- Inference-Scaled-GraphRAG
- Think-on-Graph-ToG
- GeAR
- Graph-R1
- GraphRAG中的率失真权衡
- GraphRAG中的Retrieval Calibration
- Graph搜索的完备性与Beam-Search偏差
- GraphRAG中的停止准则与预算分配形式化
- GraphRAG中的软搜索与Test-time-Compute统一分析
- GraphRAG-理论基础地图
这是一篇概念笔记,用来把 GraphRAG 中的多轮搜索、并行轨迹和停止策略统一理解为信息率分配问题。