一句话理解
GraphRAG 把图信息送进 LLM 的两条典型路线是 verbalized graph 和 graph memory;它们的根本差别不是“格式不同”,而是 占用哪种带宽、在哪一层被读取、以多大失真进入生成过程。
这个理论点在回答什么问题
- 为什么有的系统喜欢把 triples、paths、subgraphs 全部写成文本?
- 为什么有的系统转向 memory tokens、cross-attention、latent graph interface?
- 为什么这不是单纯的工程实现差异,而是信息接口差异?
两种接口分别是什么
Verbalized Graph
- 把图结构写成文本:
- triples
- paths
- subgraph descriptions
- community reports
然后通过普通 prompt 输入给 LLM。
Graph Memory
- 不把图完整翻成文本;
- 而是把图编码成更紧凑的 memory states / memory tokens;
- 再通过 cross-attention 或其他显式接口供 LLM 读取。
为什么它们的带宽性质不同
1. verbalized graph 占用显式 token 带宽
- 优点:
- 人可读
- 易审计
- 易与现有 LLM 直接兼容
- 代价:
- token 成本高
- 结构表达冗长
- 重复关系容易占带宽
2. graph memory 占用隐式表示带宽
- 优点:
- 更紧凑
- 可在生成过程中多层、多次读取
- 不必把每条结构都 verbalize
- 代价:
- 人类可读性差
- 可解释性下降
- 训练和接口设计更复杂
当前知识库里最典型的材料
Graph-as-Memory
- 这是最直接的例子。
- 它明确反对把图只作为前缀文本提示;
- 而是把局部图编码成 graph memory tokens,并在多层 cross-attention 中持续读取。
这件事的本质是:
- 不再让图信息竞争 prompt 带宽;
- 而是给图单独开一条可重复访问的内部通道。
GraphRAG-Microsoft
- 它更偏 verbalized graph 路线: 用 community reports 作为高层文本化结构。
HiRAG
- 它也主要是 verbalized multi-granularity knowledge;
- 只是通过更好的层次组织提升单位带宽的结构价值。
Graph-Constrained-Reasoning
- 它提醒另一个重要点: 有时结构信息不一定都要被“说出来”,也可以作为生成约束接口存在。
可以把比较分成四个维度
1. 带宽占用
- verbalized graph: 直接占用上下文 token。
- graph memory: 更多占用模型内部表示与交互层。
2. 失真类型
- verbalized graph: 结构转文本时容易丢关系精度或变得冗长。
- graph memory: 编码成 latent states 时更容易失去可审计性。
3. 读取方式
- verbalized graph: 更像一次性输入后由注意力自己选读。
- graph memory: 更像生成过程中反复查询外部记忆。
4. 可解释性
- verbalized graph: 更容易人工检查证据。
- graph memory: 更像黑盒高带宽接口。
为什么这和 GraphRAG 的核心张力直接相关
1. 与 GraphRAG中的容量与上下文带宽
- verbalized graph 常更容易撞上上下文带宽瓶颈;
- graph memory 则试图绕开这条瓶颈。
2. 与 GraphRAG中的信息瓶颈与充分统计量
- 两条路线都在设计
Z; - 只是一个偏文本化瓶颈,一个偏潜表示瓶颈。
3. 与 GraphRAG中的率失真权衡
- verbalization 更直观但率高;
- memory 更紧凑但可能带来新的解释失真。
为什么“更紧凑”不必然更好
1. 紧凑可能牺牲可校验性
- 用户或研究者更难知道系统到底读到了什么。
2. 紧凑接口更依赖训练质量
- 如果 graph memory 编码器没学好;
- 就可能高压缩但高失真。
3. 文本接口反而可能更适合开放域和低资源部署
- 因为它无需额外改模型接口。
常见误区
误区 1:graph memory 只是更高级的 prompt engineering
- 不对。
- 它是在改变图信息进入 LLM 的通道类型。
误区 2:verbalized graph 天然低效
- 也不对。
- 在很多需要透明性、低实现门槛的场景里,它反而是更稳妥的接口。
误区 3:两者只能二选一
- 不是。
- 很多未来系统可能会:
- 高层结构 verbalize
- 局部细节 memory 化
更深的问题
- graph memory 与 verbalized graph 的单位带宽有效信息量如何比较?
- 哪类任务更适合文本化结构,哪类更适合 latent graph memory?
- 能否设计兼顾可解释性和高带宽的混合接口?
- graph memory 是否会把 faithful evidence tracing 变得更难?
相关笔记
- Graph-as-Memory
- GraphRAG-Microsoft
- HiRAG
- Graph-Constrained-Reasoning
- GraphRAG中的容量与上下文带宽
- GraphRAG中的信息瓶颈与充分统计量
- GraphRAG中的率失真权衡
- GraphRAG-理论基础地图
这是一篇概念笔记,用来比较 GraphRAG 中两类核心图接口在带宽、失真与可解释性上的差异。