LIT-DD71FF2B · 年份待核验
GRAG: Graph Retrieval-Augmented Generation
GRAG 关注的是 **textual graphs**,不是传统知识图谱。它把 RAG 从“检索独立文档”推进到“检索文本子图”,再同时把文本视图和图视图送入 LLM,让模型既看到内容,也看到拓扑关系。
摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- Naive RAG 只看单文档相似度,无法处理 citation graph、社交网络文本图、文本化 KG 这类“网络化文档”。
- 在这些场景里,真正相关的信息往往不是一个孤立文档,而是一段 connected textual subgraph。
- 因此 GraphRAG 需要同时回答两个问题:
- 怎么高效检索文本子图?
- 怎么把文本与拓扑联合喂给 LLM?
方法与机制
1. Divide-and-conquer textual subgraph retrieval
- 论文提出一种 divide-and-conquer 检索策略。
- 先找到最相关的 ego-graphs,再用 soft pruning 与 union 形成近似最优子图。
- 这样避免了穷举所有子图带来的 NP-hard 搜索。
2. 双视图提示
- Text view
- 把检索到的 textual subgraph 转成层次化文本描述,作为 hard prompts。
- Graph view
- 通过图编码器把拓扑结构编码成 graph tokens,作为 soft prompts。
- 最终由 LLM 同时接收 hard + soft prompts。
3. 论文的重要点
- GRAG 不是简单把 graph retrieval 和 LLM 生拼在一起。
- 它真正强调的是:
- retrieval 时考虑子图结构;
- generation 时保留 graph topology。
证据与结果
- 主实验数据集:
- 对比:
- 纯 LLM
- LoRA fine-tuned LLM
- 多种 text retrievers
- G-Retriever
1. 不微调也能超过 fine-tuned LLM
- 在 Table 2 中,GRAG 达到:
- WebQSP:
F1 0.5022 / Hit@1 0.7236 / Recall 0.5099
- ExplaGraphs:
Acc 0.9223
- 对比:
- 纯 LLM: WebQSP
0.2555 / 0.4148 / 0.2920, ExplaGraphs 0.3394
- LLM+LoRA: WebQSP
0.4295 / 0.6186 / 0.4193, ExplaGraphs 0.8927
- G-Retriever: WebQSP
0.4674 / 0.6808 / 0.4579, ExplaGraphs 0.8825
- 这说明只要图检索和图提示设计得好,Frozen LLM 也能超过 fine-tuned baseline。
2. 迁移性也不错
- 论文做了 cross-dataset transfer:
- WebQSP → ExplaGraphs 时 accuracy
0.4540
- ExplaGraphs → WebQSP 时 Hit@1
0.4237
- 这说明 textual graph 编码和子图检索有一定可迁移性。
局限与开放问题
- 文本子图检索仍然依赖 ego-graph 构造与图编码质量。
- 更适合 textual graph 场景,不一定能直接替代 KGQA 型 GraphRAG。
- 当图特别大或特别稀疏时,子图构造策略可能仍有性能边界。
展开原始论文笔记全文
基本信息
- 作者: Yuntong Hu, Zhihan Lei, Zheng Zhang, Bo Pan, Chen Ling, Liang Zhao
- 机构: Emory University
- 发表: Findings of NAACL 2025
- arXiv: 2405.16506
- 代码: https://github.com/HuieL/GRAG
一句话理解
GRAG 关注的是 textual graphs,不是传统知识图谱。它把 RAG 从“检索独立文档”推进到“检索文本子图”,再同时把文本视图和图视图送入 LLM,让模型既看到内容,也看到拓扑关系。
论文要解决什么问题
- Naive RAG 只看单文档相似度,无法处理 citation graph、社交网络文本图、文本化 KG 这类“网络化文档”。
- 在这些场景里,真正相关的信息往往不是一个孤立文档,而是一段 connected textual subgraph。
- 因此 GraphRAG 需要同时回答两个问题:
- 怎么高效检索文本子图?
- 怎么把文本与拓扑联合喂给 LLM?
方法机制
1. Divide-and-conquer textual subgraph retrieval
- 论文提出一种 divide-and-conquer 检索策略。
- 先找到最相关的 ego-graphs,再用 soft pruning 与 union 形成近似最优子图。
- 这样避免了穷举所有子图带来的 NP-hard 搜索。
2. 双视图提示
- Text view
- 把检索到的 textual subgraph 转成层次化文本描述,作为 hard prompts。
- Graph view
- 通过图编码器把拓扑结构编码成 graph tokens,作为 soft prompts。
- 最终由 LLM 同时接收 hard + soft prompts。
3. 论文的重要点
- GRAG 不是简单把 graph retrieval 和 LLM 生拼在一起。
- 它真正强调的是:
- retrieval 时考虑子图结构;
- generation 时保留 graph topology。
实验设置
- 主实验数据集:
- 对比:
- 纯 LLM
- LoRA fine-tuned LLM
- 多种 text retrievers
- G-Retriever
主要结果
1. 不微调也能超过 fine-tuned LLM
- 在 Table 2 中,GRAG 达到:
- WebQSP:
F1 0.5022 / Hit@1 0.7236 / Recall 0.5099
- ExplaGraphs:
Acc 0.9223
- 对比:
- 纯 LLM: WebQSP
0.2555 / 0.4148 / 0.2920, ExplaGraphs 0.3394
- LLM+LoRA: WebQSP
0.4295 / 0.6186 / 0.4193, ExplaGraphs 0.8927
- G-Retriever: WebQSP
0.4674 / 0.6808 / 0.4579, ExplaGraphs 0.8825
- 这说明只要图检索和图提示设计得好,Frozen LLM 也能超过 fine-tuned baseline。
2. 迁移性也不错
- 论文做了 cross-dataset transfer:
- WebQSP → ExplaGraphs 时 accuracy
0.4540
- ExplaGraphs → WebQSP 时 Hit@1
0.4237
- 这说明 textual graph 编码和子图检索有一定可迁移性。
我的理解
- GRAG 和很多 KG-RAG 论文不同,它更偏 networked documents 而不是标准 KG triples。
- 但它对 GraphRAG 知识库依然重要,因为它补的是一个更一般的问题:
- 当知识源天然是图结构文本时,RAG 应该如何工作。
- 和 G-Retriever 相比,GRAG 更强调 retrieval of connected textual subgraphs,而不是只做图编码增强。
局限
- 文本子图检索仍然依赖 ego-graph 构造与图编码质量。
- 更适合 textual graph 场景,不一定能直接替代 KGQA 型 GraphRAG。
- 当图特别大或特别稀疏时,子图构造策略可能仍有性能边界。
相关主题
�����������