LIT-3ED98EE5 · 2024
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering
G-Retriever 处理的不是普通文档库,而是**带文本属性的图**。它把“从图里找什么证据给 LLM”建模成连通子图检索问题,并用 `Prize-Collecting Steiner Tree (PCST)` 抽出最相关子图,再交给 GNN+LLM 回答问题。
PDF 级阅读卡优先级 P1Xiaoxin He, Yijun Tian, Yifei Sun, Nitesh V. Chawla, Thomas Laurent, Yann LeCun, Xavier Bresson, Bryan HooiNeurIPS 2024
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- 许多真实数据天然就是图,而且节点、边都带文本;
- 直接把整张图 textualize 给 LLM,token 太大且容易噪声过多;
- 只做图 prompt tuning 或单一 graph token 压缩,很难精准找回局部证据,也容易 hallucination;
- 现有 LLM+图方法更多做节点/边分类,不适合“chat with your graph”式 GraphQA。
方法与机制
- 论文先构建了 GraphQA benchmark,整合了 ExplaGraphs、SceneGraphs、WebQSP 三类文本图问答任务;
- 核心方法 G-Retriever 包含两步:
- 根据问题在图上做 PCST,检索出与问题最相关且尽量连通的子图;
- 用 GNN 编码该子图,再与 LLM 结合完成生成式问答;
- 训练上支持 frozen LLM + prompt tuning,也支持 LoRA 微调;
- 关键思想是:图上检索不应只是拿 top-k 节点,而应抽出一块连通、可解释、足够回答问题的子图。
证据与结果
- 在 frozen LLM + prompt tuning 设置下,G-Retriever 在三项任务上达到:
- ExplaGraphs: 0.8516
- SceneGraphs: 0.8131
- WebQSP: 70.49
- 相比普通 prompt tuning,提升幅度约为:
- ExplaGraphs +47.8%
- SceneGraphs +28.2%
- WebQSP +45.8%
- 使用 LoRA 后继续提升到:
- ExplaGraphs 0.8705
- SceneGraphs 0.8683
- WebQSP 73.79
- 效率方面,检索后 SceneGraphs 的 token 数下降约 83%、节点数下降 74%、训练时间下降 29%;
- 在 WebQSP 上,token 和节点都下降约 99%,训练时间下降 67%;
- 抗幻觉评测中,Valid Nodes 从 31% → 77%,Valid Edges 从 12% → 76%,Fully Valid Graphs 从 8% → 62%。
局限与开放问题
- 更接近“文本图 QA”,不是从原始开放语料自动建图的端到端文档 RAG;
- 依赖现成图结构和 GNN 编码器;
- 检索组件当前是静态的,论文自己也提到未来可探索可训练的检索模块;
- 主要验证数据集仍然有限,离开放域通用 GraphRAG 还有距离。
展开原始论文笔记全文
基本信息
- 作者: Xiaoxin He, Yijun Tian, Yifei Sun, Nitesh V. Chawla, Thomas Laurent, Yann LeCun, Xavier Bresson, Bryan Hooi
- 机构: National University of Singapore, University of Notre Dame, Loyola Marymount University, New York University, Meta AI
- 会议/期刊: NeurIPS 2024
- arXiv: 2402.07630
一句话理解
G-Retriever 处理的不是普通文档库,而是带文本属性的图。它把“从图里找什么证据给 LLM”建模成连通子图检索问题,并用 Prize-Collecting Steiner Tree (PCST) 抽出最相关子图,再交给 GNN+LLM 回答问题。
核心问题
- 许多真实数据天然就是图,而且节点、边都带文本;
- 直接把整张图 textualize 给 LLM,token 太大且容易噪声过多;
- 只做图 prompt tuning 或单一 graph token 压缩,很难精准找回局部证据,也容易 hallucination;
- 现有 LLM+图方法更多做节点/边分类,不适合“chat with your graph”式 GraphQA。
方法概述
- 论文先构建了 GraphQA benchmark,整合了 ExplaGraphs、SceneGraphs、WebQSP 三类文本图问答任务;
- 核心方法 G-Retriever 包含两步:
- 根据问题在图上做 PCST,检索出与问题最相关且尽量连通的子图;
- 用 GNN 编码该子图,再与 LLM 结合完成生成式问答;
- 训练上支持 frozen LLM + prompt tuning,也支持 LoRA 微调;
- 关键思想是:图上检索不应只是拿 top-k 节点,而应抽出一块连通、可解释、足够回答问题的子图。
主要结果
- 在 frozen LLM + prompt tuning 设置下,G-Retriever 在三项任务上达到:
- ExplaGraphs: 0.8516
- SceneGraphs: 0.8131
- WebQSP: 70.49
- 相比普通 prompt tuning,提升幅度约为:
- ExplaGraphs +47.8%
- SceneGraphs +28.2%
- WebQSP +45.8%
- 使用 LoRA 后继续提升到:
- ExplaGraphs 0.8705
- SceneGraphs 0.8683
- WebQSP 73.79
- 效率方面,检索后 SceneGraphs 的 token 数下降约 83%、节点数下降 74%、训练时间下降 29%;
- 在 WebQSP 上,token 和节点都下降约 99%,训练时间下降 67%;
- 抗幻觉评测中,Valid Nodes 从 31% → 77%,Valid Edges 从 12% → 76%,Fully Valid Graphs 从 8% → 62%。
我的理解
- G-Retriever 最重要的创新不是“GNN + LLM”,而是把图证据检索做成了子图级而不是点级/段级。
- 这让它在三件事上同时受益:
- 证据更连通,更适合复杂问题;
- token 更省,不必把整图塞给 LLM;
- hallucination 更少,因为给模型的上下文本身就更贴近真实图结构。
- 它和 HippoRAG 不一样:
- HippoRAG 更像开放文档上的图扩散检索;
- G-Retriever 处理的是现成 textual graph 的 QA。
- 因此它更适合作为“图结构本身就是输入”的 GraphQA / graph agent 方法,而不是通用文档级 GraphRAG 的直接替代。
局限
- 更接近“文本图 QA”,不是从原始开放语料自动建图的端到端文档 RAG;
- 依赖现成图结构和 GNN 编码器;
- 检索组件当前是静态的,论文自己也提到未来可探索可训练的检索模块;
- 主要验证数据集仍然有限,离开放域通用 GraphRAG 还有距离。
相关主题
原始笔记论文/GraphRAG/G-Retriever.md