研究问题与动机
论文追问:图结构增强是否真的让 LLM 获得超出简单检索的推理能力? 作者认为 HotpotQA、2WikiMultiHopQA、MuSiQue 等常用数据集的语料短、问题偏事实查找、答案短,难以区分“找到了相关片段”和“利用结构完成了多步推理”。因此,基准需要同时覆盖长文档、领域知识、多种答案形式、构图/检索/生成的中间过程,以及可检查的推理依据。
- gold evidence、图构建误差和最终答案错误是否能在同一条样本上区分?
- 多任务混合是否掩盖了不同 query complexity 的图收益边界?
- 九种方法是否在相同图、生成器和预算下比较?
方法与机制
- 语料:从 100 余本候选教材中筛出 20 本计算机科学核心教材,约 700 万词,覆盖 16 个子领域。
- 问题:1,018 道大学课程级问题,包含填空(FB)、单选(MC)、多选(MS)、判断(TF)和开放问答(OE)。问题涉及概念理解、算法/编程、数学计算,并由领域专家筛选和修订。
- 结构化语料:区分文本页与扫描页,结合 PyMuPDF、PaddleOCR、LayoutLMv3、公式检测和 MinerU 做版面解析、公式保留、阅读顺序恢复,最后组织为“教材—章节—小节—知识内容单元”的四层树。
- 专家 rationale:每题保存前置概念、概念关系和推理操作组成的完整 rationale,并标注 Level-1 子领域与 Level-2 概念,用于检查模型是否只是猜中答案。
论文把 GraphRAG 拆成三段:构图、知识检索、答案/理由生成。构图评估构建时间、token 成本和非孤立节点比例;检索评估索引时间、平均查询时间以及使用的检索操作;生成评估五类题的 Accuracy;理由评估 rationale 相似度 R,以及“答对时是否也给出正确理由”的 AR。
实验统一使用 GPT-4o-mini,chunk size 为 1,200 tokens,需要 top-k 的方法统一取 5,其余参数采用各论文报告的最优配置。比较九种方法:RAPTOR、LightRAG、Microsoft GraphRAG、G-Retriever、HippoRAG、GFM-RAG、DALK、KGP 和 ToG,并与 GPT-4o-mini、TF-IDF、BM25 对照。
证据与结果
- 构图成本与组织性存在权衡:RAPTOR 的构图 token 成本最低(10,142,221),但耗时最长(20,396.49 s);GraphRAG 的成本为 79,929,698 tokens、耗时 11,181.24 s;知识图谱类方法的非孤立节点比例约 89.5%–90.0%,而 passage graph(KGP)为 46.03%。
- 检索速度与操作复杂度不同:RAPTOR 平均检索 0.02 s,GFM-RAG 1.96 s,HippoRAG 2.44 s,Microsoft GraphRAG 44.87 s;GraphRAG 同时使用节点、关系、chunk 和 community,索引时间为 1,796.65 s。
- 平均生成准确率:RAPTOR 73.58、HippoRAG 72.64、GFM-RAG 72.10、Microsoft GraphRAG 72.50,GPT-4o-mini 70.68;DALK(69.30)和 G-Retriever(69.84)在该设置下低于未增强模型。论文认为结构信息噪声可能抵消语义内容。
- 推理理由比答案更难:RAPTOR 的平均
R/AR为 60.81/45.53,HippoRAG 为 60.90/44.55,GPT-4o-mini 为 55.45/39.78。答案正确不等于推理链正确,AR对“猜中”做了额外区分。 - 收益依赖问题类型:数学题中所有 GraphRAG 方法都下降,原因可能是公式和符号操作不能由概念片段替代;伦理题整体较弱;多选题中额外检索的松散信息有时会干扰模型判断。
局限与开放问题
- 这是教材/计算机科学领域基准,不能直接代表企业知识库、网页噪声或多模态文档。
- 九种方法统一了生成模型、chunk 和 top-k,但内部构图与其他超参仍来自各自实现,不能当作完全同构的因果比较。
R、AR依赖 LLM 评价 rationale;需要验证评价者稳定性,以及 rationale 与真实证据覆盖之间的关系。- 题目混合概念、数学、编程和开放问答,后续应按证据拓扑、推理深度和领域分别报告图收益。
关联与拓展
- 对应 Q1/Q9:把“图是否有用”从单一 QA 分数推进到按领域和推理类型拆解。
- 与 GraphRAG交互研究脉络 中“基准是否测到真实结构需求”阶段直接相连。
- 可与 WildGraphBench 对读:前者强调领域知识与任务多样性,后者强调野外语料、长文档和引用来源。
- 与 TopoGraphRAG-Bench 对读:本基准以文本/概念 rationale 评测为主,后者把证据拓扑扩展到页面、图像和表格。
研究问题入口
Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q7 鲁棒性与安全