GGraphRAG 文献图谱自动同步
LIT-3FA934F0 · 2026

WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora

用 Wikipedia 文章及其外部引用构造长、异质、带来源关系的语料,检验 GraphRAG 在更接近开放环境的证据聚合任务上的表现。

PDF 级阅读卡优先级 P0Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong MaoFindings of ACL 2026
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

论文关注 GraphRAG 在“野外”语料上的真实边界:既有基准常用短、干净、已裁剪的段落,系统可以把少量片段拼接成答案,未必需要跨文档聚合。现实中,Wikipedia 条目只是摘要,引用链接却通向新闻、博客、PDF、报告等长度和质量差异很大的页面。WildGraphBench 由此问:图检索在这种长、异质、有噪声的来源中,什么时候帮助多事实聚合,什么时候反而牺牲细粒度覆盖?

  • 外部引用构造的 gold support 是否覆盖真实写作中的隐含证据?
  • 章节摘要任务中,图社区摘要和细粒度来源之间如何分配上下文?
  • 多事实聚合收益是否随来源数量、文档长度和主题变化?

方法与机制

  • 从 12 个 Wikipedia 顶级主题中选择引用密集的条目,抓取外部 reference pages(页面失败时使用可用归档),把 Wikipedia 中带引用的句子作为 gold statement,把原始引用页面作为检索语料。
  • arXiv v2 的最终统计为 1,197 个问题:single-fact 667、multi-fact 191、section-level summary 339。三类任务分别对应一个事实/一个来源、多个事实/多个来源、一个叶子小节的多句事实覆盖。
  • 构造流程分为引用感知 statement 抽取、问题生成、statement-level 评价三阶段。summary 不只比较字符串,而是抽取回答中的 statements,按事实等价匹配计算 precision、recall 和 F1。
  • 实验对预切 chunk 使用 1,200 tokens、overlap 100;问答 top-k=5,summary top-k=10;构图和回答默认 GPT-4o-mini,评价使用 GPT-5-mini。比较 NaiveRAG、BM25、Fast-GraphRAG、Microsoft GraphRAG(local/global)、LightRAG、LinearRAG 和 HippoRAG2。

证据与结果

方法 平均问答准确率 Single-fact Multi-fact Summary Recall / Precision / F1
NaiveRAG 59.79 66.87 35.08 13.54 / 19.07 / 15.84
HippoRAG2 64.33 71.51 39.27 11.15 / 16.76 / 13.39
Microsoft GraphRAG(global) 54.54 56.52 47.64 12.66 / 15.13 / 13.78
LightRAG(hybrid) 56.76 61.32 40.84 12.44 / 17.70 / 14.61

论文的结论不是“图方法全面胜出”:single-fact 上 NaiveRAG 仍有竞争力,multi-fact 上 GraphRAG(global) 的 47.64 显示结构化聚合能帮助跨来源组合;summary 的绝对分数整体很低,NaiveRAG 反而取得最高 F1,说明宽覆盖对长小节摘要比图上的过滤更重要。统一 LightRAG 构图下,WildGraphBench 图的平均度为 3.11、孤立节点比例为 0.14、最大度为 967,显示枢纽实体连接大量来源。

HippoRAG2 在一个子集上的 top-k 消融呈倒 U 形,summary F1 在 k=8 达峰,继续增加到 12 会因干扰片段和上下文负担下降。people 子集人工表现的问答平均准确率为 85.66、summary F1 为 15.30,说明摘要任务仍有较大差距。

局限与开放问题

  • gold statement 继承 Wikipedia 的编辑偏差、遗漏和引用错误,不等于绝对真值。
  • LLM judge 和 statement paraphrase matching 可能偏好特定措辞或冗长度,绝对分数和细粒度方法差异应谨慎解释。
  • 外部网页的许可、失效、时效、毒性和隐私内容需要额外处理;基准主要衡量鲁棒检索,不证明事实绝对正确。
  • summary 结果提示“图结构过滤”与“证据覆盖”存在张力,后续应在相同 token/调用预算下比较拓扑覆盖、来源质量和答案忠实度。

关联与拓展

  • 对应 Q1/Q9:补足“整理好的短段落基准不能代表野外语料”的证据。
  • 与 Do We Still Need GraphRAG、GraphRAG-Bench 形成三角比较:agentic search、领域化知识和野外来源。
  • 与 MOSAIC 对读:top-k 倒 U 结果直接支持查询级预算和停止策略的研究动机。
  • 对当前“证据集合是否完整”的问题,重点关注引用来源是否被正确恢复,而不是只看最终摘要质量。

研究问题入口

Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q4 查询规划与执行, Q6 证据来源与可解释性

展开原始论文笔记全文

基本信息

  • 正式记录:Findings of ACL 2026。同时有 arXiv:2602.02053v2。
  • 作者:Pengyu Wang 等。
  • 证据级别:已阅读 arXiv v2 PDF;以下结果为论文报告,未在本库独立复现。

一句话定位

用 Wikipedia 文章及其外部引用构造长、异质、带来源关系的语料,检验 GraphRAG 在更接近开放环境的证据聚合任务上的表现。

研究问题与动机

论文关注 GraphRAG 在“野外”语料上的真实边界:既有基准常用短、干净、已裁剪的段落,系统可以把少量片段拼接成答案,未必需要跨文档聚合。现实中,Wikipedia 条目只是摘要,引用链接却通向新闻、博客、PDF、报告等长度和质量差异很大的页面。WildGraphBench 由此问:图检索在这种长、异质、有噪声的来源中,什么时候帮助多事实聚合,什么时候反而牺牲细粒度覆盖?

数据集与任务构造

  • 从 12 个 Wikipedia 顶级主题中选择引用密集的条目,抓取外部 reference pages(页面失败时使用可用归档),把 Wikipedia 中带引用的句子作为 gold statement,把原始引用页面作为检索语料。
  • arXiv v2 的最终统计为 1,197 个问题:single-fact 667、multi-fact 191、section-level summary 339。三类任务分别对应一个事实/一个来源、多个事实/多个来源、一个叶子小节的多句事实覆盖。
  • 构造流程分为引用感知 statement 抽取、问题生成、statement-level 评价三阶段。summary 不只比较字符串,而是抽取回答中的 statements,按事实等价匹配计算 precision、recall 和 F1。
  • 实验对预切 chunk 使用 1,200 tokens、overlap 100;问答 top-k=5,summary top-k=10;构图和回答默认 GPT-4o-mini,评价使用 GPT-5-mini。比较 NaiveRAG、BM25、Fast-GraphRAG、Microsoft GraphRAG(local/global)、LightRAG、LinearRAG 和 HippoRAG2。

论文报告的主要结果

方法 平均问答准确率 Single-fact Multi-fact Summary Recall / Precision / F1
NaiveRAG 59.79 66.87 35.08 13.54 / 19.07 / 15.84
HippoRAG2 64.33 71.51 39.27 11.15 / 16.76 / 13.39
Microsoft GraphRAG(global) 54.54 56.52 47.64 12.66 / 15.13 / 13.78
LightRAG(hybrid) 56.76 61.32 40.84 12.44 / 17.70 / 14.61

论文的结论不是“图方法全面胜出”:single-fact 上 NaiveRAG 仍有竞争力,multi-fact 上 GraphRAG(global) 的 47.64 显示结构化聚合能帮助跨来源组合;summary 的绝对分数整体很低,NaiveRAG 反而取得最高 F1,说明宽覆盖对长小节摘要比图上的过滤更重要。统一 LightRAG 构图下,WildGraphBench 图的平均度为 3.11、孤立节点比例为 0.14、最大度为 967,显示枢纽实体连接大量来源。

HippoRAG2 在一个子集上的 top-k 消融呈倒 U 形,summary F1 在 k=8 达峰,继续增加到 12 会因干扰片段和上下文负担下降。people 子集人工表现的问答平均准确率为 85.66、summary F1 为 15.30,说明摘要任务仍有较大差距。

局限与开放问题

  • gold statement 继承 Wikipedia 的编辑偏差、遗漏和引用错误,不等于绝对真值。
  • LLM judge 和 statement paraphrase matching 可能偏好特定措辞或冗长度,绝对分数和细粒度方法差异应谨慎解释。
  • 外部网页的许可、失效、时效、毒性和隐私内容需要额外处理;基准主要衡量鲁棒检索,不证明事实绝对正确。
  • summary 结果提示“图结构过滤”与“证据覆盖”存在张力,后续应在相同 token/调用预算下比较拓扑覆盖、来源质量和答案忠实度。

与本知识库的连接

  • 对应 Q1/Q9:补足“整理好的短段落基准不能代表野外语料”的证据。
  • 与 Do We Still Need GraphRAG、GraphRAG-Bench 形成三角比较:agentic search、领域化知识和野外来源。
  • 与 MOSAIC 对读:top-k 倒 U 结果直接支持查询级预算和停止策略的研究动机。
  • 对当前“证据集合是否完整”的问题,重点关注引用来源是否被正确恢复,而不是只看最终摘要质量。

进一步研究问题

  • 外部引用构造的 gold support 是否覆盖真实写作中的隐含证据?
  • 章节摘要任务中,图社区摘要和细粒度来源之间如何分配上下文?
  • 多事实聚合收益是否随来源数量、文档长度和主题变化?

证据边界

以上问题规模、表 2/3 结果、图结构统计和 top-k 消融来自已阅读的 arXiv v2 PDF(论文另有 Findings of ACL 2026 正式记录)。没有在本库重新抓取语料或重跑基线;结论限定为该 Wikipedia-reference 构造和评价协议下的观察。