GGraphRAG 文献图谱自动同步
LIT-4AC88FC5 · 2026

TopoGraphRAG-Bench: Evaluating Multimodal GraphRAG on Layout-Grounded Evidence Reasoning

把多模态文档中的文字、表格、图像、标题和版面关系作为证据拓扑来评测,检验系统是否真的恢复了跨单元依赖,而不是只找到相关页面。

PDF 级阅读卡优先级 P1Ruochi Li, Jianzhe Lin, Haoxuan Zhang, Haihua Chen, Junhua Ding, Edward Gehringer, Yang ZhangarXiv
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

多模态文档中的证据不是无序页面集合:答案可能依赖一个图表单元、跨页桥接实体,或多个文本/图像/表格共同支持的综合结论。论文追问 GraphRAG 是否恢复了这种证据拓扑,而不是只检索到相关页面。它将文本、figure、table、OCR、VLM 描述和 page/layout ID 统一成 layout-grounded evidence units。

  • 反事实验证是否能排除 OCR 文本、页码和标题等捷径?
  • topology recovery 指标与最终答案正确性、来源引用之间怎样对应?
  • 多模态图的构建成本和在线收益是否在同一预算下报告?

方法与机制

  • 从 MMDocIR 随机采样 201 篇长、视觉丰富文档,覆盖其 10 个领域中的 9 个;总计 2,024 题:single-hop 302(14.9%)、bridge-chain 1,014(50.1%)、multi-source synthesis 708(35.0%)。
  • 单跳只允许一个 evidence unit;bridge-chain 通过共享实体组成有序两跳,问题不显式给出 bridge entity;synthesis 要求至少三个证据点,形成趋势、矛盾、因果、组间比较或高层摘要。
  • 质量控制采用反事实验证:只给第一跳/第二跳、移除图表或逐条 leave-one-out,若问题仍可回答则删除;303 题由两位博士人工审查,Cohen's κ=0.84。
  • 数据的拓扑和模态统计包括:78.9% 跨页、38.2% 跨模态、66.8% 明确需要 figure/table;gold evidence units 平均/中位/最大为 2.3/2/6。

证据与结果

系统分为文本 GraphRAG(LightRAG、HippoRAG、Microsoft GraphRAG)、页面级 VisRAG,以及多模态 GraphRAG(RAG-Anything、MegaRAG)。检索报告 context precision/recall,生成报告 answer accuracy、faithfulness、response relevancy 和 step coverage;step coverage 对 bridge/synthesis 要求覆盖中间步骤或全部证据点。

  • 总体上 MegaRAG 的 answer accuracy/faithfulness/relevancy/step coverage 点估计最高(0.5350/0.9930/0.8172/0.7329),RAG-Anything 的 context precision/recall 最高(0.8093/0.7215),说明检索排名与最终生成并不等价;文本系统中 LightRAG 最强但仍低于多模态系统。
  • 模态和拓扑一变化,文本系统明显退化:HippoRAG 在 text single-hop 为 0.90,在 Bridge-MM 降到 0.17;VisRAG 在 figure/table 单跳为 0.65/0.56,但 Bridge-MM 为 0.26、Synthesis-MM 为 0.25。
  • 多模态系统更稳:RAG-Anything/MegaRAG 的 Bridge-MM 为 0.48/0.53,Synthesis-MM 均约 0.43;MegaRAG 在 visual-only bridge 的 step coverage 为 83.0%,LightRAG 为 44.9%。
  • 有序路径仍是瓶颈:LightRAG 在 figure→table 和 table→figure 仅 12.0%/7.5%,MegaRAG 在 table→figure 达 65.0%;cross-modal synthesis 上 RAG-Anything/MegaRAG 为 43.2%/42.7%,仍低于文本-only synthesis。

局限与开放问题

  • 数据来自 MMDocIR 的采样子集,文档领域、版式和证据分布有限;三类拓扑不能覆盖更长或更复杂的依赖。
  • 评估系统、解析器、检索器和生成后端不是所有可能组合;论文重点是范式对比,不是 backbone 敏感性研究。
  • 多模态 GraphRAG 的离线构图成本、token 成本和增量更新负担需要与在线收益放在同一预算中报告。
  • 反事实验证降低了捷径风险,但 OCR、页码、标题等残余线索和 LLM judge 偏差仍需持续审计;topology recovery 与 citation faithfulness 的关系尚未建立。

关联与拓展

  • 对应 Q2/Q9/Q10:将“图构建与评测”从纯文本实体关系扩展到版面和跨模态证据单元。
  • 与 SEM-RAG、MMGraphRAG 和现有研究脉络中的多模态路线相连。
  • 对“证据集合完整性”的判别实验提供了 topology-aware gold 的候选范式。
  • 与 GraphRAG-Bench 对读:前者把 reasoning rationale 扩展为多模态 layout topology,适合作为证据集合完整性的更严格测试。

研究问题入口

Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署

展开原始论文笔记全文

基本信息

  • arXiv:2610.09360v1,2026-10-07。
  • 作者:Ruochi Li 等。
  • 证据级别:已阅读 arXiv PDF v1;数据、指标和基线数字为论文报告,未在本库独立复现。

一句话定位

把多模态文档中的文字、表格、图像、标题和版面关系作为证据拓扑来评测,检验系统是否真的恢复了跨单元依赖,而不是只找到相关页面。

研究问题与动机

多模态文档中的证据不是无序页面集合:答案可能依赖一个图表单元、跨页桥接实体,或多个文本/图像/表格共同支持的综合结论。论文追问 GraphRAG 是否恢复了这种证据拓扑,而不是只检索到相关页面。它将文本、figure、table、OCR、VLM 描述和 page/layout ID 统一成 layout-grounded evidence units。

数据集与拓扑构造

  • 从 MMDocIR 随机采样 201 篇长、视觉丰富文档,覆盖其 10 个领域中的 9 个;总计 2,024 题:single-hop 302(14.9%)、bridge-chain 1,014(50.1%)、multi-source synthesis 708(35.0%)。
  • 单跳只允许一个 evidence unit;bridge-chain 通过共享实体组成有序两跳,问题不显式给出 bridge entity;synthesis 要求至少三个证据点,形成趋势、矛盾、因果、组间比较或高层摘要。
  • 质量控制采用反事实验证:只给第一跳/第二跳、移除图表或逐条 leave-one-out,若问题仍可回答则删除;303 题由两位博士人工审查,Cohen's κ=0.84。
  • 数据的拓扑和模态统计包括:78.9% 跨页、38.2% 跨模态、66.8% 明确需要 figure/table;gold evidence units 平均/中位/最大为 2.3/2/6。

评测与主要结果

系统分为文本 GraphRAG(LightRAG、HippoRAG、Microsoft GraphRAG)、页面级 VisRAG,以及多模态 GraphRAG(RAG-Anything、MegaRAG)。检索报告 context precision/recall,生成报告 answer accuracy、faithfulness、response relevancy 和 step coverage;step coverage 对 bridge/synthesis 要求覆盖中间步骤或全部证据点。

  • 总体上 MegaRAG 的 answer accuracy/faithfulness/relevancy/step coverage 点估计最高(0.5350/0.9930/0.8172/0.7329),RAG-Anything 的 context precision/recall 最高(0.8093/0.7215),说明检索排名与最终生成并不等价;文本系统中 LightRAG 最强但仍低于多模态系统。
  • 模态和拓扑一变化,文本系统明显退化:HippoRAG 在 text single-hop 为 0.90,在 Bridge-MM 降到 0.17;VisRAG 在 figure/table 单跳为 0.65/0.56,但 Bridge-MM 为 0.26、Synthesis-MM 为 0.25。
  • 多模态系统更稳:RAG-Anything/MegaRAG 的 Bridge-MM 为 0.48/0.53,Synthesis-MM 均约 0.43;MegaRAG 在 visual-only bridge 的 step coverage 为 83.0%,LightRAG 为 44.9%。
  • 有序路径仍是瓶颈:LightRAG 在 figure→table 和 table→figure 仅 12.0%/7.5%,MegaRAG 在 table→figure 达 65.0%;cross-modal synthesis 上 RAG-Anything/MegaRAG 为 43.2%/42.7%,仍低于文本-only synthesis。

局限与开放问题

  • 数据来自 MMDocIR 的采样子集,文档领域、版式和证据分布有限;三类拓扑不能覆盖更长或更复杂的依赖。
  • 评估系统、解析器、检索器和生成后端不是所有可能组合;论文重点是范式对比,不是 backbone 敏感性研究。
  • 多模态 GraphRAG 的离线构图成本、token 成本和增量更新负担需要与在线收益放在同一预算中报告。
  • 反事实验证降低了捷径风险,但 OCR、页码、标题等残余线索和 LLM judge 偏差仍需持续审计;topology recovery 与 citation faithfulness 的关系尚未建立。

与本知识库的连接

  • 对应 Q2/Q9/Q10:将“图构建与评测”从纯文本实体关系扩展到版面和跨模态证据单元。
  • 与 SEM-RAG、MMGraphRAG 和现有研究脉络中的多模态路线相连。
  • 对“证据集合完整性”的判别实验提供了 topology-aware gold 的候选范式。
  • 与 GraphRAG-Bench 对读:前者把 reasoning rationale 扩展为多模态 layout topology,适合作为证据集合完整性的更严格测试。

进一步研究问题

  • 反事实验证是否能排除 OCR 文本、页码和标题等捷径?
  • topology recovery 指标与最终答案正确性、来源引用之间怎样对应?
  • 多模态图的构建成本和在线收益是否在同一预算下报告?

证据边界

以上数据统计、反事实构造、表 2/3 指标和路径分析来自已阅读的 arXiv PDF v1;没有在本库重建 MMDocIR 子集或重跑六个系统。结论限定为该 layout-grounded benchmark,不能外推为所有多模态文档场景的统一排名。