研究问题与动机
多模态文档中的证据不是无序页面集合:答案可能依赖一个图表单元、跨页桥接实体,或多个文本/图像/表格共同支持的综合结论。论文追问 GraphRAG 是否恢复了这种证据拓扑,而不是只检索到相关页面。它将文本、figure、table、OCR、VLM 描述和 page/layout ID 统一成 layout-grounded evidence units。
- 反事实验证是否能排除 OCR 文本、页码和标题等捷径?
- topology recovery 指标与最终答案正确性、来源引用之间怎样对应?
- 多模态图的构建成本和在线收益是否在同一预算下报告?
方法与机制
- 从 MMDocIR 随机采样 201 篇长、视觉丰富文档,覆盖其 10 个领域中的 9 个;总计 2,024 题:single-hop 302(14.9%)、bridge-chain 1,014(50.1%)、multi-source synthesis 708(35.0%)。
- 单跳只允许一个 evidence unit;bridge-chain 通过共享实体组成有序两跳,问题不显式给出 bridge entity;synthesis 要求至少三个证据点,形成趋势、矛盾、因果、组间比较或高层摘要。
- 质量控制采用反事实验证:只给第一跳/第二跳、移除图表或逐条 leave-one-out,若问题仍可回答则删除;303 题由两位博士人工审查,Cohen's κ=0.84。
- 数据的拓扑和模态统计包括:78.9% 跨页、38.2% 跨模态、66.8% 明确需要 figure/table;gold evidence units 平均/中位/最大为 2.3/2/6。
证据与结果
系统分为文本 GraphRAG(LightRAG、HippoRAG、Microsoft GraphRAG)、页面级 VisRAG,以及多模态 GraphRAG(RAG-Anything、MegaRAG)。检索报告 context precision/recall,生成报告 answer accuracy、faithfulness、response relevancy 和 step coverage;step coverage 对 bridge/synthesis 要求覆盖中间步骤或全部证据点。
- 总体上 MegaRAG 的 answer accuracy/faithfulness/relevancy/step coverage 点估计最高(0.5350/0.9930/0.8172/0.7329),RAG-Anything 的 context precision/recall 最高(0.8093/0.7215),说明检索排名与最终生成并不等价;文本系统中 LightRAG 最强但仍低于多模态系统。
- 模态和拓扑一变化,文本系统明显退化:HippoRAG 在 text single-hop 为 0.90,在 Bridge-MM 降到 0.17;VisRAG 在 figure/table 单跳为 0.65/0.56,但 Bridge-MM 为 0.26、Synthesis-MM 为 0.25。
- 多模态系统更稳:RAG-Anything/MegaRAG 的 Bridge-MM 为 0.48/0.53,Synthesis-MM 均约 0.43;MegaRAG 在 visual-only bridge 的 step coverage 为 83.0%,LightRAG 为 44.9%。
- 有序路径仍是瓶颈:LightRAG 在 figure→table 和 table→figure 仅 12.0%/7.5%,MegaRAG 在 table→figure 达 65.0%;cross-modal synthesis 上 RAG-Anything/MegaRAG 为 43.2%/42.7%,仍低于文本-only synthesis。
局限与开放问题
- 数据来自 MMDocIR 的采样子集,文档领域、版式和证据分布有限;三类拓扑不能覆盖更长或更复杂的依赖。
- 评估系统、解析器、检索器和生成后端不是所有可能组合;论文重点是范式对比,不是 backbone 敏感性研究。
- 多模态 GraphRAG 的离线构图成本、token 成本和增量更新负担需要与在线收益放在同一预算中报告。
- 反事实验证降低了捷径风险,但 OCR、页码、标题等残余线索和 LLM judge 偏差仍需持续审计;topology recovery 与 citation faithfulness 的关系尚未建立。
关联与拓展
- 对应 Q2/Q9/Q10:将“图构建与评测”从纯文本实体关系扩展到版面和跨模态证据单元。
- 与 SEM-RAG、MMGraphRAG 和现有研究脉络中的多模态路线相连。
- 对“证据集合完整性”的判别实验提供了 topology-aware gold 的候选范式。
- 与 GraphRAG-Bench 对读:前者把 reasoning rationale 扩展为多模态 layout topology,适合作为证据集合完整性的更严格测试。
研究问题入口
Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署