GGraphRAG 文献图谱自动同步
LIT-6FBD900D · 年份待核验

RECON: Multimodal GraphRAG for Visually Rich Documents with Intra-Page Reflection and Inter-Page Connection

RECON 试图解决一个 text-only GraphRAG 没真正碰到的问题:面对 slides、图文报告、绘本这类 visually rich documents,单页检索远远不够,必须把**页内多模态关系**和**跨页长程联系**一起组织成 multimodal knowledge graph。

摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

  • 现有 MMRAG 方法大多还是以 page retrieval 为主,容易遗漏跨页证据链;
  • 视觉文档中的关键信息经常同时分散在文字、表格、图像、图注和不同页面里;
  • 对这类任务,普通 GraphRAG 往往默认输入已经是文本化知识,难以处理视觉实体和跨模态关系;
  • 此外,论文指出此前缺少专门评估“跨页文档级 VQA”的公开基准。

方法与机制

  • Intra-page Reflection:
    • 在每一页内部,迭代抽取文本实体、视觉实体及其关系;
    • 通过 self-examination / reflection 机制反复补漏,直到没有更多可提取信息;
    • 这一阶段是自适应的,页面越复杂,反思循环越重要。
  • Inter-page Connection:
    • 先把跨页同名实体合并成初始图;
    • 再选择低度节点,计算它们和其他页面实体的语义相似度;
    • 取 top-k 候选后,用 MLLM 过滤真假关系,补入最终图。
  • MMKG Retrieval + Generation:
    • 检索时最多取 u = 60 个实体/关系与 m = 6 页;
    • inter-page candidate 默认 k = 10;
    • 最终在 multimodal knowledge graph(MMKG)支持下生成答案。

证据与结果

  • 论文同时评测两类任务:
    • 已有 multi-hop QA benchmarks
    • 作者新建的 QFVDS
  • QFVDS 的构成很有代表性:
    • World History textbook: 788 页,187 个 QA
    • Environmental Reports: 422 页,138 个 QA
    • DLCV Slides: 1,984 页,172 个 QA
    • Picture Books: 247 页,127 个 QA
    • 总计 624 QA pairs
  • 在 multi-hop QA 上:
    • text-only 平均准确率 66.93%
    • HotpotQA 81.3%
    • MuSiQue 47.0%
    • MultiHopQA 72.5%
    • 在 multimodal 数据上平均 63.31%,相较 HippoRAG2 的 30.66% 高出 30+ 个百分点
    • SlideVQA / WebQA 分别为 66.12% / 60.50%
  • 在 QFVDS 上,论文报告 RECON 相比各类 baseline 整体 win rate 更高;
  • 对于更依赖跨页与跨模态整合的场景,收益尤其明显:
    • 在 Picture Books 和 DLCV Slides 上,Semantic Similarity 增益最高可达 +42.1 / +37.2
    • Faithfulness 增益最高可达 +31.5 / +30.7
  • 消融实验说明:
    • 去掉 intra-page reflection 会出现较大退化;
    • 去掉 inter-page connection 会带来稳定下降;
    • 在图片主导的文档中,visual entities 更关键;在报表型文档中,textual entities 更关键。

局限与开放问题

  • 目前公开 PDF 仍是匿名审稿稿,正式发表形态与最终实验细节仍可能变化;
  • 构建 MMKG 需要多轮多模态抽取与过滤,成本显然高于普通文本 RAG;
  • 评估中仍大量依赖 LLM judge 的 pairwise comparison;
  • 对超长视觉文档的工程效率和大规模部署成本,论文还没有完全解决。

关联与拓展

研究问题入口

Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署

展开原始论文笔记全文

基本信息

  • 作者: Yi-Cheng Wang, Chu-Song Chen(依据 OpenReview 公开作者页;PDF 版本仍为匿名审稿稿)
  • 机构: National Taiwan University(Yi-Cheng Wang);Chu-Song Chen 的公开作者页关联 Academia Sinica
  • 发表: OpenReview / ICLR 2026 submission(OpenReview 公开作者页当前显示为 withdrawn submission)

一句话理解

RECON 试图解决一个 text-only GraphRAG 没真正碰到的问题:面对 slides、图文报告、绘本这类 visually rich documents,单页检索远远不够,必须把页内多模态关系和跨页长程联系一起组织成 multimodal knowledge graph。

核心问题

  • 现有 MMRAG 方法大多还是以 page retrieval 为主,容易遗漏跨页证据链;
  • 视觉文档中的关键信息经常同时分散在文字、表格、图像、图注和不同页面里;
  • 对这类任务,普通 GraphRAG 往往默认输入已经是文本化知识,难以处理视觉实体和跨模态关系;
  • 此外,论文指出此前缺少专门评估“跨页文档级 VQA”的公开基准。

方法概述

  • Intra-page Reflection:
    • 在每一页内部,迭代抽取文本实体、视觉实体及其关系;
    • 通过 self-examination / reflection 机制反复补漏,直到没有更多可提取信息;
    • 这一阶段是自适应的,页面越复杂,反思循环越重要。
  • Inter-page Connection:
    • 先把跨页同名实体合并成初始图;
    • 再选择低度节点,计算它们和其他页面实体的语义相似度;
    • 取 top-k 候选后,用 MLLM 过滤真假关系,补入最终图。
  • MMKG Retrieval + Generation:
    • 检索时最多取 u = 60 个实体/关系与 m = 6 页;
    • inter-page candidate 默认 k = 10;
    • 最终在 multimodal knowledge graph(MMKG)支持下生成答案。

主要结果

  • 论文同时评测两类任务:
    • 已有 multi-hop QA benchmarks
    • 作者新建的 QFVDS
  • QFVDS 的构成很有代表性:
    • World History textbook: 788 页,187 个 QA
    • Environmental Reports: 422 页,138 个 QA
    • DLCV Slides: 1,984 页,172 个 QA
    • Picture Books: 247 页,127 个 QA
    • 总计 624 QA pairs
  • 在 multi-hop QA 上:
    • text-only 平均准确率 66.93%
    • HotpotQA 81.3%
    • MuSiQue 47.0%
    • MultiHopQA 72.5%
    • 在 multimodal 数据上平均 63.31%,相较 HippoRAG2 的 30.66% 高出 30+ 个百分点
    • SlideVQA / WebQA 分别为 66.12% / 60.50%
  • 在 QFVDS 上,论文报告 RECON 相比各类 baseline 整体 win rate 更高;
  • 对于更依赖跨页与跨模态整合的场景,收益尤其明显:
    • 在 Picture Books 和 DLCV Slides 上,Semantic Similarity 增益最高可达 +42.1 / +37.2
    • Faithfulness 增益最高可达 +31.5 / +30.7
  • 消融实验说明:
    • 去掉 intra-page reflection 会出现较大退化;
    • 去掉 inter-page connection 会带来稳定下降;
    • 在图片主导的文档中,visual entities 更关键;在报表型文档中,textual entities 更关键。

我的理解

  • RECON 的重点不是“把视觉文档 OCR 成文字再做 GraphRAG”,而是承认:
    • 视觉对象本身就是图中的实体;
    • 页与页之间的联系是显式推理对象,不只是检索后顺手拼接。
  • 这使它和常见 GraphRAG 路线有一个明显差别:
    • 普通 GraphRAG 常在“文本已足够结构化”的前提下工作;
    • RECON 则要先解决 multimodal relation extraction,再谈 graph retrieval。
  • 因而它更像是 GraphRAG 向 visually rich document QA 的一次真正扩展。

局限

  • 目前公开 PDF 仍是匿名审稿稿,正式发表形态与最终实验细节仍可能变化;
  • 构建 MMKG 需要多轮多模态抽取与过滤,成本显然高于普通文本 RAG;
  • 评估中仍大量依赖 LLM judge 的 pairwise comparison;
  • 对超长视觉文档的工程效率和大规模部署成本,论文还没有完全解决。

相关主题