LIT-6FBD900D · 年份待核验
RECON: Multimodal GraphRAG for Visually Rich Documents with Intra-Page Reflection and Inter-Page Connection
RECON 试图解决一个 text-only GraphRAG 没真正碰到的问题:面对 slides、图文报告、绘本这类 visually rich documents,单页检索远远不够,必须把**页内多模态关系**和**跨页长程联系**一起组织成 multimodal knowledge graph。
摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- 现有 MMRAG 方法大多还是以 page retrieval 为主,容易遗漏跨页证据链;
- 视觉文档中的关键信息经常同时分散在文字、表格、图像、图注和不同页面里;
- 对这类任务,普通 GraphRAG 往往默认输入已经是文本化知识,难以处理视觉实体和跨模态关系;
- 此外,论文指出此前缺少专门评估“跨页文档级 VQA”的公开基准。
方法与机制
- Intra-page Reflection:
- 在每一页内部,迭代抽取文本实体、视觉实体及其关系;
- 通过 self-examination / reflection 机制反复补漏,直到没有更多可提取信息;
- 这一阶段是自适应的,页面越复杂,反思循环越重要。
- Inter-page Connection:
- 先把跨页同名实体合并成初始图;
- 再选择低度节点,计算它们和其他页面实体的语义相似度;
- 取 top-k 候选后,用 MLLM 过滤真假关系,补入最终图。
- MMKG Retrieval + Generation:
- 检索时最多取
u = 60 个实体/关系与 m = 6 页;
- inter-page candidate 默认
k = 10;
- 最终在 multimodal knowledge graph(MMKG)支持下生成答案。
证据与结果
- 论文同时评测两类任务:
- 已有 multi-hop QA benchmarks
- 作者新建的 QFVDS
- QFVDS 的构成很有代表性:
- World History textbook:
788 页,187 个 QA
- Environmental Reports:
422 页,138 个 QA
- DLCV Slides:
1,984 页,172 个 QA
- Picture Books:
247 页,127 个 QA
- 总计 624 QA pairs
- 在 multi-hop QA 上:
- text-only 平均准确率 66.93%
- HotpotQA 81.3%
- MuSiQue 47.0%
- MultiHopQA 72.5%
- 在 multimodal 数据上平均 63.31%,相较 HippoRAG2 的 30.66% 高出 30+ 个百分点
- SlideVQA / WebQA 分别为 66.12% / 60.50%
- 在 QFVDS 上,论文报告 RECON 相比各类 baseline 整体 win rate 更高;
- 对于更依赖跨页与跨模态整合的场景,收益尤其明显:
- 在 Picture Books 和 DLCV Slides 上,Semantic Similarity 增益最高可达 +42.1 / +37.2
- Faithfulness 增益最高可达 +31.5 / +30.7
- 消融实验说明:
- 去掉 intra-page reflection 会出现较大退化;
- 去掉 inter-page connection 会带来稳定下降;
- 在图片主导的文档中,visual entities 更关键;在报表型文档中,textual entities 更关键。
局限与开放问题
- 目前公开 PDF 仍是匿名审稿稿,正式发表形态与最终实验细节仍可能变化;
- 构建 MMKG 需要多轮多模态抽取与过滤,成本显然高于普通文本 RAG;
- 评估中仍大量依赖 LLM judge 的 pairwise comparison;
- 对超长视觉文档的工程效率和大规模部署成本,论文还没有完全解决。
展开原始论文笔记全文
基本信息
- 作者: Yi-Cheng Wang, Chu-Song Chen(依据 OpenReview 公开作者页;PDF 版本仍为匿名审稿稿)
- 机构: National Taiwan University(Yi-Cheng Wang);Chu-Song Chen 的公开作者页关联 Academia Sinica
- 发表: OpenReview / ICLR 2026 submission(OpenReview 公开作者页当前显示为 withdrawn submission)
一句话理解
RECON 试图解决一个 text-only GraphRAG 没真正碰到的问题:面对 slides、图文报告、绘本这类 visually rich documents,单页检索远远不够,必须把页内多模态关系和跨页长程联系一起组织成 multimodal knowledge graph。
核心问题
- 现有 MMRAG 方法大多还是以 page retrieval 为主,容易遗漏跨页证据链;
- 视觉文档中的关键信息经常同时分散在文字、表格、图像、图注和不同页面里;
- 对这类任务,普通 GraphRAG 往往默认输入已经是文本化知识,难以处理视觉实体和跨模态关系;
- 此外,论文指出此前缺少专门评估“跨页文档级 VQA”的公开基准。
方法概述
- Intra-page Reflection:
- 在每一页内部,迭代抽取文本实体、视觉实体及其关系;
- 通过 self-examination / reflection 机制反复补漏,直到没有更多可提取信息;
- 这一阶段是自适应的,页面越复杂,反思循环越重要。
- Inter-page Connection:
- 先把跨页同名实体合并成初始图;
- 再选择低度节点,计算它们和其他页面实体的语义相似度;
- 取 top-k 候选后,用 MLLM 过滤真假关系,补入最终图。
- MMKG Retrieval + Generation:
- 检索时最多取
u = 60 个实体/关系与 m = 6 页;
- inter-page candidate 默认
k = 10;
- 最终在 multimodal knowledge graph(MMKG)支持下生成答案。
主要结果
- 论文同时评测两类任务:
- 已有 multi-hop QA benchmarks
- 作者新建的 QFVDS
- QFVDS 的构成很有代表性:
- World History textbook:
788 页,187 个 QA
- Environmental Reports:
422 页,138 个 QA
- DLCV Slides:
1,984 页,172 个 QA
- Picture Books:
247 页,127 个 QA
- 总计 624 QA pairs
- 在 multi-hop QA 上:
- text-only 平均准确率 66.93%
- HotpotQA 81.3%
- MuSiQue 47.0%
- MultiHopQA 72.5%
- 在 multimodal 数据上平均 63.31%,相较 HippoRAG2 的 30.66% 高出 30+ 个百分点
- SlideVQA / WebQA 分别为 66.12% / 60.50%
- 在 QFVDS 上,论文报告 RECON 相比各类 baseline 整体 win rate 更高;
- 对于更依赖跨页与跨模态整合的场景,收益尤其明显:
- 在 Picture Books 和 DLCV Slides 上,Semantic Similarity 增益最高可达 +42.1 / +37.2
- Faithfulness 增益最高可达 +31.5 / +30.7
- 消融实验说明:
- 去掉 intra-page reflection 会出现较大退化;
- 去掉 inter-page connection 会带来稳定下降;
- 在图片主导的文档中,visual entities 更关键;在报表型文档中,textual entities 更关键。
我的理解
- RECON 的重点不是“把视觉文档 OCR 成文字再做 GraphRAG”,而是承认:
- 视觉对象本身就是图中的实体;
- 页与页之间的联系是显式推理对象,不只是检索后顺手拼接。
- 这使它和常见 GraphRAG 路线有一个明显差别:
- 普通 GraphRAG 常在“文本已足够结构化”的前提下工作;
- RECON 则要先解决 multimodal relation extraction,再谈 graph retrieval。
- 因而它更像是 GraphRAG 向 visually rich document QA 的一次真正扩展。
局限
- 目前公开 PDF 仍是匿名审稿稿,正式发表形态与最终实验细节仍可能变化;
- 构建 MMKG 需要多轮多模态抽取与过滤,成本显然高于普通文本 RAG;
- 评估中仍大量依赖 LLM judge 的 pairwise comparison;
- 对超长视觉文档的工程效率和大规模部署成本,论文还没有完全解决。
相关主题