GGraphRAG 文献图谱自动同步
LIT-456F933B · 年份待核验

REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation

REANO 不是做“整个语料库上的 GraphRAG”,而是在 **retriever 之后、reader 之前**,从已检索到的 passages 里动态生成一个局部知识图,用它增强 FiD 这类 reader 的多跳理解能力。

摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

  • Fusion-in-Decoder(FiD)这类 reader 会分别编码每篇 passage,因此很难显式建模 passage 与 passage 之间的语义依赖;
  • 以往 KG-enhanced reader 往往依赖已有外部 KG,但真实问答时常缺失关键事实,图不完整;
  • 多跳 ODQA 问题需要的不只是“检到相关段落”,还要把跨段落的实体关系串起来。

方法与机制

  • KG Generator:
    • 直接从检索到的 passages 生成知识图,而不是只查外部 KG;
    • 生成的三元组既包含 passage 内部关系,也包含 passage 之间的跨上下文关系。
  • Answer Predictor:
    • 以 FiD 为基础,但额外使用 GNN 在生成的 KG 上做相关三元组选择;
    • 最终把最相关的 top-K triples 按相关性排序后拼接给 reader。
  • REM(Relation Embedding Module):
    • 因为生成器预测出来的关系标签可能有误差,REM 用实体上下文去修正 relation embedding。
  • GNN Triple Selection:
    • 在图上传播实体与关系信息,找出最适合当前问题的 triples;
    • 论文默认选择的 triple 数量为 K=10。
  • 训练上采用两阶段思路:
    • 先训练 KG generator;
    • 再训练带 GNN 的 answer predictor。

证据与结果

  • 论文在 5 个开放域问答数据集上评测:
    • NQ
    • TriviaQA
    • EntityQuestions
    • 2WikiMultiHopQA
    • MuSiQue
  • Table 1 中,REANO 的 EM 为:
    • NQ: 50.4
    • TQA: 69.1
    • EQ: 71.0
    • 2WQA: 77.1
    • MuSiQue: 31.8
  • 相比每个数据集上的次优方法,提升分别达到:
    • +0.8 / +1.7 / +2.7 / +2.5 / +1.4
  • 论文总结其平均提升为 1.8%;
  • 如果直接和 FiD 比,REANO 在需要更多跨段整合的任务上提升更明显:
    • EQ: +2.9
    • 2WQA: +3.0
    • MuSiQue: +1.9
  • 消融实验也说明:
    • 去掉 inter-context triples 或 intra-context triples 都会掉点;
    • 去掉 REM 或 GNN 也会明显下降;
    • 比如 MuSiQue 上 w/o GNN 会从 31.8 掉到 28.0。

局限与开放问题

  • 依赖上游 retriever 先把关键 passages 找出来,如果首轮检索漏掉证据,后面的图再好也补不回来;
  • 图是对当前问题局部生成的,不是可复用的全局知识索引;
  • KG generator 本身可能引入错误关系;
  • 论文主要验证的是基于 T5 / FiD 的 encoder-decoder reader,对其他 reader 架构的泛化还没有系统验证;
  • 实验里使用 frozen retriever,没有研究 retriever 与 REANO 的联合优化。

关联与拓展

研究问题入口

Q10 领域与模态扩展, Q3 证据检索与集合形成, Q9 评测与理论

展开原始论文笔记全文

基本信息

  • 作者: Jinyuan Fang, Zaiqiao Meng, Craig Macdonald
  • 机构: University of Glasgow
  • 发表: ACL 2024

一句话理解

REANO 不是做“整个语料库上的 GraphRAG”,而是在 retriever 之后、reader 之前,从已检索到的 passages 里动态生成一个局部知识图,用它增强 FiD 这类 reader 的多跳理解能力。

核心问题

  • Fusion-in-Decoder(FiD)这类 reader 会分别编码每篇 passage,因此很难显式建模 passage 与 passage 之间的语义依赖;
  • 以往 KG-enhanced reader 往往依赖已有外部 KG,但真实问答时常缺失关键事实,图不完整;
  • 多跳 ODQA 问题需要的不只是“检到相关段落”,还要把跨段落的实体关系串起来。

方法概述

  • KG Generator:
    • 直接从检索到的 passages 生成知识图,而不是只查外部 KG;
    • 生成的三元组既包含 passage 内部关系,也包含 passage 之间的跨上下文关系。
  • Answer Predictor:
    • 以 FiD 为基础,但额外使用 GNN 在生成的 KG 上做相关三元组选择;
    • 最终把最相关的 top-K triples 按相关性排序后拼接给 reader。
  • REM(Relation Embedding Module):
    • 因为生成器预测出来的关系标签可能有误差,REM 用实体上下文去修正 relation embedding。
  • GNN Triple Selection:
    • 在图上传播实体与关系信息,找出最适合当前问题的 triples;
    • 论文默认选择的 triple 数量为 K=10。
  • 训练上采用两阶段思路:
    • 先训练 KG generator;
    • 再训练带 GNN 的 answer predictor。

主要结果

  • 论文在 5 个开放域问答数据集上评测:
    • NQ
    • TriviaQA
    • EntityQuestions
    • 2WikiMultiHopQA
    • MuSiQue
  • Table 1 中,REANO 的 EM 为:
    • NQ: 50.4
    • TQA: 69.1
    • EQ: 71.0
    • 2WQA: 77.1
    • MuSiQue: 31.8
  • 相比每个数据集上的次优方法,提升分别达到:
    • +0.8 / +1.7 / +2.7 / +2.5 / +1.4
  • 论文总结其平均提升为 1.8%;
  • 如果直接和 FiD 比,REANO 在需要更多跨段整合的任务上提升更明显:
    • EQ: +2.9
    • 2WQA: +3.0
    • MuSiQue: +1.9
  • 消融实验也说明:
    • 去掉 inter-context triples 或 intra-context triples 都会掉点;
    • 去掉 REM 或 GNN 也会明显下降;
    • 比如 MuSiQue 上 w/o GNN 会从 31.8 掉到 28.0。

我的理解

  • 这篇论文最值得记住的一点,是它把“图”放在了 reader augmentation 位置,而不是 corpus indexing 位置。
  • 因此它和很多 GraphRAG 论文不完全同类:
    • 它不提前构建全局知识图;
    • 也不强调图索引替代文本检索;
    • 它是在检索之后,动态把候选 evidence 组织成一个更利于 reader 推理的结构。
  • 从知识库组织角度看,REANO 更接近“局部图增强 reader”,是 GraphRAG 思路向经典 ODQA reader 的一个嫁接版本。

局限

  • 依赖上游 retriever 先把关键 passages 找出来,如果首轮检索漏掉证据,后面的图再好也补不回来;
  • 图是对当前问题局部生成的,不是可复用的全局知识索引;
  • KG generator 本身可能引入错误关系;
  • 论文主要验证的是基于 T5 / FiD 的 encoder-decoder reader,对其他 reader 架构的泛化还没有系统验证;
  • 实验里使用 frozen retriever,没有研究 retriever 与 REANO 的联合优化。

相关主题