LIT-456F933B · 年份待核验
REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
REANO 不是做“整个语料库上的 GraphRAG”,而是在 **retriever 之后、reader 之前**,从已检索到的 passages 里动态生成一个局部知识图,用它增强 FiD 这类 reader 的多跳理解能力。
摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- Fusion-in-Decoder(FiD)这类 reader 会分别编码每篇 passage,因此很难显式建模 passage 与 passage 之间的语义依赖;
- 以往 KG-enhanced reader 往往依赖已有外部 KG,但真实问答时常缺失关键事实,图不完整;
- 多跳 ODQA 问题需要的不只是“检到相关段落”,还要把跨段落的实体关系串起来。
方法与机制
- KG Generator:
- 直接从检索到的 passages 生成知识图,而不是只查外部 KG;
- 生成的三元组既包含 passage 内部关系,也包含 passage 之间的跨上下文关系。
- Answer Predictor:
- 以 FiD 为基础,但额外使用 GNN 在生成的 KG 上做相关三元组选择;
- 最终把最相关的 top-K triples 按相关性排序后拼接给 reader。
- REM(Relation Embedding Module):
- 因为生成器预测出来的关系标签可能有误差,REM 用实体上下文去修正 relation embedding。
- GNN Triple Selection:
- 在图上传播实体与关系信息,找出最适合当前问题的 triples;
- 论文默认选择的 triple 数量为
K=10。
- 训练上采用两阶段思路:
- 先训练 KG generator;
- 再训练带 GNN 的 answer predictor。
证据与结果
- 论文在 5 个开放域问答数据集上评测:
- NQ
- TriviaQA
- EntityQuestions
- 2WikiMultiHopQA
- MuSiQue
- Table 1 中,REANO 的 EM 为:
- NQ: 50.4
- TQA: 69.1
- EQ: 71.0
- 2WQA: 77.1
- MuSiQue: 31.8
- 相比每个数据集上的次优方法,提升分别达到:
- +0.8 / +1.7 / +2.7 / +2.5 / +1.4
- 论文总结其平均提升为 1.8%;
- 如果直接和 FiD 比,REANO 在需要更多跨段整合的任务上提升更明显:
- EQ: +2.9
- 2WQA: +3.0
- MuSiQue: +1.9
- 消融实验也说明:
- 去掉 inter-context triples 或 intra-context triples 都会掉点;
- 去掉 REM 或 GNN 也会明显下降;
- 比如 MuSiQue 上
w/o GNN 会从 31.8 掉到 28.0。
局限与开放问题
- 依赖上游 retriever 先把关键 passages 找出来,如果首轮检索漏掉证据,后面的图再好也补不回来;
- 图是对当前问题局部生成的,不是可复用的全局知识索引;
- KG generator 本身可能引入错误关系;
- 论文主要验证的是基于 T5 / FiD 的 encoder-decoder reader,对其他 reader 架构的泛化还没有系统验证;
- 实验里使用 frozen retriever,没有研究 retriever 与 REANO 的联合优化。
展开原始论文笔记全文
基本信息
- 作者: Jinyuan Fang, Zaiqiao Meng, Craig Macdonald
- 机构: University of Glasgow
- 发表: ACL 2024
一句话理解
REANO 不是做“整个语料库上的 GraphRAG”,而是在 retriever 之后、reader 之前,从已检索到的 passages 里动态生成一个局部知识图,用它增强 FiD 这类 reader 的多跳理解能力。
核心问题
- Fusion-in-Decoder(FiD)这类 reader 会分别编码每篇 passage,因此很难显式建模 passage 与 passage 之间的语义依赖;
- 以往 KG-enhanced reader 往往依赖已有外部 KG,但真实问答时常缺失关键事实,图不完整;
- 多跳 ODQA 问题需要的不只是“检到相关段落”,还要把跨段落的实体关系串起来。
方法概述
- KG Generator:
- 直接从检索到的 passages 生成知识图,而不是只查外部 KG;
- 生成的三元组既包含 passage 内部关系,也包含 passage 之间的跨上下文关系。
- Answer Predictor:
- 以 FiD 为基础,但额外使用 GNN 在生成的 KG 上做相关三元组选择;
- 最终把最相关的 top-K triples 按相关性排序后拼接给 reader。
- REM(Relation Embedding Module):
- 因为生成器预测出来的关系标签可能有误差,REM 用实体上下文去修正 relation embedding。
- GNN Triple Selection:
- 在图上传播实体与关系信息,找出最适合当前问题的 triples;
- 论文默认选择的 triple 数量为
K=10。
- 训练上采用两阶段思路:
- 先训练 KG generator;
- 再训练带 GNN 的 answer predictor。
主要结果
- 论文在 5 个开放域问答数据集上评测:
- NQ
- TriviaQA
- EntityQuestions
- 2WikiMultiHopQA
- MuSiQue
- Table 1 中,REANO 的 EM 为:
- NQ: 50.4
- TQA: 69.1
- EQ: 71.0
- 2WQA: 77.1
- MuSiQue: 31.8
- 相比每个数据集上的次优方法,提升分别达到:
- +0.8 / +1.7 / +2.7 / +2.5 / +1.4
- 论文总结其平均提升为 1.8%;
- 如果直接和 FiD 比,REANO 在需要更多跨段整合的任务上提升更明显:
- EQ: +2.9
- 2WQA: +3.0
- MuSiQue: +1.9
- 消融实验也说明:
- 去掉 inter-context triples 或 intra-context triples 都会掉点;
- 去掉 REM 或 GNN 也会明显下降;
- 比如 MuSiQue 上
w/o GNN 会从 31.8 掉到 28.0。
我的理解
- 这篇论文最值得记住的一点,是它把“图”放在了 reader augmentation 位置,而不是 corpus indexing 位置。
- 因此它和很多 GraphRAG 论文不完全同类:
- 它不提前构建全局知识图;
- 也不强调图索引替代文本检索;
- 它是在检索之后,动态把候选 evidence 组织成一个更利于 reader 推理的结构。
- 从知识库组织角度看,REANO 更接近“局部图增强 reader”,是 GraphRAG 思路向经典 ODQA reader 的一个嫁接版本。
局限
- 依赖上游 retriever 先把关键 passages 找出来,如果首轮检索漏掉证据,后面的图再好也补不回来;
- 图是对当前问题局部生成的,不是可复用的全局知识索引;
- KG generator 本身可能引入错误关系;
- 论文主要验证的是基于 T5 / FiD 的 encoder-decoder reader,对其他 reader 架构的泛化还没有系统验证;
- 实验里使用 frozen retriever,没有研究 retriever 与 REANO 的联合优化。
相关主题