GGraphRAG 文献图谱自动同步
LIT-688DE103 · 年份待核验

Generative Dense Retrieval: Memory Can Be a Burden

GDR 不让生成式模型强行记住并唯一定位每篇文档,而是只生成相关**文档簇**;随后用无需参数记忆的稠密检索在簇内完成细粒度文档匹配,从而兼得生成式深度交互与稠密检索的可扩展性。

摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

当前来源未提供可可靠提取的研究问题与动机,请回到原始笔记或一手论文补充。

方法与机制

当前来源未提供可可靠提取的方法与机制,请回到原始笔记或一手论文补充。

证据与结果

当前来源未提供可可靠提取的实验、结果与证据,请回到原始笔记或一手论文补充。

局限与开放问题

  • 若簇级生成阶段漏掉包含目标文档的簇,后续 dense retriever 无法恢复该错误。
  • 聚类质量、簇规模和簇标识符设计会共同影响召回、延迟与更新成本。

关联与拓展

暂无可可靠提取的关联研究段落;先从研究问题索引横向比较。

研究问题入口

Q1 领域边界与适用性, Q3 证据检索与集合形成, Q5 动态状态与学习策略, Q6 证据来源与可解释性, Q8 效率与部署

展开原始论文笔记全文

基本信息

  • 作者: Peiwen Yuan, Xinglin Wang, Shaoxiong Feng, Boyuan Pan, Yiwei Li, Heda Wang, Xupeng Miao, Kan Li
  • 发表: EACL 2024 Long Papers, pp. 2835-2845
  • 任务与数据: 文档检索;Natural Questions(NQ)
  • 关联主题: 生成式检索、稠密检索、分簇、粗到细检索

一句话理解

GDR 不让生成式模型强行记住并唯一定位每篇文档,而是只生成相关文档簇;随后用无需参数记忆的稠密检索在簇内完成细粒度文档匹配,从而兼得生成式深度交互与稠密检索的可扩展性。

生成式检索的记忆问题

传统 GR 通过参数记忆语料,并生成文档标识符。论文指出该机制在大语料下存在三类问题:

  1. 对文档细粒度特征的记忆不准确;
  2. 语料越大,文档间记忆混淆越严重;
  3. 新文档到来时更新参数的成本很高。

方法:粗到细的 GDR

第一步:生成式簇级匹配

将文档聚为若干簇,模型仅记忆簇标识符。给定查询 q,生成器预测相关簇:

q -> p(id(cluster) | q) -> top-k clusters

簇标识符构造策略用于让簇级语料记忆更容易学习。

第二步:稠密簇内匹配

对进入候选簇的文档,使用 dense retriever 做不依赖参数记忆的细粒度匹配:

q + candidate documents -> dense similarity -> ranked documents

训练中再使用 cluster-adaptive negative sampling,增强从候选簇映射到正确文档的区分能力。

结果与意义

  • 在 NQ 的多种设置下,GDR 平均提高 3.0 R@100,并表现出更好的可扩展性。
  • 核心设计不是简单串联两种检索器,而是把不同粒度交给不同机制:GR 负责低容量、较强交互的簇级路由,DR 负责高容量、可扩展的文档级判别。
  • 该方法是对 Generative-Retrieval-Scale-to-Millions 所指出“全语料参数化记忆难扩展”问题的直接工程回应。

局限

  • 若簇级生成阶段漏掉包含目标文档的簇,后续 dense retriever 无法恢复该错误。
  • 聚类质量、簇规模和簇标识符设计会共同影响召回、延迟与更新成本。

相关笔记

来源

  • ACL Anthology: https://aclanthology.org/2024.eacl-long.173/
  • PDF: https://aclanthology.org/2024.eacl-long.173.pdf