GGraphRAG 文献图谱自动同步
LIT-3F6D5E4F · 年份待核验

How Does Generative Retrieval Scale to Millions of Passages?

这篇论文检验生成式检索能否从约十万规模语料真正扩展到百万级:它在小语料上可与强双编码器竞争,但把整个语料“记入参数”后,百万级扩展仍是未解问题,不能仅靠放大模型或堆叠已有结构改造解决。

摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

当前来源未提供可可靠提取的研究问题与动机,请回到原始笔记或一手论文补充。

方法与机制

当前来源未提供可可靠提取的方法与机制,请回到原始笔记或一手论文补充。

证据与结果

当前来源未提供可可靠提取的实验、结果与证据,请回到原始笔记或一手论文补充。

局限与开放问题

  • 结论聚焦 passage retrieval 与 MS MARCO;不同文档粒度、领域语料和更新频率下的边界仍需单独验证。
  • 论文定位并量化了扩展难题,但未提供使端到端 GenIR 在百万级完全替代外部索引的通用方案。

关联与拓展

暂无可可靠提取的关联研究段落;先从研究问题索引横向比较。

研究问题入口

Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署

展开原始论文笔记全文

基本信息

  • 作者: Ronak Pradeep, Kai Hui, Jai Gupta, Adam D. Lelkes, Honglei Zhuang, Jimmy Lin, Donald Metzler, Vinh Q. Tran
  • 发表: arXiv, 2023
  • 任务与数据: passage retrieval;MS MARCO passage ranking,最多 880 万 passages
  • 关联主题: 生成式检索、规模扩展、合成查询、计算成本

一句话理解

这篇论文检验生成式检索能否从约十万规模语料真正扩展到百万级:它在小语料上可与强双编码器竞争,但把整个语料“记入参数”后,百万级扩展仍是未解问题,不能仅靠放大模型或堆叠已有结构改造解决。

研究设置

生成式检索将文档集合编码在 Transformer 参数中,查询 q 输入后自回归生成目标 passage 的标识符:

q -> p(id(d) | q) -> id(d) -> d

作者系统改变两类规模:语料规模,以及模型规模(最大 11B 参数),并在 MS MARCO 8.8M passage 任务上比较不同 GenIR 索引和检索设计的效果与计算成本。

核心发现

  1. 合成查询是关键索引表示:为 passage 生成查询式表述,比直接记忆原始 passage 更有利于生成式检索的扩展。
  2. 既有架构改造的收益不足以覆盖计算成本:在控制计算开销后,一些为 GenIR 提出的结构变化没有稳定优势。
  3. 放大参数并非直接解法:模型规模增加不能线性转化为检索性能提升。
  4. 规模边界清晰:GenIR 在小语料上可与 SOTA dual encoder 竞争,但扩展至数百万 passage 仍存在显著效果、训练和推理成本挑战。

对当前 GenIR 脉络的意义

局限

  • 结论聚焦 passage retrieval 与 MS MARCO;不同文档粒度、领域语料和更新频率下的边界仍需单独验证。
  • 论文定位并量化了扩展难题,但未提供使端到端 GenIR 在百万级完全替代外部索引的通用方案。

来源

  • arXiv: https://arxiv.org/abs/2305.11841
  • PDF: https://arxiv.org/pdf/2305.11841