基本信息
- 作者: Ronak Pradeep, Kai Hui, Jai Gupta, Adam D. Lelkes, Honglei Zhuang, Jimmy Lin, Donald Metzler, Vinh Q. Tran
- 发表: arXiv, 2023
- 任务与数据: passage retrieval;MS MARCO passage ranking,最多 880 万 passages
- 关联主题: 生成式检索、规模扩展、合成查询、计算成本
一句话理解
这篇论文检验生成式检索能否从约十万规模语料真正扩展到百万级:它在小语料上可与强双编码器竞争,但把整个语料“记入参数”后,百万级扩展仍是未解问题,不能仅靠放大模型或堆叠已有结构改造解决。
研究设置
生成式检索将文档集合编码在 Transformer 参数中,查询 q 输入后自回归生成目标 passage 的标识符:
q -> p(id(d) | q) -> id(d) -> d
作者系统改变两类规模:语料规模,以及模型规模(最大 11B 参数),并在 MS MARCO 8.8M passage 任务上比较不同 GenIR 索引和检索设计的效果与计算成本。
核心发现
- 合成查询是关键索引表示:为 passage 生成查询式表述,比直接记忆原始 passage 更有利于生成式检索的扩展。
- 既有架构改造的收益不足以覆盖计算成本:在控制计算开销后,一些为 GenIR 提出的结构变化没有稳定优势。
- 放大参数并非直接解法:模型规模增加不能线性转化为检索性能提升。
- 规模边界清晰:GenIR 在小语料上可与 SOTA dual encoder 竞争,但扩展至数百万 passage 仍存在显著效果、训练和推理成本挑战。
对当前 GenIR 脉络的意义
局限
- 结论聚焦 passage retrieval 与 MS MARCO;不同文档粒度、领域语料和更新频率下的边界仍需单独验证。
- 论文定位并量化了扩展难题,但未提供使端到端 GenIR 在百万级完全替代外部索引的通用方案。
来源
- arXiv: https://arxiv.org/abs/2305.11841
- PDF: https://arxiv.org/pdf/2305.11841