基本信息
- 作者: Peiwen Yuan, Xinglin Wang, Shaoxiong Feng, Boyuan Pan, Yiwei Li, Heda Wang, Xupeng Miao, Kan Li
- 发表: EACL 2024 Long Papers, pp. 2835-2845
- 任务与数据: 文档检索;Natural Questions(NQ)
- 关联主题: 生成式检索、稠密检索、分簇、粗到细检索
一句话理解
GDR 不让生成式模型强行记住并唯一定位每篇文档,而是只生成相关文档簇;随后用无需参数记忆的稠密检索在簇内完成细粒度文档匹配,从而兼得生成式深度交互与稠密检索的可扩展性。
生成式检索的记忆问题
传统 GR 通过参数记忆语料,并生成文档标识符。论文指出该机制在大语料下存在三类问题:
- 对文档细粒度特征的记忆不准确;
- 语料越大,文档间记忆混淆越严重;
- 新文档到来时更新参数的成本很高。
方法:粗到细的 GDR
第一步:生成式簇级匹配
将文档聚为若干簇,模型仅记忆簇标识符。给定查询 q,生成器预测相关簇:
q -> p(id(cluster) | q) -> top-k clusters
簇标识符构造策略用于让簇级语料记忆更容易学习。
第二步:稠密簇内匹配
对进入候选簇的文档,使用 dense retriever 做不依赖参数记忆的细粒度匹配:
q + candidate documents -> dense similarity -> ranked documents
训练中再使用 cluster-adaptive negative sampling,增强从候选簇映射到正确文档的区分能力。
结果与意义
局限
- 若簇级生成阶段漏掉包含目标文档的簇,后续 dense retriever 无法恢复该错误。
- 聚类质量、簇规模和簇标识符设计会共同影响召回、延迟与更新成本。
相关笔记
来源
- ACL Anthology: https://aclanthology.org/2024.eacl-long.173/
- PDF: https://aclanthology.org/2024.eacl-long.173.pdf