原标题: On the Theoretical Limitations of Embedding-Based Retrieval
作者: Orion Weller¹'², Michael Boratko¹, Iftekhar Naim¹, Jinhyuk Lee¹
机构: ¹Google DeepMind, ²Johns Hopkins University
来源: https://arxiv.org/abs/2508.21038 (ICLR 2026)
摘要
向量嵌入多年来被赋予了越来越多的检索任务,最近在推理、指令遵循、编码等方面的应用也在兴起。这些新基准要求嵌入能够处理任何查询和任何可能给出的相关性概念。虽然先前的工作已经指出了向量嵌入的理论局限性,但普遍假设这些困难仅源于不现实的查询,而那些现实的查询可以通过更好的训练数据和更大的模型来克服。
在本研究中,我们证明即使在极其简单的查询的现实场景中,也可能遇到这些理论局限性。我们连接了学习理论中的已知结果,表明能够作为某个查询结果返回的文档top-k子集的数量受到嵌入维度的限制。我们通过实验表明,即使直接在测试集上使用自由参数化嵌入进行优化,这一结论仍然成立。
然后,我们基于这些理论结果创建了一个名为LIMIT的现实数据集,用于压力测试嵌入模型。我们观察到,尽管任务本质简单,但即使是最先进的模型也在该数据集上失败。我们的工作展示了现有单向量范式下嵌入模型的局限性,并呼吁未来的研究开发能够解决这一根本限制的新技术。
1. 引言
在过去二十年中,信息检索(IR)已经从以稀疏技术为主(如BM25)转向使用神经语言模型(LM)作为骨干的模型。这些神经模型主要以单向量方式使用,即输出代表整个输入的单个嵌入(也称为密集检索, dense retrieval)。这些嵌入模型能够泛化到新的检索数据集,并被赋予解决日益复杂的检索问题的任务。
近年来,随着指令遵循检索基准的兴起,这一趋势被进一步推进,模型被要求为任何查询表示任何相关性定义。例如,QUEST数据集使用逻辑运算符组合不同概念,研究复杂查询的检索难度(例如"Moths or Insects or Arthropods of Guadeloupe")。另一方面,BRIGHT等数据集通过定义需要推理的相关性方式来探索不同相关性定义带来的挑战。
我们的工作旨在在更基础的层面上理解这些局限性是什么。由于嵌入模型在几何空间中使用向量表示,存在经过充分研究的数学研究领域可用于分析这些表示。
主要贡献
我们的工作连接了线性代数中的已知理论结果与现代神经信息检索的进展。我们利用高维几何研究为表示给定相关文档和查询组合所需的嵌入维度提供了下界。具体来说,我们表明对于给定的嵌入维度d,存在无法返回的文档top-k组合——无论查询是什么,这突显了嵌入模型的理论和根本限制。
我们的贡献包括:
-
嵌入模型根本局限性的理论基础
-
最佳情况实证分析,表明该证明对任何数据集实例化都成立(通过自由嵌入优化)
-
一个简单的真实自然语言实例化LIMIT,即使最先进的嵌入模型也无法解决
2. 相关工作
2.1 神经嵌入模型
近年来嵌入模型取得了巨大进展,从简单的网页搜索(纯文本)发展到高级的指令遵循和多模态表示。这些模型通常遵循语言模型的进展,如预训练LM、多模态LM和指令遵循的进展。
检索领域的一些突出例子包括:
我们的工作虽然为简单起见仅关注文本表示,但适用于任何领域数据集的所有单向量嵌入模态。
2.2 推动密集检索极限的实证任务
检索模型已被推向超出其初始用例,以处理广泛的领域。这推动了嵌入模型的焦点从基本关键词匹配转向能够表示语言完整语义含义的嵌入。因此,将以前不相关的文档连接到top-k相关集合中比以往任何时候都更常见,这增加了模型必须能够表示的组合数量。
2.3 几何空间中向量的理论极限
在语义空间中理解和寻找最近邻在数学研究中有着悠久的历史。order-k版本的Voronoi图(即基于最近k个点将空间划分为区域的Voronoi图)与信息检索明显相关,并已研究多年。
我们从不同角度处理这个问题,询问的不是给定配置实现了多少k子集,而是实现所有k子集并保证得分边界需要什么嵌入维度。通过应用经典的球体填充体积论证,我们获得了嵌入维度关于n、k和边界γ的下界。
3. 向量嵌入的表示能力
在本节中,我们正式定义满足给定检索目标所需的最小嵌入维度,并利用高维几何中的经典球体填充结果建立下界。
设置
设 v₁, ..., vₙ ∈ ℝᵈ 为单位文档向量,查询为单位向量 u ∈ ℝᵈ。固定 γ > 0。如果存在单位查询 uₛ 使得以下条件成立,则k子集 S ⊆ [n] 以边界γ实现:
min⟨uₛ, vᵢ⟩ ≥ max⟨uₛ, vⱼ⟩ + 2γ
i∈S j∉S
定理1(维度下界)
假设 1 ≤ k < n,并且每个k子集 S ⊆ [n] 都以边界γ实现。那么:
(n) ( 1)ᵈ
(k) ≤ (1 + ─)
γ
因此: d ≥ log(n/k) / log(1 + 1/γ)
3.0.1 影响
数值实例化: 使用 γ = 0.1(得分差距 2γ = 0.2),这对于基于经验使用的模型来说是近似标准的。
| 语料库大小n |
k=2 |
k=10 |
k=100 |
k=1000 |
| 10² |
4 |
13 |
trivial |
— |
| 10³ |
6 |
23 |
135 |
trivial |
| 10⁴ |
8 |
33 |
233 |
1354 |
| 10⁵ |
10 |
42 |
329 |
2334 |
| 10⁶ |
12 |
52 |
425 |
3296 |
| 10⁷ |
14 |
61 |
521 |
4257 |
| 10⁸ |
16 |
71 |
617 |
5217 |
后果: 由于空间和速度要求,用于网络规模搜索的大多数嵌入被量化或截断到少于1k维,而研究中使用的最大嵌入约为4096维。我们看到,即使使用适度的边界(处理噪声数据或量化所需),表中的下界也可能已经大于实践中使用的维度。
真实世界模型的额外约束(如需要泛化、从梯度下降学习以及使用自然语言和分词)将使实践中所需的维度更高。
4. 实证连接:最佳情况优化
在建立了基于嵌入维度d的嵌入模型理论限制后,我们寻求从实证角度证明这一点成立。
为了展示最强的优化情况,我们设计了向量本身可以通过梯度下降直接优化的实验。我们称之为"自由嵌入"优化,因为嵌入可以自由优化而不受自然语言约束。
实验设置
我们创建一个随机文档矩阵(大小n)和一个具有top-k集合的随机查询矩阵(所有组合,即大小m = C(n,k)),两者都使用单位向量。然后我们直接优化以使用Adam优化器解决约束。每次梯度更新都是对所有正确三元组的完整遍历(即完整数据集批量大小),使用InfoNCE损失函数,所有其他文档作为批内负样本。
我们使用 k=2 并为每个d值逐个增加n,直到优化无法再解决问题(即达到100%准确率)。我们称之为临界n点。
结果
结果显示曲线拟合3次多项式曲线,公式为:
y = -10.5322 + 4.0309d + 0.0520d² + 0.0037d³ (r²=0.999)
外推该曲线给出临界n值(对于嵌入大小):
-
512维: 500k文档
-
768维: 1.7m文档
-
1024维: 4m文档
-
3072维: 107m文档
-
4096维: 250m文档
这些数字已经表明,对于网络规模搜索,即使是具有理想测试集优化的最大嵌入维度也不足以建模所有组合。
5. 实证连接:真实世界数据集
5.1 与现有数据集的连接
现有检索数据集通常使用有限数量查询的静态评估集。例如,QUEST数据集有325k文档和每个查询20个相关文档,总共3357个查询。可以返回的唯一top-20文档集的数量将是C(325k, 20) = 7.1×10⁹¹(大于可观测宇宙中原子的估计数10⁸²)。因此,QUEST中的3k查询只能覆盖qrel组合空间的无限小部分。
5.2 LIMIT数据集
数据集构建: 为了拥有该数据集的自然语言版本,我们需要某种方式将文档组合映射到可以通过查询检索的内容。一种简单的方法是创建一个具有查询和文档潜在变量的合成版本,然后用自然语言实例化它。
对于这种映射,我们选择使用某人可能喜欢的属性(即"Jon喜欢夏威夷披萨、跑车等")。我们通过提示Gemini 2.5 Pro收集一个人可能喜欢的属性列表,最终清理到1850个项目。
我们选择使用50k文档以拥有一个困难但相对较小的语料库,1000个查询以保持统计显著性同时仍然快速评估。对于每个查询,我们选择使用两个相关文档(即k=2)。
模型: 我们评估最先进的嵌入模型,包括:
我们还评估三个非单向量模型以显示区别:
-
BM25
-
gte-ModernColBERT
-
token-wise TF-IDF
结果
结果令人惊讶——尽管任务极其简单,模型仍然严重挣扎。例如:
-
在完整设置中,模型难以达到20% recall@100
-
在46文档版本中,模型即使在recall@20时也无法解决任务
我们看到模型性能关键取决于嵌入维度(更大维度性能更好)。有趣的是,使用更多样化指令训练的模型(如Promptriever)表现更好,可能是因为它们的训练允许它们使用更多的嵌入空间。
对于替代架构:
这是领域偏移吗? 我们测试了在训练集上训练是否会显著改善性能。结果显示在训练集上训练的模型无法解决问题,尽管从接近零recall@10略有改善到最多2.8 recall@10。缺乏性能提升表明糟糕的性能不是由于领域偏移。
非词汇匹配怎么办? 我们创建了LIMIT-small的一个版本,用同义词替换语料库中的所有项目。我们发现所有模型的性能都下降,但BM25下降最多(超过89%),现在表现不如神经模型。因此,虽然词汇模型具有更高维度等优势,但它们受到仅关键词匹配能力的限制。
5.3 嵌入模型的替代方案
我们的结果在理论和实证上都表明,嵌入模型无法表示其top-k集合中文档的所有组合。
交叉编码器(Cross-Encoders): 我们评估长上下文重排器Gemini-2.5-Pro。我们发现它可以成功解决(100%)所有1000个查询,而最佳嵌入模型的recall@2不到60%。
多向量模型: 通过使用每个序列的多个向量结合MaxSim运算符,这些模型更具表现力。这些模型在LIMIT数据集上显示出希望,得分远高于单向量模型。
稀疏模型: 稀疏模型(词汇和神经)可以被认为是单向量但具有非常高的维度。这种维度帮助BM25避免神经嵌入模型的问题。然而,如何将稀疏模型应用于没有词汇甚至类似释义重叠的指令遵循和基于推理的任务尚不清楚。
6. 结论
我们介绍了LIMIT数据集,它突出了嵌入模型的根本限制。我们提供了理论连接,表明对于固定的嵌入维度,将存在某些文档集合,使得某些集合无法作为top-k集合获得。我们通过向量本身的最佳情况优化从实证上证明这些理论结果成立,并通过创建这些模型无法解决的现实且简单的理论实例化(称为LIMIT)与现有最先进模型建立实际连接。
我们的结果表明,社区应该重新考虑基于指令的检索将如何影响未来的检索器。
局限性
虽然我们的实验为最常见类型的嵌入模型(单向量)提供了理论见解,但它们不一定适用于其他架构,如多向量模型。我们将理论连接扩展到这些设置留给未来的工作。
我们已经展示了证明某些组合无法由嵌入模型表示的理论连接,但是我们无法先验地证明它们将在哪些类型的组合上失败。因此,可能存在一些指令遵循或推理任务它们可以完美解决,但是我们确实知道存在一些它们永远无法解决的任务。
代码和数据: https://github.com/google-deepmind/limit