研究问题与动机
- 长上下文 QA 常见做法是按固定 token 长度切块,再做选择或压缩。
- 这会产生两个直接问题:
- 语义切碎: chunk 边界落在句中或语义单元内部,导致关键信息被拆散。
- 问题对齐不足: 即使切出了 chunks,后续选择也未必知道哪个 chunk 对当前问题最关键。
- 在多跳 QA 中,这两个问题会叠加:
- 证据本来就分散;
- 一旦边界切错,后续检索/筛选更容易漏掉桥接信息。
方法与机制
1. Dynamic Chunking:先按语义找边界,而不是按 token 长度硬切
- 先把上下文按标点切成句子序列。
- 为了避免单句脱离上下文后语义过弱,作者不是直接编码单句,而是把每个句子与相邻句子拼接后再编码:
- 首句用
s0 + s1 - 中间句用
s(i-1) + s(i) + s(i+1) - 末句用
s(n-2) + s(n-1)
- 首句用
- 使用 Sentence-BERT 对这些局部增强句子编码,然后计算相邻句向量的 cosine similarity。
- 将
1 - similarity视为语义不连续度,挑选较大的 dissimilarity 位置作为候选边界。 - 论文通过百分位阈值
alpha选择边界:- Llama-3 / Mistral 取
alpha = 60 - Vicuna 取
alpha = 65
- Llama-3 / Mistral 取
- 初始边界得到后,作者又做了一步 length-constrained merging:
- 如果某些切出来的段太短或过碎,就继续合并;
- 目标是让最终 chunk 长度尽量接近预设
l,且不超过它; - 实验里最佳目标长度是
l = 512。
这一步的本质是:边界由语义决定,但最终 chunk 大小仍受长度约束调节。因此它不是完全自由的可变长切分,而是“语义优先、长度收敛”的折中方案。
2. Question-Aware Selection:再用问题感知分类器挑 chunk
- 动态切块后,并不是把全部 chunks 都送进 LLM,而是对每个
chunk + question对做二分类:- 这个 chunk 是否足以支持回答该问题?
- 分类器的输入不是简单的 embedding 相似度,而是从 backbone LLM 中抽出的结构化特征:
- 最后一层 hidden states 的边界 token 表示;
- 问题部分与上下文部分的 pooled representations;
- multi-head attention 中
Q->C和Q->Q的平均注意力统计。
- 最终把这些特征拼成一个
6 x d的特征张量,送入 3-layer MLP 做二分类。 - 训练数据来自较短 QA 数据集中的正负样本构造:
- 正样本是真实
context-question - 负样本是语义不匹配的采样对
- 论文主要用 AdversarialQA 训练,也额外验证了 CoQA / SQuAD 训练时的稳定性。
- 正样本是真实
这意味着作者不是用一个“语义近邻打分器”来选块,而是训练了一个更接近“answerability judge”的模块。
3. 推理流程
- 输入被整理为
[initial information, compressed context, question]。 - 分类器对每个 chunk 产出相关性分数后,按目标上下文长度动态确定保留比例。
- 被选中的 chunks 按原顺序拼回去,再喂给基础 LLM 作答。
- 因为保留了原始顺序,方法不会像某些检索式压缩那样破坏叙事结构。
证据与结果
- 基础模型: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.1, Vicuna-7B
- 评测范围: 12 个长上下文阅读理解数据集,覆盖 single-hop 和 multi-hop QA
- 比较基线: StreamingLLM, LM-Infinite, InfLLM, MoICE
- 在 Llama-3-8B 上,Table 1 的平均结果为:
- single-hop: 从最佳基线
27.6提升到35.50 - multi-hop: 从最佳基线
24.22提升到29.07
- single-hop: 从最佳基线
- 作者还在更长版本的数据上测试了
16k -> 256k的输入长度,DCS 的性能曲线整体更稳。 - 超参数实验显示:
l = 512整体最优alpha = 60对 Llama3/Mistral 最好
- 消融实验有两个关键信号:
- Dynamic chunking 优于 fixed chunking
- Question-aware classifier 优于 cosine similarity selection
- 论文还给出延迟分析:
- 原始全局注意力近似
O(n^2) - 其 chunking 处理代价近似
O(nl) - 因为
l << n,所以整体在长输入下更可控。
- 原始全局注意力近似
局限与开放问题
- 方法额外引入了 Sentence-BERT + 分类器训练,虽然远轻于重新训练长上下文模型,但并非零成本。
- 论文的主要结论建立在 QA 场景上,对摘要、代码理解、agent memory 等其他长上下文任务是否同样成立,还没有充分验证。
- 分类器训练依赖正负样本构造;如果换任务或换语料域,answerability classifier 的迁移性可能成为瓶颈。
- 该方法更适合“上下文内筛选”,不等同于完整的开放域检索系统;直接把它外推为通用 RAG 最优 chunking 方案,会有过度解释的风险。
关联与拓展
- 检索技术 MOC - 检索技术研究全景图
- Rethinking-Chunk-Size-for-Long-Document-Retrieval - 固定分块的经验分析
- Contextual-Chunk-Embeddings-Late-Chunking - Late chunking
- MICE---Minimal-Interaction-Cross-Encoders - 用轻量结构做更精细的相关性判断