研究问题与动机
- multi-round RAG 的问题是:
- 每一轮都要把较长 chunk 送进 LLM;
- 需要 3-6 次甚至更多 LLM 调用;
- 中间 reasoning state 往往是冗长自然语言,token 成本高。
- GraphRAG 的问题是:
- 离线建图昂贵;
- 实体歧义和错误连边会污染索引;
- 高度节点还容易带来 retrieval redundancy;
- LLM 对图结构本身未必容易理解。
- 作者认为,很多复杂 factoid QA 真正需要的,不是更大的上下文,也不一定是完整图结构,而是一个更紧凑、更可搜索的中间知识状态。
方法与机制
1. Offline Indexing:先构造 graph-free 的 triplet/proposition 知识库
- 对每个 chunk,先用信息抽取模型做 OpenIE,抽出 canonical triplets:
(subject, predicate, object)
- 然后把每个 triplet verbalize 成 proposition:
- 例如直接拼成自然语言短句
subject predicate object
- 例如直接拼成自然语言短句
- 这样做的原因是:
- triplet 本身是原子事实;
- proposition 形式更适合 dense embedding 检索。
- 所有 propositions 被编码进向量库,同时保留:
- proposition -> source chunk 的映射
- 原始 chunk 文本
- 因此 T²RAG 不建显式 knowledge graph,而是维护一个 Triplet Vector DB。
2. Structured Query Decomposition:把问题分解成三类 triplets
给定问题后,LLM 不直接写 CoT,而是先把问题分解成一组 triplets。根据占位符 ? 的数量,作者把它们分成三类:
- Resolved Triplets
- 没有占位符,代表已经确定的事实
- Searchable Triplets
- 恰好只有一个占位符,最适合拿去检索
- Fuzzy Triplets
- 有两个及以上占位符,当前过于模糊,不能直接检索
这里最关键的是 searchable triplet 这个状态设计。它让每一轮检索都围绕“只差一个槽位”的局部事实展开,而不是围绕整段自然语言推理展开。
3. Multi-Round Triplet Resolution:检索和补全交替进行
Step 2.1:Triplet-Based Adaptive Retrieval
- 每一轮把当前 searchable triplets 转成 query propositions 去检索 Triplet Vector DB。
- 检索不是固定 top-k proposition,而是两个层面的 adaptive:
- 按 unique source chunks 约束
- 检索会持续,直到覆盖到
k个不同 source chunks
- 检索会持续,直到覆盖到
- 跨 triplets 全局聚合候选
- 所有 searchable triplets 的候选 proposition 会统一排序,而不是每个 triplet 分配独立 budget
- 按 unique source chunks 约束
- 这一点和普通 multi-query retrieve 很不一样:它是按“全局最有用的 proposition pool”来选。
Step 2.2:Resolve with Retrieved Context
- 检索得到的 propositions 和它们对应的原始 chunks 一起送给 LLM。
- LLM 的任务不是直接回答最终问题,而是:
- 为 searchable triplets 填上那个缺失槽位;
- 或把 fuzzy triplets 先升级成 searchable / resolved triplets。
- 原始 chunk 仍然保留,是因为 triplet 虽然紧凑,但有时缺局部细节,raw chunk 可以补足。
Step 2.3:State Update + Ending Condition
- 每轮更新三个集合:
- 新 solved 的加入
resolved - 新生成的 searchable 进入下一轮
- 仍模糊的 fuzzy triplets 保留
- 新 solved 的加入
- 只要还有 unresolved triplets,就继续迭代。
- 结束条件有两个:
- 没有 searchable / fuzzy triplets 了
- 达到最大迭代次数
N
- 实验里作者把
N = 3。
4. Final Answering:最后基于 solved triplets 作答
- 当迭代结束后,系统把所有 solved triplets 汇总起来做最后回答。
- 如果是因为达到最大轮数而提前结束,则把 remaining searchable triplets 一并给 final answerer。
- 这一步的一个重要优点是:
- 最终输入主要是结构化、已验证的 facts;
- 而不是大量原始 retrieved chunks;
- 因而 token 成本更低,也更不容易 hallucinate。
证据与结果
1. 评测设置
- 数据集覆盖 3 类 ODQA:
- Simple QA: PopQA
- Multi-hop QA: 2Wiki, MuSiQue, HotpotQA
- Domain-specific QA: Story, Medical
- 对比方法包括:
- 非检索
NOR - BM25
- Standard RAG
- HippoRAG2
- RAPTOR
- IRCoT
- 非检索
- 两个主力 LLM backbone:
- Gemini-2.5-flash
- GPT-4o-mini
2. 主结果
- 论文报告的总体结论是:
- 在 6 个数据集上平均性能提升最高约 11%
- 检索成本降低最高约 45%
- Gemini-2.5-flash 下,T²RAG 的平均结果为:
Average EM = 51.7Average F1 = 63.9
- GPT-4o-mini 下,T²RAG 的平均结果为:
Average EM = 47.2Average F1 = 60.2
更具体地看,T²RAG 在 Gemini 下的 6 个数据集结果分别是:
- PopQA:
56.6 / 62.4 - 2Wiki:
69.3 / 77.5 - MuSiQue:
39.1 / 49.1 - HotpotQA:
62.3 / 73.2 - Story:
46.7 / 59.5 - Medical:
36.0 / 61.4
在 GPT-4o-mini 下分别是:
- PopQA:
55.8 / 63.2 - 2Wiki:
66.7 / 74.4 - MuSiQue:
34.3 / 45.6 - HotpotQA:
54.2 / 67.3 - Story:
38.7 / 50.1 - Medical:
33.5 / 60.4
其中最能体现方法价值的是 2Wiki:
- Gemini 下,T²RAG 比 IRCoT 高出约
7.7%的 EM - GPT 下,也高出约
5.4%的 EM
3. Triplet resolution 是成败关键
- 作者按“最终 triplets 是否 fully resolved”来分析效果:
- resolved queries 的表现远高于 unresolved queries
- 在 2Wiki 上,未完全解决时 F1 大约从
76%降到53%
- 这说明 T²RAG 的本质不是简单多轮检索,而是:
- 能否把问题压缩成可逐步补全的 triplet state
- 并最终把这些 triplets 全部解开
4. 消融
- 去掉 iterative process,退化为 single round 后性能大幅下降:
- PopQA:
56.0/63.0 -> 54.8/60.5 - 2Wiki:
66.0/74.0 -> 51.0/59.0 - MuSiQue:
33.0/45.0 -> 15.0/24.0
- PopQA:
- 去掉 raw chunks,仅靠 triplets 也明显变差:
- PopQA:
41.1/44.7 - 2Wiki:
62.0/68.0 - MuSiQue:
21.6/29.9
- PopQA:
- 这两点共同说明:
- triplet state 很重要;
- 但 raw chunk 依然是关键补充,因为 triplet 不能携带所有细节。
5. 效率
- T²RAG 的离线 indexing 成本高于纯 chunk RAG,因为要先抽 triplets;
- 但相比 GraphRAG,它避免了更重的图构建与图后处理。
- 在在线 retrieval 阶段,它明显比 IRCoT 更省:
- token 消耗在某些数据集上降低 45% 以上
- 时间和 token 开销甚至接近 single-round 方法
- 在 2Wiki 上的平均检索轮数也低于 IRCoT:
k=2时,T²RAG 为1.54轮- IRCoT 为
1.85轮
局限与开放问题
- 高度依赖 OpenIE / triplet extraction 与后续 triplet resolution 的质量。
- 如果知识本身不容易压缩成高质量 triplets,或者事实边界很模糊,方法优势会减弱。
- 虽然避免了建图成本,但前提是已经构建好了 proposition / triplet index;在离线抽取阶段仍有额外开销。
- 当前实验聚焦于 factoid QA;对开放式长答案生成、复杂摘要、非事实型任务是否同样占优,还需要更多证据。
- 实验中 multi-round 方法被限制为
N=3,这有利于公平比较效率,但也意味着更长链条任务下的上限尚未完全验证。
关联与拓展
- GraphRAG MOC - GraphRAG研究全景图
- LinearRAG - 轻图路线
- HippoRAG - 图传播路线
- When-to-use-Graphs-in-RAG - 图结构是否必要的判断框架
- Rethinking-Chunk-Size-for-Long-Document-Retrieval - 从 chunk 粒度反思检索单元设计