GGraphRAG 文献图谱自动同步
LIT-AC4601BA · 2024

RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

RAPTOR 不把检索限制在原始短 chunk,而是递归地对嵌入后的文本块聚类、摘要和再聚类,建立从细节到主题的树,在查询时同时检索不同抽象层级。

PDF 级阅读卡优先级 P0Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. ManningICLR 2024
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

传统 RAG 通常只取与问题相似的连续短片段,难以回答跨段落、跨章节和需要全局主题理解的问题。简单把长文档塞进上下文又会超出窗口或丢失局部细节。RAPTOR 的核心假设是:同一文档需要同时保留原文细节和递归压缩的中高层语义,让检索粒度匹配问题的抽象层级。

  • 查询级策略应如何在叶节点细节与高层摘要之间分配预算?
  • 递归摘要能否保留可验证的 claim-to-source provenance,而不牺牲压缩率?
  • 对全局总结、跨文档多跳和细粒度事实,树、社区图和实体传播的适用边界是什么?

方法与机制

  • 以文本 chunk 为叶节点,使用 embedding 表示并聚类;每个 cluster 由 LLM 生成摘要,摘要作为上一层节点。
  • 递归进行 embedding、聚类、摘要,直到形成根节点;默认使用 GMM 软聚类和 UMAP 降维,并以阈值控制 cluster 数。
  • 查询时可以在整棵树上做 collapsed tree retrieval,或者从不同层级选择节点;检索返回的叶节点和摘要节点共同作为上下文。
  • 构树成本随输入文档长度近似线性增长;在线 retrieval 通过摘要节点获得跨段落信息,不必每次重新总结全篇。

证据与结果

论文在 NarrativeQA、QASPER、QuALITY 上与 SBERT、BM25、DPR 等检索器进行 controlled comparison,并使用 GPT-3/GPT-4/UnifiedQA reader。

  • QASPER 上 RAPTOR + GPT-4 的 F1 Match 为 55.7,高于 DPR 53.0 和 BM25 50.2;RAPTOR + GPT-3/UnifiedQA 分别为 53.1/36.6。
  • QuALITY 上 RAPTOR + GPT-4 accuracy 为 82.6,hard subset 为 76.2;论文报告其超过此前 62.3 的最佳结果,但该对比涉及不同模型和设置,不能当作统一复现结果。
  • NarrativeQA 使用 UnifiedQA 时,RAPTOR 的 ROUGE-L/BLEU-1/BLEU-4/METEOR 为 30.8/23.5/6.4/19.1;相比同 reader 的 BM25 和 DPR,METEOR 改善明显。
  • 层级消融显示只检索叶节点或单一中间层不如使用多层树;高层摘要帮助主题问题,低层原文保留细节。树构建 token 和时间在 12,500–78,000 token 试验中近似线性。

局限与开放问题

  • 摘要节点可能压缩或改写掉精确来源,论文主要评价 QA/摘要质量,没有把每个生成 claim 链回原文。
  • 聚类和摘要质量依赖 embedding、UMAP、LLM 与提示,跨领域的最佳层数和聚类策略未统一。
  • 树索引适合长文档和层次语义,但对跨文档实体关系和需要显式路径的任务不一定优于实体图。
  • 论文的强结果来自特定 reader 与数据集,后续应与 GraphRAG、HippoRAG、WildGraphBench 在同一候选与预算下比较。

关联与拓展

研究问题入口

Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署, Q9 评测与理论

展开原始论文笔记全文

基本信息

  • arXiv:2401.18059v1。
  • 发表:ICLR 2024。
  • 证据级别:已阅读 ICLR 2024 PDF;数字为论文报告,未在本库独立复现。

一句话定位

RAPTOR 不把检索限制在原始短 chunk,而是递归地对嵌入后的文本块聚类、摘要和再聚类,建立从细节到主题的树,在查询时同时检索不同抽象层级。

研究问题与动机

传统 RAG 通常只取与问题相似的连续短片段,难以回答跨段落、跨章节和需要全局主题理解的问题。简单把长文档塞进上下文又会超出窗口或丢失局部细节。RAPTOR 的核心假设是:同一文档需要同时保留原文细节和递归压缩的中高层语义,让检索粒度匹配问题的抽象层级。

方法机制

  • 以文本 chunk 为叶节点,使用 embedding 表示并聚类;每个 cluster 由 LLM 生成摘要,摘要作为上一层节点。
  • 递归进行 embedding、聚类、摘要,直到形成根节点;默认使用 GMM 软聚类和 UMAP 降维,并以阈值控制 cluster 数。
  • 查询时可以在整棵树上做 collapsed tree retrieval,或者从不同层级选择节点;检索返回的叶节点和摘要节点共同作为上下文。
  • 构树成本随输入文档长度近似线性增长;在线 retrieval 通过摘要节点获得跨段落信息,不必每次重新总结全篇。

评测设置与主要结果

论文在 NarrativeQA、QASPER、QuALITY 上与 SBERT、BM25、DPR 等检索器进行 controlled comparison,并使用 GPT-3/GPT-4/UnifiedQA reader。

  • QASPER 上 RAPTOR + GPT-4 的 F1 Match 为 55.7,高于 DPR 53.0 和 BM25 50.2;RAPTOR + GPT-3/UnifiedQA 分别为 53.1/36.6。
  • QuALITY 上 RAPTOR + GPT-4 accuracy 为 82.6,hard subset 为 76.2;论文报告其超过此前 62.3 的最佳结果,但该对比涉及不同模型和设置,不能当作统一复现结果。
  • NarrativeQA 使用 UnifiedQA 时,RAPTOR 的 ROUGE-L/BLEU-1/BLEU-4/METEOR 为 30.8/23.5/6.4/19.1;相比同 reader 的 BM25 和 DPR,METEOR 改善明显。
  • 层级消融显示只检索叶节点或单一中间层不如使用多层树;高层摘要帮助主题问题,低层原文保留细节。树构建 token 和时间在 12,500–78,000 token 试验中近似线性。

局限与开放问题

  • 摘要节点可能压缩或改写掉精确来源,论文主要评价 QA/摘要质量,没有把每个生成 claim 链回原文。
  • 聚类和摘要质量依赖 embedding、UMAP、LLM 与提示,跨领域的最佳层数和聚类策略未统一。
  • 树索引适合长文档和层次语义,但对跨文档实体关系和需要显式路径的任务不一定优于实体图。
  • 论文的强结果来自特定 reader 与数据集,后续应与 GraphRAG、HippoRAG、WildGraphBench 在同一候选与预算下比较。

与本知识库的连接

进一步研究问题

  • 查询级策略应如何在叶节点细节与高层摘要之间分配预算?
  • 递归摘要能否保留可验证的 claim-to-source provenance,而不牺牲压缩率?
  • 对全局总结、跨文档多跳和细粒度事实,树、社区图和实体传播的适用边界是什么?

证据边界

以上树构建、层级消融、QASPER/QuALITY/NarrativeQA 结果来自已阅读的 ICLR 2024 arXiv PDF;不把跨数据集的论文报告结果理解为统一配置下的性能排序。