GGraphRAG 文献图谱自动同步
LIT-38F6A787 · 2024

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

StructRAG 的关键想法不是“统一用图”,而是**在推理时先判断当前任务更适合什么结构**,再把分散在长文档里的知识重组为表格、图、算法、目录或普通 chunk,并在这个结构上完成推理。

PDF 级阅读卡优先级 P2作者待核验arXiv
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

  • 对知识密集型推理任务来说,相关信息往往高度分散,普通 chunk-based RAG 即使能检到相关段落,也容易把大量噪声一起带进上下文;
  • 仅靠长上下文直接读完整文档,成本高且不稳定;
  • 固定使用某一种结构也不合理:
    • 统计比较类任务更适合 table;
    • 长链关系类任务更适合 graph;
    • 配置/规划类任务更适合 algorithm;
    • 总结归纳类任务更适合 catalogue。

方法与机制

  • Hybrid Structure Router:
    • 输入是问题和文档核心内容;
    • 输出最合适的结构类型;
    • 候选类型包括 table / graph / algorithm / catalogue / chunk;
    • 路由器通过 DPO 训练,不是手工规则。
  • Scattered Knowledge Structurizer:
    • 按 router 选出的结构,把分散信息重组为结构化知识;
    • 表格用 markdown table,图用三元组列表,算法用伪代码,目录用层级目录,chunk 则保留文本。
  • Structured Knowledge Utilizer:
    • 在结构化知识上做问题分解、信息抽取和最终回答生成;
    • 不是简单把结构化结果原样塞回模型,而是针对结构做利用。
  • 论文还设计了一个 synthesizing-simulating-judging 流程来构造 preference data,再用 DPO 训练 router。

证据与结果

  • 在 Loong benchmark 的多类知识密集型任务上,StructRAG 达到论文报告的最好总体表现;
  • 论文特别强调:任务越复杂、文档越长、信息越分散,StructRAG 相对基线的优势越明显;
  • 在 Podcast Transcripts 上,StructRAG 对不同基线的 LLM judge 胜率为:
    • vs Long-context: 95.75
    • vs vanilla RAG: 62.00
    • vs RQ-RAG: 59.50
    • vs GraphRAG: 53.00
  • 模块消融显示完整系统总体分数为 60.38,去掉不同模块后会下降到:
    • w/o router: 45.33
    • w/o structurizer: 53.92
    • w/o utilizer: 55.94
  • 效率上,平均总延迟为:
    • RQ-RAG: 9.0 min
    • StructRAG: 9.7 min
    • GraphRAG: 217.1 min StructRAG 比 RQ-RAG 略慢,但明显快于 GraphRAG。

局限与开放问题

  • 结构化过程依赖 LLM,本身会引入格式化误差;论文就指出这会拖累部分 EM 指标;
  • 预设结构类型只有五种,面对更复杂任务时可能仍不够;
  • router 的质量非常关键,训练数据构造质量会直接影响系统上限;
  • 尽管比 GraphRAG 快得多,但仍比最简单的 RQ-RAG 稍重。

关联与拓展

研究问题入口

Q1 领域边界与适用性, Q2 图构建与表示, Q7 鲁棒性与安全, Q8 效率与部署, Q9 评测与理论

展开原始论文笔记全文

基本信息

  • 作者: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li
  • 机构: Chinese Academy of Sciences, University of Chinese Academy of Sciences, Alibaba Group
  • 发表: arXiv 2024
  • arXiv: 2410.08815

一句话理解

StructRAG 的关键想法不是“统一用图”,而是在推理时先判断当前任务更适合什么结构,再把分散在长文档里的知识重组为表格、图、算法、目录或普通 chunk,并在这个结构上完成推理。

核心问题

  • 对知识密集型推理任务来说,相关信息往往高度分散,普通 chunk-based RAG 即使能检到相关段落,也容易把大量噪声一起带进上下文;
  • 仅靠长上下文直接读完整文档,成本高且不稳定;
  • 固定使用某一种结构也不合理:
    • 统计比较类任务更适合 table;
    • 长链关系类任务更适合 graph;
    • 配置/规划类任务更适合 algorithm;
    • 总结归纳类任务更适合 catalogue。

方法概述

  • Hybrid Structure Router:
    • 输入是问题和文档核心内容;
    • 输出最合适的结构类型;
    • 候选类型包括 table / graph / algorithm / catalogue / chunk;
    • 路由器通过 DPO 训练,不是手工规则。
  • Scattered Knowledge Structurizer:
    • 按 router 选出的结构,把分散信息重组为结构化知识;
    • 表格用 markdown table,图用三元组列表,算法用伪代码,目录用层级目录,chunk 则保留文本。
  • Structured Knowledge Utilizer:
    • 在结构化知识上做问题分解、信息抽取和最终回答生成;
    • 不是简单把结构化结果原样塞回模型,而是针对结构做利用。
  • 论文还设计了一个 synthesizing-simulating-judging 流程来构造 preference data,再用 DPO 训练 router。

主要结果

  • 在 Loong benchmark 的多类知识密集型任务上,StructRAG 达到论文报告的最好总体表现;
  • 论文特别强调:任务越复杂、文档越长、信息越分散,StructRAG 相对基线的优势越明显;
  • 在 Podcast Transcripts 上,StructRAG 对不同基线的 LLM judge 胜率为:
    • vs Long-context: 95.75
    • vs vanilla RAG: 62.00
    • vs RQ-RAG: 59.50
    • vs GraphRAG: 53.00
  • 模块消融显示完整系统总体分数为 60.38,去掉不同模块后会下降到:
    • w/o router: 45.33
    • w/o structurizer: 53.92
    • w/o utilizer: 55.94
  • 效率上,平均总延迟为:
    • RQ-RAG: 9.0 min
    • StructRAG: 9.7 min
    • GraphRAG: 217.1 min StructRAG 比 RQ-RAG 略慢,但明显快于 GraphRAG。

我的理解

  • 这篇论文很值得单独记,因为它其实在挑战一个默认前提:GraphRAG 不一定要“graph first”。
  • 在 StructRAG 里,graph 只是若干候选结构之一。真正的核心是:
    • 任务类型识别;
    • 信息重组;
    • 在合适结构上推理。
  • 这意味着它更像“结构化 RAG”而不是狭义的 GraphRAG,但它对 GraphRAG 社区很重要,因为它提醒我们:
    • 图结构不是总是最优;
    • 更本质的问题是“怎样让分散知识在推理时变成合适的可操作结构”。
  • 如果说 GraphRAG-Microsoft 重在图索引与社区摘要,StructRAG 重在推理时结构选择。

局限

  • 结构化过程依赖 LLM,本身会引入格式化误差;论文就指出这会拖累部分 EM 指标;
  • 预设结构类型只有五种,面对更复杂任务时可能仍不够;
  • router 的质量非常关键,训练数据构造质量会直接影响系统上限;
  • 尽管比 GraphRAG 快得多,但仍比最简单的 RQ-RAG 稍重。

相关主题

�����������