LIT-38F6A787 · 2024
StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
StructRAG 的关键想法不是“统一用图”,而是**在推理时先判断当前任务更适合什么结构**,再把分散在长文档里的知识重组为表格、图、算法、目录或普通 chunk,并在这个结构上完成推理。
PDF 级阅读卡优先级 P2作者待核验arXiv
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- 对知识密集型推理任务来说,相关信息往往高度分散,普通 chunk-based RAG 即使能检到相关段落,也容易把大量噪声一起带进上下文;
- 仅靠长上下文直接读完整文档,成本高且不稳定;
- 固定使用某一种结构也不合理:
- 统计比较类任务更适合 table;
- 长链关系类任务更适合 graph;
- 配置/规划类任务更适合 algorithm;
- 总结归纳类任务更适合 catalogue。
方法与机制
- Hybrid Structure Router:
- 输入是问题和文档核心内容;
- 输出最合适的结构类型;
- 候选类型包括
table / graph / algorithm / catalogue / chunk;
- 路由器通过 DPO 训练,不是手工规则。
- Scattered Knowledge Structurizer:
- 按 router 选出的结构,把分散信息重组为结构化知识;
- 表格用 markdown table,图用三元组列表,算法用伪代码,目录用层级目录,chunk 则保留文本。
- Structured Knowledge Utilizer:
- 在结构化知识上做问题分解、信息抽取和最终回答生成;
- 不是简单把结构化结果原样塞回模型,而是针对结构做利用。
- 论文还设计了一个
synthesizing-simulating-judging 流程来构造 preference data,再用 DPO 训练 router。
证据与结果
- 在 Loong benchmark 的多类知识密集型任务上,StructRAG 达到论文报告的最好总体表现;
- 论文特别强调:任务越复杂、文档越长、信息越分散,StructRAG 相对基线的优势越明显;
- 在 Podcast Transcripts 上,StructRAG 对不同基线的 LLM judge 胜率为:
- vs Long-context: 95.75
- vs vanilla RAG: 62.00
- vs RQ-RAG: 59.50
- vs GraphRAG: 53.00
- 模块消融显示完整系统总体分数为 60.38,去掉不同模块后会下降到:
- w/o router: 45.33
- w/o structurizer: 53.92
- w/o utilizer: 55.94
- 效率上,平均总延迟为:
- RQ-RAG: 9.0 min
- StructRAG: 9.7 min
- GraphRAG: 217.1 min
StructRAG 比 RQ-RAG 略慢,但明显快于 GraphRAG。
局限与开放问题
- 结构化过程依赖 LLM,本身会引入格式化误差;论文就指出这会拖累部分 EM 指标;
- 预设结构类型只有五种,面对更复杂任务时可能仍不够;
- router 的质量非常关键,训练数据构造质量会直接影响系统上限;
- 尽管比 GraphRAG 快得多,但仍比最简单的 RQ-RAG 稍重。
展开原始论文笔记全文
基本信息
- 作者: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li
- 机构: Chinese Academy of Sciences, University of Chinese Academy of Sciences, Alibaba Group
- 发表: arXiv 2024
- arXiv: 2410.08815
一句话理解
StructRAG 的关键想法不是“统一用图”,而是在推理时先判断当前任务更适合什么结构,再把分散在长文档里的知识重组为表格、图、算法、目录或普通 chunk,并在这个结构上完成推理。
核心问题
- 对知识密集型推理任务来说,相关信息往往高度分散,普通 chunk-based RAG 即使能检到相关段落,也容易把大量噪声一起带进上下文;
- 仅靠长上下文直接读完整文档,成本高且不稳定;
- 固定使用某一种结构也不合理:
- 统计比较类任务更适合 table;
- 长链关系类任务更适合 graph;
- 配置/规划类任务更适合 algorithm;
- 总结归纳类任务更适合 catalogue。
方法概述
- Hybrid Structure Router:
- 输入是问题和文档核心内容;
- 输出最合适的结构类型;
- 候选类型包括
table / graph / algorithm / catalogue / chunk;
- 路由器通过 DPO 训练,不是手工规则。
- Scattered Knowledge Structurizer:
- 按 router 选出的结构,把分散信息重组为结构化知识;
- 表格用 markdown table,图用三元组列表,算法用伪代码,目录用层级目录,chunk 则保留文本。
- Structured Knowledge Utilizer:
- 在结构化知识上做问题分解、信息抽取和最终回答生成;
- 不是简单把结构化结果原样塞回模型,而是针对结构做利用。
- 论文还设计了一个
synthesizing-simulating-judging 流程来构造 preference data,再用 DPO 训练 router。
主要结果
- 在 Loong benchmark 的多类知识密集型任务上,StructRAG 达到论文报告的最好总体表现;
- 论文特别强调:任务越复杂、文档越长、信息越分散,StructRAG 相对基线的优势越明显;
- 在 Podcast Transcripts 上,StructRAG 对不同基线的 LLM judge 胜率为:
- vs Long-context: 95.75
- vs vanilla RAG: 62.00
- vs RQ-RAG: 59.50
- vs GraphRAG: 53.00
- 模块消融显示完整系统总体分数为 60.38,去掉不同模块后会下降到:
- w/o router: 45.33
- w/o structurizer: 53.92
- w/o utilizer: 55.94
- 效率上,平均总延迟为:
- RQ-RAG: 9.0 min
- StructRAG: 9.7 min
- GraphRAG: 217.1 min
StructRAG 比 RQ-RAG 略慢,但明显快于 GraphRAG。
我的理解
- 这篇论文很值得单独记,因为它其实在挑战一个默认前提:GraphRAG 不一定要“graph first”。
- 在 StructRAG 里,graph 只是若干候选结构之一。真正的核心是:
- 这意味着它更像“结构化 RAG”而不是狭义的 GraphRAG,但它对 GraphRAG 社区很重要,因为它提醒我们:
- 图结构不是总是最优;
- 更本质的问题是“怎样让分散知识在推理时变成合适的可操作结构”。
- 如果说 GraphRAG-Microsoft 重在图索引与社区摘要,StructRAG 重在推理时结构选择。
局限
- 结构化过程依赖 LLM,本身会引入格式化误差;论文就指出这会拖累部分 EM 指标;
- 预设结构类型只有五种,面对更复杂任务时可能仍不够;
- router 的质量非常关键,训练数据构造质量会直接影响系统上限;
- 尽管比 GraphRAG 快得多,但仍比最简单的 RQ-RAG 稍重。
相关主题
�����������
原始笔记论文/GraphRAG/StructRAG.md