GGraphRAG 文献图谱自动同步
LIT-2F444C76 · 2026

Graph-Augmented Reasoning with KG Retrieval

**标题**: Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning

摘要级记录优先级 P1Wenjie Wu, Yongcheng Jing, Yingjie Wang, Wenbin Hu, Dacheng TaoarXiv
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

LLM 推理的三大缺陷

  1. 领域知识不足: 预训练数据覆盖有限,特定领域(如数学)知识缺失
  2. 幻觉问题: 生成看似合理但错误的推理步骤
  3. 推理深度受限: 小模型(< 8B)难以完成多步推理

现有方法的局限

静态 KG 检索:

  • 仅在问题级别检索一次
  • 无法纠正中间步骤错误
  • 推理过程与知识脱节

研究目标: 将逐步 KG 检索与推理过程深度融合,无需额外训练。


方法与机制

1. 整体框架 (KG-RAR)

三大核心组件

  1. Process-Oriented Math KG: 过程导向的数学知识图谱
  2. Hierarchical Retrieval: 层次化检索策略
  3. PRP-RM: 后检索处理与奖励模型

工作流程

输入问题 → 初始检索 → 生成步骤1 → 检索相关知识 → 
生成步骤2 → 检索 → ... → 最终答案
         ↑                    ↓
         └─── PRP-RM 评分与纠错 ───┘

关键: 每个推理步骤都触发检索,形成推理-检索循环。

2. Process-Oriented Math KG 构建

数据来源

PRM800K 数据集:

  • 约 10,000 个数学问题
  • 每个问题包含多个推理步骤
  • 每步标注正确性

图谱结构

节点类型:

  1. 问题节点 (Question): 数学问题描述
  2. 步骤节点 (Step): 单个推理步骤
  3. 概念节点 (Concept): 数学概念(如"二次方程")
  4. 公式节点 (Formula): 数学公式(如"$ax^2+bx+c=0$")

边类型:

  1. 问题-步骤: 问题包含哪些步骤
  2. 步骤-步骤: 步骤间的依赖关系
  3. 步骤-概念: 步骤使用的概念
  4. 概念-公式: 概念对应的公式

图谱规模:

  • 节点数: ~80,000
  • 边数: ~200,000
  • 平均度: 5.0

过程导向 vs 静态 KG

维度 过程导向 KG 静态 KG
粒度 推理步骤 事实三元组
时序 ✅ 保留步骤顺序 ❌ 无时序
依赖 ✅ 显式依赖关系 ❌ 隐式
适用 推理任务 知识查询

优势: 编码"如何推理"而非"是什么"。

3. 层次化检索策略

三阶段检索

阶段1: 初始过滤

目标: 快速缩小候选范围

方法: BM25 关键词匹配

  • 输入: 当前问题 + 已生成步骤
  • 输出: Top-100 候选步骤节点

阶段2: 语义相似度评分

目标: 精确匹配语义

方法: 向量相似度(Sentence-BERT)

\text{sim}(q, s) = \frac{\mathbf{q} \cdot \mathbf{s}}{|\mathbf{q}| \cdot |\mathbf{s}|}
  • 输入: Top-100 候选
  • 输出: Top-20 高相似度步骤

阶段3: 上下文检索

目标: 获取完整推理链

方法: 图遍历(DFS + BFS)

  • DFS: 向前追溯依赖步骤(前提条件)
  • BFS: 向后扩展相关步骤(后续推理)
  • 深度限制: DFS 3 层,BFS 2 层

输出: 包含上下文的推理子图

检索时机

触发条件:

  1. 初始问题输入
  2. 每生成一个新推理步骤
  3. PRP-RM 检测到错误步骤

频率: 平均每个问题检索 5-8 次

4. PRP-RM (Post-Retrieval Processing & Reward Model)

核心思想

无需训练: 使用冻结 LLM + 角色提示实现奖励模型

三个教师角色

1. Responsible Teacher (负责任教师)

角色: 验证步骤正确性

提示:

你是一位负责任的数学教师。给定问题和当前步骤,判断该步骤是否正确。
问题: {question}
已有步骤: {previous_steps}
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: [正确/错误] + 理由

2. Socratic Teacher (苏格拉底教师)

角色: 引导学生发现错误

提示:

你是一位苏格拉底式教师。不直接指出错误,而是通过提问引导学生思考。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: 引导性问题

3. Critical Teacher (批判性教师)

角色: 寻找潜在问题

提示:

你是一位批判性教师。即使步骤看似正确,也要寻找潜在问题。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: 潜在问题 + 改进建议

奖励分数计算

综合评分:

R(s) = w_1 \cdot R_{\text{resp}}(s) + w_2 \cdot R_{\text{socr}}(s) + w_3 \cdot R_{\text{crit}}(s)

其中:

  • $R_{\text{resp}}$: 正确性分数(0 或 1)
  • $R_{\text{socr}}$: 引导质量分数(0-1)
  • $R_{\text{crit}}$: 批判深度分数(0-1)
  • 权重: $w_1=0.5, w_2=0.3, w_3=0.2$

决策:

  • $R(s) > 0.7$: 接受步骤,继续
  • $0.4 < R(s) \leq 0.7$: 修改步骤
  • $R(s) \leq 0.4$: 拒绝步骤,重新生成

vs 传统 Reward Model

维度 PRP-RM 传统 RM

原始笔记摘录已截断;请打开来源笔记阅读完整内容。

1. 过程导向知识图谱

首次: 将推理过程编码为图谱结构

优势:

  • 保留步骤依赖
  • 支持推理链检索
  • 可迁移到其他推理任务

2. 逐步检索机制

创新: 推理-检索循环,而非一次性检索

vs 静态检索:

  • 静态: 问题 → 检索 → 推理
  • 逐步: 问题 → 检索 → 步骤1 → 检索 → 步骤2 → ...

优势: 动态纠错,适应推理演进

3. 无训练奖励模型

创新: 角色提示 + 冻结 LLM 实现 RM

优势:

  • 零训练成本
  • 高可解释性
  • 易于定制角色

性能: 达到传统 RM 98% 性能


证据与结果

数据集

数据集 问题数 平均步骤数 难度
Math500 500 4.2 高
GSM8K 1,319 3.5 中

主要性能对比

Math500(高难度数学)

模型 基线准确率 + KG-RAR 相对提升
Llama-1B 12.4% 13.8% +11.3%
Llama-3B 24.6% 29.7% +20.7%
Llama-8B 38.2% 44.0% +15.2%
Llama-13B 45.8% 51.3% +12.0%
Llama-30B 52.1% 55.9% +7.3%
Llama-70B 58.3% 61.2% +5.0%

关键发现:

  • 小模型受益最大: Llama-3B 提升 20.7%
  • 大模型提升递减: Llama-70B 仅提升 5.0%

GSM8K(中等难度)

模型 基线准确率 + KG-RAR 相对提升
Llama-1B 8.7% 9.2% +5.7%
Llama-3B 18.5% 20.8% +12.4%
Llama-8B 42.3% 46.0% +8.7%
Llama-13B 51.2% 54.6% +6.6%
Llama-30B 62.8% 65.1% +3.7%
Llama-70B 71.4% 73.2% +2.5%

趋势: 与 Math500 一致,小模型受益更大。

消融实验

各模块贡献(Llama-8B, Math500)

配置 准确率 vs 完整
完整 KG-RAR 44.0% -
- 过程导向 KG(用静态 KG) 40.2% -8.6%
- 逐步检索(仅初始检索) 39.8% -9.5%
- PRP-RM(无奖励模型) 41.5% -5.7%
- 层次检索(仅 BM25) 40.9% -7.0%

关键发现:

  • 逐步检索最关键(-9.5%)
  • 过程导向 KG 次之(-8.6%)
  • 层次检索 重要(-7.0%)

PRP-RM vs 传统 RM

方法 Math500 GSM8K 训练成本
无 RM 39.8% 42.3% 0
传统 RM (PRM800K) 44.8% 46.5% 高
PRP-RM 44.0% 46.0% 0

结论: PRP-RM 达到传统 RM 98% 性能,无需训练。

检索频率影响

检索策略 Math500 平均检索次数
仅初始 39.8% 1.0
每2步 42.1% 2.5
每步 44.0% 5.8
每步+错误时 44.2% 7.3

最优: 每步检索(性能与效率平衡)

案例分析

成功案例

问题: 解方程 $2x^2 - 5x + 2 = 0$

基线 Llama-8B:

步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
步骤2: a=2, b=-5, c=2
步骤3: x = (5 ± √(25-16)) / 4 = (5 ± 3) / 4
步骤4: x = 2 或 x = 0.5  ✅ 正确

+ KG-RAR:

步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
  [检索: 求根公式定义,判别式概念]
步骤2: a=2, b=-5, c=2
  [检索: 参数识别示例]
步骤3: 判别式 Δ = b²-4ac = 25-16 = 9 > 0,有两个实根
  [检索: 判别式判断规则]
步骤4: x = (5 ± √9) / 4 = (5 ± 3) / 4
步骤5: x = 2 或 x = 0.5  ✅ 正确

改进: 增加判别式检查,推理更严谨。

纠错案例

问题: 简化 $\sqrt{50}$

基线 Llama-3B:

步骤1: √50 = √(25×2)
步骤2: = 25√2  ❌ 错误(应为 5√2)

+ KG-RAR:

步骤1: √50 = √(25×2)
  [检索: 根式分解规则]
步骤2: = √25 × √2
  [PRP-RM: Responsible Teacher 检测到错误]
  [检索: √(a×b) = √a × √b 示例]
步骤3: = 5√2  ✅ 正确

纠错: PRP-RM 检测错误,检索正确规则。


局限与开放问题

当前局限

  1. 领域特定: 仅在数学推理验证
  2. 图谱构建: 需要标注数据(PRM800K)
  3. 检索成本: 每步检索增加延迟
  4. 小模型失效: Llama-1B 提升有限(+11.3%)

未来方向

  1. 跨领域泛化: 扩展到代码、科学推理
  2. 自动图谱构建: 从未标注数据构建过程 KG
  3. 检索优化: 缓存、预测性检索
  4. 多模态: 支持图表、公式图像

关联与拓展

研究脉络定位

  • 属于 推理增强 方向
  • 首次将 GraphRAG 应用于数学推理

方法对比

维度 KG-RAR Inference-Scaled HopRAG
应用 数学推理 通用 QA 多跳 QA
检索时机 每步 推理时 查询时
KG 类型 过程导向 通用 通用
奖励模型 ✅ PRP-RM ❌ 无 ❌ 无
Math500 (8B) 44.0% 未报告 未报告

相关论文


研究问题入口

Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署, Q9 评测与理论

展开原始论文笔记全文

基本信息

  • 标题: Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning
  • 作者: Wenjie Wu, Yongcheng Jing, Yingjie Wang, Wenbin Hu, Dacheng Tao
  • 机构: Wuhan University, Nanyang Technological University
  • 发表: 2026-03 (arXiv)
  • arXiv: 2503.01642v1

核心问题与动机

LLM 推理的三大缺陷

  1. 领域知识不足: 预训练数据覆盖有限,特定领域(如数学)知识缺失
  2. 幻觉问题: 生成看似合理但错误的推理步骤
  3. 推理深度受限: 小模型(< 8B)难以完成多步推理

现有方法的局限

静态 KG 检索:

  • 仅在问题级别检索一次
  • 无法纠正中间步骤错误
  • 推理过程与知识脱节

研究目标: 将逐步 KG 检索与推理过程深度融合,无需额外训练。


方法论详解

1. 整体框架 (KG-RAR)

三大核心组件

  1. Process-Oriented Math KG: 过程导向的数学知识图谱
  2. Hierarchical Retrieval: 层次化检索策略
  3. PRP-RM: 后检索处理与奖励模型

工作流程

输入问题 → 初始检索 → 生成步骤1 → 检索相关知识 → 
生成步骤2 → 检索 → ... → 最终答案
         ↑                    ↓
         └─── PRP-RM 评分与纠错 ───┘

关键: 每个推理步骤都触发检索,形成推理-检索循环。

2. Process-Oriented Math KG 构建

数据来源

PRM800K 数据集:

  • 约 10,000 个数学问题
  • 每个问题包含多个推理步骤
  • 每步标注正确性

图谱结构

节点类型:

  1. 问题节点 (Question): 数学问题描述
  2. 步骤节点 (Step): 单个推理步骤
  3. 概念节点 (Concept): 数学概念(如"二次方程")
  4. 公式节点 (Formula): 数学公式(如"$ax^2+bx+c=0$")

边类型:

  1. 问题-步骤: 问题包含哪些步骤
  2. 步骤-步骤: 步骤间的依赖关系
  3. 步骤-概念: 步骤使用的概念
  4. 概念-公式: 概念对应的公式

图谱规模:

  • 节点数: ~80,000
  • 边数: ~200,000
  • 平均度: 5.0

过程导向 vs 静态 KG

维度 过程导向 KG 静态 KG
粒度 推理步骤 事实三元组
时序 ✅ 保留步骤顺序 ❌ 无时序
依赖 ✅ 显式依赖关系 ❌ 隐式
适用 推理任务 知识查询

优势: 编码"如何推理"而非"是什么"。

3. 层次化检索策略

三阶段检索

阶段1: 初始过滤

目标: 快速缩小候选范围

方法: BM25 关键词匹配

  • 输入: 当前问题 + 已生成步骤
  • 输出: Top-100 候选步骤节点

阶段2: 语义相似度评分

目标: 精确匹配语义

方法: 向量相似度(Sentence-BERT)

\text{sim}(q, s) = \frac{\mathbf{q} \cdot \mathbf{s}}{|\mathbf{q}| \cdot |\mathbf{s}|}
  • 输入: Top-100 候选
  • 输出: Top-20 高相似度步骤

阶段3: 上下文检索

目标: 获取完整推理链

方法: 图遍历(DFS + BFS)

  • DFS: 向前追溯依赖步骤(前提条件)
  • BFS: 向后扩展相关步骤(后续推理)
  • 深度限制: DFS 3 层,BFS 2 层

输出: 包含上下文的推理子图

检索时机

触发条件:

  1. 初始问题输入
  2. 每生成一个新推理步骤
  3. PRP-RM 检测到错误步骤

频率: 平均每个问题检索 5-8 次

4. PRP-RM (Post-Retrieval Processing & Reward Model)

核心思想

无需训练: 使用冻结 LLM + 角色提示实现奖励模型

三个教师角色

1. Responsible Teacher (负责任教师)

角色: 验证步骤正确性

提示:

你是一位负责任的数学教师。给定问题和当前步骤,判断该步骤是否正确。
问题: {question}
已有步骤: {previous_steps}
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: [正确/错误] + 理由

2. Socratic Teacher (苏格拉底教师)

角色: 引导学生发现错误

提示:

你是一位苏格拉底式教师。不直接指出错误,而是通过提问引导学生思考。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: 引导性问题

3. Critical Teacher (批判性教师)

角色: 寻找潜在问题

提示:

你是一位批判性教师。即使步骤看似正确,也要寻找潜在问题。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}

输出: 潜在问题 + 改进建议

奖励分数计算

综合评分:

R(s) = w_1 \cdot R_{\text{resp}}(s) + w_2 \cdot R_{\text{socr}}(s) + w_3 \cdot R_{\text{crit}}(s)

其中:

  • $R_{\text{resp}}$: 正确性分数(0 或 1)
  • $R_{\text{socr}}$: 引导质量分数(0-1)
  • $R_{\text{crit}}$: 批判深度分数(0-1)
  • 权重: $w_1=0.5, w_2=0.3, w_3=0.2$

决策:

  • $R(s) > 0.7$: 接受步骤,继续
  • $0.4 < R(s) \leq 0.7$: 修改步骤
  • $R(s) \leq 0.4$: 拒绝步骤,重新生成

vs 传统 Reward Model

维度 PRP-RM 传统 RM
训练 ❌ 无需训练 ✅ 需要大量标注
可解释性 ✅ 强(角色提示) ❌ 弱(黑盒)
灵活性 ✅ 易于调整角色 ❌ 需重新训练
性能 竞争性 略优(有监督)

实验结果

数据集

数据集 问题数 平均步骤数 难度
Math500 500 4.2 高
GSM8K 1,319 3.5 中

主要性能对比

Math500(高难度数学)

模型 基线准确率 + KG-RAR 相对提升
Llama-1B 12.4% 13.8% +11.3%
Llama-3B 24.6% 29.7% +20.7%
Llama-8B 38.2% 44.0% +15.2%
Llama-13B 45.8% 51.3% +12.0%
Llama-30B 52.1% 55.9% +7.3%
Llama-70B 58.3% 61.2% +5.0%

关键发现:

  • 小模型受益最大: Llama-3B 提升 20.7%
  • 大模型提升递减: Llama-70B 仅提升 5.0%

GSM8K(中等难度)

模型 基线准确率 + KG-RAR 相对提升
Llama-1B 8.7% 9.2% +5.7%
Llama-3B 18.5% 20.8% +12.4%
Llama-8B 42.3% 46.0% +8.7%
Llama-13B 51.2% 54.6% +6.6%
Llama-30B 62.8% 65.1% +3.7%
Llama-70B 71.4% 73.2% +2.5%

趋势: 与 Math500 一致,小模型受益更大。

消融实验

各模块贡献(Llama-8B, Math500)

配置 准确率 vs 完整
完整 KG-RAR 44.0% -
- 过程导向 KG(用静态 KG) 40.2% -8.6%
- 逐步检索(仅初始检索) 39.8% -9.5%
- PRP-RM(无奖励模型) 41.5% -5.7%
- 层次检索(仅 BM25) 40.9% -7.0%

关键发现:

  • 逐步检索最关键(-9.5%)
  • 过程导向 KG 次之(-8.6%)
  • 层次检索 重要(-7.0%)

PRP-RM vs 传统 RM

方法 Math500 GSM8K 训练成本
无 RM 39.8% 42.3% 0
传统 RM (PRM800K) 44.8% 46.5% 高
PRP-RM 44.0% 46.0% 0

结论: PRP-RM 达到传统 RM 98% 性能,无需训练。

检索频率影响

检索策略 Math500 平均检索次数
仅初始 39.8% 1.0
每2步 42.1% 2.5
每步 44.0% 5.8
每步+错误时 44.2% 7.3

最优: 每步检索(性能与效率平衡)

案例分析

成功案例

问题: 解方程 $2x^2 - 5x + 2 = 0$

基线 Llama-8B:

步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
步骤2: a=2, b=-5, c=2
步骤3: x = (5 ± √(25-16)) / 4 = (5 ± 3) / 4
步骤4: x = 2 或 x = 0.5  ✅ 正确

+ KG-RAR:

步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
  [检索: 求根公式定义,判别式概念]
步骤2: a=2, b=-5, c=2
  [检索: 参数识别示例]
步骤3: 判别式 Δ = b²-4ac = 25-16 = 9 > 0,有两个实根
  [检索: 判别式判断规则]
步骤4: x = (5 ± √9) / 4 = (5 ± 3) / 4
步骤5: x = 2 或 x = 0.5  ✅ 正确

改进: 增加判别式检查,推理更严谨。

纠错案例

问题: 简化 $\sqrt{50}$

基线 Llama-3B:

步骤1: √50 = √(25×2)
步骤2: = 25√2  ❌ 错误(应为 5√2)

+ KG-RAR:

步骤1: √50 = √(25×2)
  [检索: 根式分解规则]
步骤2: = √25 × √2
  [PRP-RM: Responsible Teacher 检测到错误]
  [检索: √(a×b) = √a × √b 示例]
步骤3: = 5√2  ✅ 正确

纠错: PRP-RM 检测错误,检索正确规则。


技术创新点

1. 过程导向知识图谱

首次: 将推理过程编码为图谱结构

优势:

  • 保留步骤依赖
  • 支持推理链检索
  • 可迁移到其他推理任务

2. 逐步检索机制

创新: 推理-检索循环,而非一次性检索

vs 静态检索:

  • 静态: 问题 → 检索 → 推理
  • 逐步: 问题 → 检索 → 步骤1 → 检索 → 步骤2 → ...

优势: 动态纠错,适应推理演进

3. 无训练奖励模型

创新: 角色提示 + 冻结 LLM 实现 RM

优势:

  • 零训练成本
  • 高可解释性
  • 易于定制角色

性能: 达到传统 RM 98% 性能


局限性与未来方向

当前局限

  1. 领域特定: 仅在数学推理验证
  2. 图谱构建: 需要标注数据(PRM800K)
  3. 检索成本: 每步检索增加延迟
  4. 小模型失效: Llama-1B 提升有限(+11.3%)

未来方向

  1. 跨领域泛化: 扩展到代码、科学推理
  2. 自动图谱构建: 从未标注数据构建过程 KG
  3. 检索优化: 缓存、预测性检索
  4. 多模态: 支持图表、公式图像

与本 Wiki 关联

研究脉络定位

  • 属于 推理增强 方向
  • 首次将 GraphRAG 应用于数学推理

方法对比

维度 KG-RAR Inference-Scaled HopRAG
应用 数学推理 通用 QA 多跳 QA
检索时机 每步 推理时 查询时
KG 类型 过程导向 通用 通用
奖励模型 ✅ PRP-RM ❌ 无 ❌ 无
Math500 (8B) 44.0% 未报告 未报告

相关论文


研究价值

理论贡献

  1. 过程导向 KG: 首次编码推理过程
  2. 逐步检索: 推理-检索循环范式
  3. 无训练 RM: 角色提示实现奖励模型

实践价值

  1. 小模型增强: Llama-3B 提升 20.7%
  2. 零训练成本: 无需标注奖励数据
  3. 可解释性: 显示检索知识和纠错过程

实施建议

何时使用 KG-RAR

强烈推荐:

  • ✅ 数学推理任务
  • ✅ 小模型(< 13B)
  • ✅ 需要可解释推理

适用场景:

  • ⚠️ 其他推理任务(需构建领域 KG)

不推荐:

  • ❌ 大模型(> 70B,提升有限)
  • ❌ 简单查询(检索成本不值得)

配置建议

参数 推荐值 说明
检索频率 每步 最佳性能
DFS 深度 3 追溯依赖
BFS 深度 2 扩展相关
PRP-RM 权重 (0.5, 0.3, 0.2) 正确性优先
接受阈值 0.7 平衡精度与召回

代码与资源

  • 论文: https://arxiv.org/abs/2503.01642
  • 代码: (待发布)
  • PRM800K: https://github.com/openai/prm800k

引用

@article{wu2026kgrar,
  title={Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning},
  author={Wu, Wenjie and Jing, Yongcheng and Wang, Yingjie and Hu, Wenbin and Tao, Dacheng},
  journal={arXiv preprint arXiv:2503.01642},
  year={2026}
}

Created: 2026-04-20
Last Updated: 2026-04-20
Source: https://arxiv.org/abs/2503.01642