研究问题与动机
LLM 推理的三大缺陷
- 领域知识不足: 预训练数据覆盖有限,特定领域(如数学)知识缺失
- 幻觉问题: 生成看似合理但错误的推理步骤
- 推理深度受限: 小模型(< 8B)难以完成多步推理
现有方法的局限
静态 KG 检索:
- 仅在问题级别检索一次
- 无法纠正中间步骤错误
- 推理过程与知识脱节
研究目标: 将逐步 KG 检索与推理过程深度融合,无需额外训练。
方法与机制
1. 整体框架 (KG-RAR)
三大核心组件
- Process-Oriented Math KG: 过程导向的数学知识图谱
- Hierarchical Retrieval: 层次化检索策略
- PRP-RM: 后检索处理与奖励模型
工作流程
输入问题 → 初始检索 → 生成步骤1 → 检索相关知识 →
生成步骤2 → 检索 → ... → 最终答案
↑ ↓
└─── PRP-RM 评分与纠错 ───┘
关键: 每个推理步骤都触发检索,形成推理-检索循环。
2. Process-Oriented Math KG 构建
数据来源
PRM800K 数据集:
- 约 10,000 个数学问题
- 每个问题包含多个推理步骤
- 每步标注正确性
图谱结构
节点类型:
- 问题节点 (Question): 数学问题描述
- 步骤节点 (Step): 单个推理步骤
- 概念节点 (Concept): 数学概念(如"二次方程")
- 公式节点 (Formula): 数学公式(如"$ax^2+bx+c=0$")
边类型:
- 问题-步骤: 问题包含哪些步骤
- 步骤-步骤: 步骤间的依赖关系
- 步骤-概念: 步骤使用的概念
- 概念-公式: 概念对应的公式
图谱规模:
- 节点数: ~80,000
- 边数: ~200,000
- 平均度: 5.0
过程导向 vs 静态 KG
| 维度 | 过程导向 KG | 静态 KG |
|---|---|---|
| 粒度 | 推理步骤 | 事实三元组 |
| 时序 | ✅ 保留步骤顺序 | ❌ 无时序 |
| 依赖 | ✅ 显式依赖关系 | ❌ 隐式 |
| 适用 | 推理任务 | 知识查询 |
优势: 编码"如何推理"而非"是什么"。
3. 层次化检索策略
三阶段检索
阶段1: 初始过滤
目标: 快速缩小候选范围
方法: BM25 关键词匹配
- 输入: 当前问题 + 已生成步骤
- 输出: Top-100 候选步骤节点
阶段2: 语义相似度评分
目标: 精确匹配语义
方法: 向量相似度(Sentence-BERT)
- 输入: Top-100 候选
- 输出: Top-20 高相似度步骤
阶段3: 上下文检索
目标: 获取完整推理链
方法: 图遍历(DFS + BFS)
- DFS: 向前追溯依赖步骤(前提条件)
- BFS: 向后扩展相关步骤(后续推理)
- 深度限制: DFS 3 层,BFS 2 层
输出: 包含上下文的推理子图
检索时机
触发条件:
- 初始问题输入
- 每生成一个新推理步骤
- PRP-RM 检测到错误步骤
频率: 平均每个问题检索 5-8 次
4. PRP-RM (Post-Retrieval Processing & Reward Model)
核心思想
无需训练: 使用冻结 LLM + 角色提示实现奖励模型
三个教师角色
1. Responsible Teacher (负责任教师)
角色: 验证步骤正确性
提示:
你是一位负责任的数学教师。给定问题和当前步骤,判断该步骤是否正确。
问题: {question}
已有步骤: {previous_steps}
当前步骤: {current_step}
检索知识: {retrieved_knowledge}
输出: [正确/错误] + 理由
2. Socratic Teacher (苏格拉底教师)
角色: 引导学生发现错误
提示:
你是一位苏格拉底式教师。不直接指出错误,而是通过提问引导学生思考。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}
输出: 引导性问题
3. Critical Teacher (批判性教师)
角色: 寻找潜在问题
提示:
你是一位批判性教师。即使步骤看似正确,也要寻找潜在问题。
当前步骤: {current_step}
检索知识: {retrieved_knowledge}
输出: 潜在问题 + 改进建议
奖励分数计算
综合评分:
其中:
- $R_{\text{resp}}$: 正确性分数(0 或 1)
- $R_{\text{socr}}$: 引导质量分数(0-1)
- $R_{\text{crit}}$: 批判深度分数(0-1)
- 权重: $w_1=0.5, w_2=0.3, w_3=0.2$
决策:
- $R(s) > 0.7$: 接受步骤,继续
- $0.4 < R(s) \leq 0.7$: 修改步骤
- $R(s) \leq 0.4$: 拒绝步骤,重新生成
vs 传统 Reward Model
| 维度 | PRP-RM | 传统 RM |
|---|
原始笔记摘录已截断;请打开来源笔记阅读完整内容。
1. 过程导向知识图谱
首次: 将推理过程编码为图谱结构
优势:
- 保留步骤依赖
- 支持推理链检索
- 可迁移到其他推理任务
2. 逐步检索机制
创新: 推理-检索循环,而非一次性检索
vs 静态检索:
- 静态: 问题 → 检索 → 推理
- 逐步: 问题 → 检索 → 步骤1 → 检索 → 步骤2 → ...
优势: 动态纠错,适应推理演进
3. 无训练奖励模型
创新: 角色提示 + 冻结 LLM 实现 RM
优势:
- 零训练成本
- 高可解释性
- 易于定制角色
性能: 达到传统 RM 98% 性能
证据与结果
数据集
| 数据集 | 问题数 | 平均步骤数 | 难度 |
|---|---|---|---|
| Math500 | 500 | 4.2 | 高 |
| GSM8K | 1,319 | 3.5 | 中 |
主要性能对比
Math500(高难度数学)
| 模型 | 基线准确率 | + KG-RAR | 相对提升 |
|---|---|---|---|
| Llama-1B | 12.4% | 13.8% | +11.3% |
| Llama-3B | 24.6% | 29.7% | +20.7% |
| Llama-8B | 38.2% | 44.0% | +15.2% |
| Llama-13B | 45.8% | 51.3% | +12.0% |
| Llama-30B | 52.1% | 55.9% | +7.3% |
| Llama-70B | 58.3% | 61.2% | +5.0% |
关键发现:
- 小模型受益最大: Llama-3B 提升 20.7%
- 大模型提升递减: Llama-70B 仅提升 5.0%
GSM8K(中等难度)
| 模型 | 基线准确率 | + KG-RAR | 相对提升 |
|---|---|---|---|
| Llama-1B | 8.7% | 9.2% | +5.7% |
| Llama-3B | 18.5% | 20.8% | +12.4% |
| Llama-8B | 42.3% | 46.0% | +8.7% |
| Llama-13B | 51.2% | 54.6% | +6.6% |
| Llama-30B | 62.8% | 65.1% | +3.7% |
| Llama-70B | 71.4% | 73.2% | +2.5% |
趋势: 与 Math500 一致,小模型受益更大。
消融实验
各模块贡献(Llama-8B, Math500)
| 配置 | 准确率 | vs 完整 |
|---|---|---|
| 完整 KG-RAR | 44.0% | - |
| - 过程导向 KG(用静态 KG) | 40.2% | -8.6% |
| - 逐步检索(仅初始检索) | 39.8% | -9.5% |
| - PRP-RM(无奖励模型) | 41.5% | -5.7% |
| - 层次检索(仅 BM25) | 40.9% | -7.0% |
关键发现:
- 逐步检索最关键(-9.5%)
- 过程导向 KG 次之(-8.6%)
- 层次检索 重要(-7.0%)
PRP-RM vs 传统 RM
| 方法 | Math500 | GSM8K | 训练成本 |
|---|---|---|---|
| 无 RM | 39.8% | 42.3% | 0 |
| 传统 RM (PRM800K) | 44.8% | 46.5% | 高 |
| PRP-RM | 44.0% | 46.0% | 0 |
结论: PRP-RM 达到传统 RM 98% 性能,无需训练。
检索频率影响
| 检索策略 | Math500 | 平均检索次数 |
|---|---|---|
| 仅初始 | 39.8% | 1.0 |
| 每2步 | 42.1% | 2.5 |
| 每步 | 44.0% | 5.8 |
| 每步+错误时 | 44.2% | 7.3 |
最优: 每步检索(性能与效率平衡)
案例分析
成功案例
问题: 解方程 $2x^2 - 5x + 2 = 0$
基线 Llama-8B:
步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
步骤2: a=2, b=-5, c=2
步骤3: x = (5 ± √(25-16)) / 4 = (5 ± 3) / 4
步骤4: x = 2 或 x = 0.5 ✅ 正确
+ KG-RAR:
步骤1: 使用求根公式 x = (-b ± √(b²-4ac)) / 2a
[检索: 求根公式定义,判别式概念]
步骤2: a=2, b=-5, c=2
[检索: 参数识别示例]
步骤3: 判别式 Δ = b²-4ac = 25-16 = 9 > 0,有两个实根
[检索: 判别式判断规则]
步骤4: x = (5 ± √9) / 4 = (5 ± 3) / 4
步骤5: x = 2 或 x = 0.5 ✅ 正确
改进: 增加判别式检查,推理更严谨。
纠错案例
问题: 简化 $\sqrt{50}$
基线 Llama-3B:
步骤1: √50 = √(25×2)
步骤2: = 25√2 ❌ 错误(应为 5√2)
+ KG-RAR:
步骤1: √50 = √(25×2)
[检索: 根式分解规则]
步骤2: = √25 × √2
[PRP-RM: Responsible Teacher 检测到错误]
[检索: √(a×b) = √a × √b 示例]
步骤3: = 5√2 ✅ 正确
纠错: PRP-RM 检测错误,检索正确规则。
局限与开放问题
当前局限
- 领域特定: 仅在数学推理验证
- 图谱构建: 需要标注数据(PRM800K)
- 检索成本: 每步检索增加延迟
- 小模型失效: Llama-1B 提升有限(+11.3%)
未来方向
- 跨领域泛化: 扩展到代码、科学推理
- 自动图谱构建: 从未标注数据构建过程 KG
- 检索优化: 缓存、预测性检索
- 多模态: 支持图表、公式图像
关联与拓展
研究脉络定位
- 属于 推理增强 方向
- 首次将 GraphRAG 应用于数学推理
方法对比
| 维度 | KG-RAR | Inference-Scaled | HopRAG |
|---|---|---|---|
| 应用 | 数学推理 | 通用 QA | 多跳 QA |
| 检索时机 | 每步 | 推理时 | 查询时 |
| KG 类型 | 过程导向 | 通用 | 通用 |
| 奖励模型 | ✅ PRP-RM | ❌ 无 | ❌ 无 |
| Math500 (8B) | 44.0% | 未报告 | 未报告 |
相关论文
- Inference-Scaled-GraphRAG — 推理时扩展,互补方向
- HopRAG — 多跳推理,可借鉴逐步检索
- CogitoRAG — 认知启发,可结合过程记忆