研究问题与动机
传统 RAG 的认知缺陷
问题: 现有 RAG 系统将知识视为离散文本块,缺乏人类记忆的关键特性:
- 无语义压缩: 存储原始文本,未提取"要义"(gist)
- 缺乏关联: 知识孤立,无法模拟联想记忆
- 局部检索: 仅基于查询相似度,忽略全局语义传播
认知科学启发
人类情景记忆:
- 理解优先: 先理解内容,再存储要义
- 关联网络: 记忆通过语义关联相互连接
- 扩散激活: 检索时激活相关记忆网络
CogitoRAG 目标: 模拟人类记忆机制,构建"理解-记忆-检索"闭环。
方法与机制
1. 整体架构
两阶段流程
离线阶段: 理解与记忆构建
- 文档分段
- LLM 引导的语义要义提取
- 实体、事实、记忆节点提取
- 多维知识图谱构建
在线阶段: 联想检索
- 查询分解
- 实体扩散(Spreading Activation)
- CogniRank 重排序
- 段落-记忆对生成
2. 语义要义提取(Semantic Gist)
核心概念
Gist Memory: 人类记忆的核心是"要义"而非逐字记录。
提取策略:
输入: 原始段落
LLM Prompt: "提取核心语义,包括:
1. 显式事实(明确陈述)
2. 隐式关系(推理得出)
3. 概念依赖(前提条件)"
输出: 语义要义 + 结构化知识
示例:
原文: "光合作用是植物利用光能将二氧化碳和水转化为葡萄糖和氧气的过程。"
要义:
- 核心概念: 光合作用、能量转化
- 输入: 光能、CO₂、H₂O
- 输出: 葡萄糖、O₂
- 隐式关系: 能量守恒、化学反应
优势:
- 减少存储冗余
- 提高语义匹配精度
- 支持推理性检索
3. 多维知识图谱
三类节点
- 实体节点 (Entity): 具体对象(人、地点、概念)
- 事实节点 (Fact): 结构化三元组 (主体, 关系, 客体)
- 记忆节点 (Memory): 语义要义,连接多个实体和事实
边类型
- 实体-实体: 共现、相似、层次关系
- 实体-事实: 参与关系
- 事实-记忆: 支撑关系
- 记忆-记忆: 语义关联
图谱特点: 保留上下文关联,支持多跳推理。
4. 查询分解模块
目标
将复杂查询分解为子问题,模拟人类认知分解。
策略
输入: "光合作用如何影响全球碳循环?"
分解:
1. 什么是光合作用?
2. 光合作用如何吸收 CO₂?
3. 全球碳循环的主要过程?
4. 光合作用在碳循环中的角色?
优势:
- 降低单次检索复杂度
- 提高多跳推理成功率
- 支持渐进式答案构建
5. 实体扩散模块(核心创新)
Spreading Activation 机制
灵感: 人类联想记忆的扩散激活理论
算法:
- 初始化: 从查询实体出发,赋予初始激活值
- 扩散: 激活值沿边传播到邻居节点
- 衰减: 距离越远,激活值越低
- 聚合: 多路径激活值累加
公式:
其中:
- $A_t(v)$: 节点 v 在时刻 t 的激活值
- $\alpha$: 自衰减系数(0.7)
- $\beta$: 传播系数(0.3)
- $w(u, v)$: 边权重(拓扑相关性 + 实体频率)
两种奖励机制
拓扑相关性奖励:
高度节点(hub)获得更高激活。
实体频率奖励:
高频实体(重要概念)优先激活。
综合权重:
6. CogniRank 重排序
融合策略
三个分数:
- 扩散分数 $S_{\text{diff}}$: 实体扩散激活值
- 语义分数 $S_{\text{sem}}$: 查询-段落相似度(向量)
- 记忆分数 $S_{\text{mem}}$: 查询-要义匹配度
最终排序:
权重: $w_1=0.4, w_2=0.3, w_3=0.3$(经验值)
优势: 结合全局(扩散)和局部(语义)信息。
1. 认知科学融合
首次: 系统性地将认知记忆理论应用于 RAG
三大机制:
- Gist Memory: 语义压缩
- Episodic Memory: 情景关联
- Spreading Activation: 联想检索
2. 语义要义提取
创新: 不存储原始文本,而是存储"理解后的要义"
优势:
- 减少噪声
- 提高匹配精度
- 支持抽象推理
3. 全局语义扩散
创新: 结合拓扑和语义的双重扩散
vs HippoRAG:
- HippoRAG: 仅 PPR(拓扑)
- CogitoRAG: PPR + 语义要义 + 频率奖励
4. 多维知识图谱
创新: 实体-事实-记忆三层结构
vs 传统 KG:
- 传统: 实体-关系二元组
- CogitoRAG: 增加记忆层,保留上下文
证据与结果
数据集
| 数据集 | 类型 | 问题数 | 平均跳数 |
|---|---|---|---|
| MuSiQue | 多跳 QA | 2,417 | 2-4 |
| 2WikiMultiHopQA | 多跳 QA | 12,576 | 2 |
| HotpotQA | 多跳 QA | 7,405 | 2 |
| GraphBench | 图谱推理 | 1,000 | 1-3 |
| NarrativeQA | 长文档 | 1,572 | 1-2 |
主要性能对比
MuSiQue(多跳推理)
| 方法 | EM | F1 | vs 最佳基线 |
|---|---|---|---|
| BM25 | 18.3 | 24.7 | - |
| DPR | 22.1 | 29.4 | - |
| HippoRAG | 35.0 | 42.8 | - |
| HippoRAG2 | 38.5 | 46.2 | - |
| CogitoRAG | 43.2 | 51.6 | +4.7 EM |
提升: EM +12.2% vs HippoRAG2
2WikiMultiHopQA
| 方法 | EM | F1 |
|---|---|---|
| BM25 | 42.1 | 51.3 |
| DPR | 48.7 | 58.2 |
| HippoRAG | 60.5 | 69.8 |
| CogitoRAG | 69.9 | 78.4 |
提升: EM +15.5% vs BM25, +9.4 vs HippoRAG
HotpotQA
| 方法 | EM | F1 |
|---|---|---|
| BM25 | 35.6 | 46.2 |
| DPR | 41.2 | 52.8 |
| HippoRAG | 52.3 | 63.7 |
| CogitoRAG | 56.8 | 67.9 |
提升: EM +8.6% vs HippoRAG
GraphBench(图谱推理)
| 任务 | CogitoRAG | HippoRAG | 提升 |
|---|---|---|---|
| Fact Retrieval | 92.3 | 87.5 | +5.5% |
| Complex Reasoning | 78.6 | 71.2 | +10.4% |
| Contextual Summarization | 84.1 | 79.8 | +5.4% |
关键: 在复杂推理任务上优势最明显(+10.4%)
消融实验
各模块贡献
| 配置 | MuSiQue EM | 2Wiki EM | HotpotQA EM |
|---|---|---|---|
| 完整 CogitoRAG | 43.2 | 69.9 | 56.8 |
| - 语义要义 | 39.7 (-8.1%) | 65.3 (-6.6%) | 53.1 (-6.5%) |
| - 实体扩散 | 37.2 (-13.9%) | 62.8 (-10.2%) | 51.4 (-9.5%) |
| - CogniRank | 40.5 (-6.3%) | 67.1 (-4.0%) | 54.9 (-3.3%) |
| - 查询分解 | 41.8 (-3.2%) | 68.2 (-2.4%) | 55.6 (-2.1%) |
关键发现:
- 实体扩散最关键(-13.9%)
- 语义要义次之(-8.1%)
- CogniRank 和查询分解提供增量改进
扩散步数影响
| 步数 | MuSiQue EM | 计算时间 (s) |
|---|---|---|
| 1 | 38.5 | 0.8 |
| 2 | 41.7 | 1.2 |
| 3 | 43.2 | 1.8 |
| 4 | 43.1 | 2.5 |
| 5 | 42.9 | 3.4 |
最优: 3 步(性能与效率平衡)
局限与开放问题
当前局限
- 要义提取成本: 需要 LLM 处理每个段落
- 图谱规模: 大规模语料的图谱构建效率
- 参数敏感: 扩散系数、权重需要调优
- 领域泛化: 仅在 QA 任务验证
未来方向
- 增量更新: 支持动态知识库
- 多模态: 扩展到图像、视频记忆
- 个性化: 用户特定的记忆网络
- 可解释性: 可视化扩散路径
关联与拓展
研究脉络定位
- 属于 认知启发 方向
- 首次系统性融合认知科学与 GraphRAG
方法对比
| 维度 | CogitoRAG | HippoRAG | HopRAG |
|---|---|---|---|
| 核心机制 | 语义扩散 | PPR | BFS |
| 记忆模型 | 要义记忆 | 实体记忆 | 查询图 |
| 全局信息 | ✅ 强(扩散) | ⚠️ 中(PPR) | ❌ 弱 |
| MuSiQue EM | 43.2 | 35.0 | 未报告 |
相关论文
- HippoRAG — PPR 检索,CogitoRAG 的基础
- HopRAG — 多跳推理,可结合语义扩散
- Inference-Scaled-GraphRAG — 推理时优化,互补方向