LIT-4291A2AF · 年份待核验
Biomedical Knowledge Graph-Optimized Prompt Generation for Large Language Models
这篇论文虽然官方标题没有直接写 `KG-RAG`,但提出的核心框架就是一个**面向生物医学的 KG-RAG**:从巨大的 SPOKE 知识图中抽取“对当前 prompt 真正有用的最小上下文”,再交给 LLM,以更少 token 获得更可靠的医学回答。
摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。
研究问题与动机
- 生物医学是高知识密度、高事实风险领域,纯 prompt 或通用 RAG 很容易 hallucinate;
- 直接靠领域继续预训练/微调,成本高且维护难;
- 传统 KG-RAG / Cypher-RAG 在大图上容易依赖精确匹配,且会把大量 schema/token 浪费在与当前问题无关的信息上。
方法与机制
- 论文使用生物医学知识图 SPOKE 作为显式知识源;
- 整体流程包括:
- 从用户 prompt 中识别疾病实体;
- 将实体映射到 SPOKE 中的对应节点;
- 抽取与 prompt 语义最相关的图上下文;
- 将图上下文和 provenance / evidence 转成自然语言;
- 拼成 prompt 输入 LLM;
- 一个重要设计是 prompt-aware context generation:
- 不是把整个图 schema 或大块子图全塞给模型;
- 而是通过 embedding 相似度对图上下文做 pruning,只保留和当前 prompt 最相关的部分;
- 这让它更像“图知识驱动的 prompt construction”,而不是通用开放域 GraphRAG 那种大规模图推理。
证据与结果
- 和 Cypher-RAG 相比,KG-RAG 的检索准确率约 97%,而 Cypher-RAG 约 75%;
- 当把实体名称简单改成小写做扰动时,Cypher-RAG 检索准确率直接掉到 0%,KG-RAG 仍保持 97%;
- token 使用上,Cypher-RAG 平均约 8006 tokens,而 KG-RAG 约 3693 tokens,减少约 53.9%;
- 在人工构造的 biomedical True/False 与 MCQ 数据上,KG-RAG 对多个 LLM 都有提升;
- 其中最显著的是 Llama-2-13b 在 MCQ 上从 0.31 ± 0.03 提升到 0.53 ± 0.03,约 71% 增长;
- GPT-3.5-Turbo 在 MCQ 上从 0.63 ± 0.03 提升到 0.79 ± 0.02;
- GPT-4 在 MCQ 上也从 0.68 ± 0.03 提升到 0.74 ± 0.03,但作者也指出 GPT-3.5 在这里反而比 GPT-4 更像“好上下文监听器”。
局限与开放问题
- 当前实现主要围绕疾病实体展开,覆盖范围有限;
- 依赖底层知识图 SPOKE 的质量与覆盖;
- 更适合领域精准问答,不是开放域通用 GraphRAG;
- 论文核心是框架与生物医学实验,不是统一 benchmark 下的通用图检索对比。
展开原始论文笔记全文
基本信息
- 作者: Karthik Soman, Peter W. Rose, John H. Morris, Rabia E. Akbas, Brett Smith, Braian Peetoom, Catalina Villouta-Reyes, Gabriel Cerono, Yongmei Shi, Angela Rizk-Jackson, Sharat Israni, Charlotte A. Nelson, Sui Huang, Sergio E. Baranzini
- 机构: UCSF, UC San Diego, Institute for Systems Biology 等
- 发表: arXiv preprint, 2023/2024
- arXiv: 2311.17330
一句话理解
这篇论文虽然官方标题没有直接写 KG-RAG,但提出的核心框架就是一个面向生物医学的 KG-RAG:从巨大的 SPOKE 知识图中抽取“对当前 prompt 真正有用的最小上下文”,再交给 LLM,以更少 token 获得更可靠的医学回答。
核心问题
- 生物医学是高知识密度、高事实风险领域,纯 prompt 或通用 RAG 很容易 hallucinate;
- 直接靠领域继续预训练/微调,成本高且维护难;
- 传统 KG-RAG / Cypher-RAG 在大图上容易依赖精确匹配,且会把大量 schema/token 浪费在与当前问题无关的信息上。
方法概述
- 论文使用生物医学知识图 SPOKE 作为显式知识源;
- 整体流程包括:
- 从用户 prompt 中识别疾病实体;
- 将实体映射到 SPOKE 中的对应节点;
- 抽取与 prompt 语义最相关的图上下文;
- 将图上下文和 provenance / evidence 转成自然语言;
- 拼成 prompt 输入 LLM;
- 一个重要设计是 prompt-aware context generation:
- 不是把整个图 schema 或大块子图全塞给模型;
- 而是通过 embedding 相似度对图上下文做 pruning,只保留和当前 prompt 最相关的部分;
- 这让它更像“图知识驱动的 prompt construction”,而不是通用开放域 GraphRAG 那种大规模图推理。
主要结果
- 和 Cypher-RAG 相比,KG-RAG 的检索准确率约 97%,而 Cypher-RAG 约 75%;
- 当把实体名称简单改成小写做扰动时,Cypher-RAG 检索准确率直接掉到 0%,KG-RAG 仍保持 97%;
- token 使用上,Cypher-RAG 平均约 8006 tokens,而 KG-RAG 约 3693 tokens,减少约 53.9%;
- 在人工构造的 biomedical True/False 与 MCQ 数据上,KG-RAG 对多个 LLM 都有提升;
- 其中最显著的是 Llama-2-13b 在 MCQ 上从 0.31 ± 0.03 提升到 0.53 ± 0.03,约 71% 增长;
- GPT-3.5-Turbo 在 MCQ 上从 0.63 ± 0.03 提升到 0.79 ± 0.02;
- GPT-4 在 MCQ 上也从 0.68 ± 0.03 提升到 0.74 ± 0.03,但作者也指出 GPT-3.5 在这里反而比 GPT-4 更像“好上下文监听器”。
我的理解
- 这篇论文和很多通用 GraphRAG 工作不同,它的重点不是多跳复杂图推理,而是领域精确性、证据溯源和 token 成本控制。
- 它证明了一件很实用的事:
- 对领域问题,图知识不一定要变成复杂 reasoning engine;
- 只要能把最相关、最可信、最省 token 的图上下文送进 LLM,收益就已经很大。
- 这使它很适合作为生物医学 GraphRAG / KG-RAG 的代表基线。
- 对比 MindMap:
- KG-RAG 更像知识接地和上下文构造;
- MindMap 更强调图式 prompting 和 reasoning process。
局限
- 当前实现主要围绕疾病实体展开,覆盖范围有限;
- 依赖底层知识图 SPOKE 的质量与覆盖;
- 更适合领域精准问答,不是开放域通用 GraphRAG;
- 论文核心是框架与生物医学实验,不是统一 benchmark 下的通用图检索对比。
相关主题
原始笔记论文/GraphRAG/KG-RAG.md