GGraphRAG 文献图谱自动同步
LIT-4291A2AF · 年份待核验

Biomedical Knowledge Graph-Optimized Prompt Generation for Large Language Models

这篇论文虽然官方标题没有直接写 `KG-RAG`,但提出的核心框架就是一个**面向生物医学的 KG-RAG**:从巨大的 SPOKE 知识图中抽取“对当前 prompt 真正有用的最小上下文”,再交给 LLM,以更少 token 获得更可靠的医学回答。

摘要级记录优先级 P1作者待核验发表信息待核验
内容状态:摘要级记录。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

  • 生物医学是高知识密度、高事实风险领域,纯 prompt 或通用 RAG 很容易 hallucinate;
  • 直接靠领域继续预训练/微调,成本高且维护难;
  • 传统 KG-RAG / Cypher-RAG 在大图上容易依赖精确匹配,且会把大量 schema/token 浪费在与当前问题无关的信息上。

方法与机制

  • 论文使用生物医学知识图 SPOKE 作为显式知识源;
  • 整体流程包括:
    • 从用户 prompt 中识别疾病实体;
    • 将实体映射到 SPOKE 中的对应节点;
    • 抽取与 prompt 语义最相关的图上下文;
    • 将图上下文和 provenance / evidence 转成自然语言;
    • 拼成 prompt 输入 LLM;
  • 一个重要设计是 prompt-aware context generation:
    • 不是把整个图 schema 或大块子图全塞给模型;
    • 而是通过 embedding 相似度对图上下文做 pruning,只保留和当前 prompt 最相关的部分;
  • 这让它更像“图知识驱动的 prompt construction”,而不是通用开放域 GraphRAG 那种大规模图推理。

证据与结果

  • 和 Cypher-RAG 相比,KG-RAG 的检索准确率约 97%,而 Cypher-RAG 约 75%;
  • 当把实体名称简单改成小写做扰动时,Cypher-RAG 检索准确率直接掉到 0%,KG-RAG 仍保持 97%;
  • token 使用上,Cypher-RAG 平均约 8006 tokens,而 KG-RAG 约 3693 tokens,减少约 53.9%;
  • 在人工构造的 biomedical True/False 与 MCQ 数据上,KG-RAG 对多个 LLM 都有提升;
  • 其中最显著的是 Llama-2-13b 在 MCQ 上从 0.31 ± 0.03 提升到 0.53 ± 0.03,约 71% 增长;
  • GPT-3.5-Turbo 在 MCQ 上从 0.63 ± 0.03 提升到 0.79 ± 0.02;
  • GPT-4 在 MCQ 上也从 0.68 ± 0.03 提升到 0.74 ± 0.03,但作者也指出 GPT-3.5 在这里反而比 GPT-4 更像“好上下文监听器”。

局限与开放问题

  • 当前实现主要围绕疾病实体展开,覆盖范围有限;
  • 依赖底层知识图 SPOKE 的质量与覆盖;
  • 更适合领域精准问答,不是开放域通用 GraphRAG;
  • 论文核心是框架与生物医学实验,不是统一 benchmark 下的通用图检索对比。

关联与拓展

研究问题入口

Q1 领域边界与适用性, Q2 图构建与表示, Q3 证据检索与集合形成, Q6 证据来源与可解释性, Q8 效率与部署

展开原始论文笔记全文

基本信息

  • 作者: Karthik Soman, Peter W. Rose, John H. Morris, Rabia E. Akbas, Brett Smith, Braian Peetoom, Catalina Villouta-Reyes, Gabriel Cerono, Yongmei Shi, Angela Rizk-Jackson, Sharat Israni, Charlotte A. Nelson, Sui Huang, Sergio E. Baranzini
  • 机构: UCSF, UC San Diego, Institute for Systems Biology 等
  • 发表: arXiv preprint, 2023/2024
  • arXiv: 2311.17330

一句话理解

这篇论文虽然官方标题没有直接写 KG-RAG,但提出的核心框架就是一个面向生物医学的 KG-RAG:从巨大的 SPOKE 知识图中抽取“对当前 prompt 真正有用的最小上下文”,再交给 LLM,以更少 token 获得更可靠的医学回答。

核心问题

  • 生物医学是高知识密度、高事实风险领域,纯 prompt 或通用 RAG 很容易 hallucinate;
  • 直接靠领域继续预训练/微调,成本高且维护难;
  • 传统 KG-RAG / Cypher-RAG 在大图上容易依赖精确匹配,且会把大量 schema/token 浪费在与当前问题无关的信息上。

方法概述

  • 论文使用生物医学知识图 SPOKE 作为显式知识源;
  • 整体流程包括:
    • 从用户 prompt 中识别疾病实体;
    • 将实体映射到 SPOKE 中的对应节点;
    • 抽取与 prompt 语义最相关的图上下文;
    • 将图上下文和 provenance / evidence 转成自然语言;
    • 拼成 prompt 输入 LLM;
  • 一个重要设计是 prompt-aware context generation:
    • 不是把整个图 schema 或大块子图全塞给模型;
    • 而是通过 embedding 相似度对图上下文做 pruning,只保留和当前 prompt 最相关的部分;
  • 这让它更像“图知识驱动的 prompt construction”,而不是通用开放域 GraphRAG 那种大规模图推理。

主要结果

  • 和 Cypher-RAG 相比,KG-RAG 的检索准确率约 97%,而 Cypher-RAG 约 75%;
  • 当把实体名称简单改成小写做扰动时,Cypher-RAG 检索准确率直接掉到 0%,KG-RAG 仍保持 97%;
  • token 使用上,Cypher-RAG 平均约 8006 tokens,而 KG-RAG 约 3693 tokens,减少约 53.9%;
  • 在人工构造的 biomedical True/False 与 MCQ 数据上,KG-RAG 对多个 LLM 都有提升;
  • 其中最显著的是 Llama-2-13b 在 MCQ 上从 0.31 ± 0.03 提升到 0.53 ± 0.03,约 71% 增长;
  • GPT-3.5-Turbo 在 MCQ 上从 0.63 ± 0.03 提升到 0.79 ± 0.02;
  • GPT-4 在 MCQ 上也从 0.68 ± 0.03 提升到 0.74 ± 0.03,但作者也指出 GPT-3.5 在这里反而比 GPT-4 更像“好上下文监听器”。

我的理解

  • 这篇论文和很多通用 GraphRAG 工作不同,它的重点不是多跳复杂图推理,而是领域精确性、证据溯源和 token 成本控制。
  • 它证明了一件很实用的事:
    • 对领域问题,图知识不一定要变成复杂 reasoning engine;
    • 只要能把最相关、最可信、最省 token 的图上下文送进 LLM,收益就已经很大。
  • 这使它很适合作为生物医学 GraphRAG / KG-RAG 的代表基线。
  • 对比 MindMap:
    • KG-RAG 更像知识接地和上下文构造;
    • MindMap 更强调图式 prompting 和 reasoning process。

局限

  • 当前实现主要围绕疾病实体展开,覆盖范围有限;
  • 依赖底层知识图 SPOKE 的质量与覆盖;
  • 更适合领域精准问答,不是开放域通用 GraphRAG;
  • 论文核心是框架与生物医学实验,不是统一 benchmark 下的通用图检索对比。

相关主题

  • GraphRAG MOC - GraphRAG 研究全景图
  • MindMap - 医学场景下的 KG prompting 推理
  • MED-COPILOT - 医疗场景中的图/知识增强协同 �����������