GGraphRAG 文献图谱自动同步
LIT-E9372FB7 · 2026

Subgraph Reconstruction Attacks on Graph RAG Deployments

本文把 GraphRAG 结构泄露形式化为 targeted one-hop subgraph reconstruction,并证明在 safe prompt 已启用的部署中,攻击与防御的关键不只是“能否拒绝敏感请求”,而是 relation table 的实例边界、字段归属和多轮新关系收益。

PDF 级阅读卡优先级 P0Minkyoo Song, Jaehan Kim, Myungchul Kang, Hanna Kim, Seungwon Shin, Sooel Son未标注正式会议或期刊,PDF 模板仍显示 Conference'17 占位
内容状态:PDF 级阅读卡。结构化摘录继承当前知识库的来源等级;具体 claim 应回到一手论文核验。

研究问题与动机

  • 研究问题:GraphRAG 会把 query-relevant entities、relations 和 source texts 组织为结构化上下文交给 LLM。这个结构化上下文本来用于提升多跳推理,但也可能让授权用户通过多轮交互恢复目标实体的一跳邻域。

  • 为什么重要:在企业、医疗、金融和法律 GraphRAG 中,一条边不只是一个事实,还可能代表组织权限、HR 状态、诊断、用药、交易关系或合规风险。即使系统不泄露原文,typed relation 和 neighborhood structure 也可能构成隐私或知识产权泄露。

  • 现有路线:

    • 传统 RAG extraction attack 多关注重复 retrieved text 或私有片段。
    • GraphSteal - Structural Knowledge Stealing from GraphRAG 证明黑盒多轮 traversal 可以恢复图结构,但更偏 BFS/DFS 式大范围结构窃取。
    • 本文聚焦更现实的 defended GraphRAG:系统已有 safe prompt,明确禁止逐字泄露上下文和底层图结构。
  • 对本知识库的意义:这篇论文补上了 GraphRAG的鲁棒性框架 中“结构隐私泄露如何评测、防御如何比较”的缺口,尤其强调 targeted one-hop relation reconstruction 和 benign QA utility 的同时报告。

  • 现有攻击过于显式:直接要求 repeat / list context 或 retrieved graph structures,容易被 safe prompt 和模型安全机制拒绝。

  • 现有攻击保真度不足:即使没有完全拒答,safe prompt 诱导的摘要、改写和抽象会改变实体别名、关系动词和方向,导致 typed relation matching 失败。

  • 固定模板很快饱和:同一个目标实体周围的 retrieved context 有边界,重复同类 query 通常只得到相同关系或相同拒答。

  • 现有防御评测不够 GraphRAG-specific:传统 prompt blocking、summarization、输出长度限制或 decoding noise 没有直接针对 relation table 的 instance identity 和 field attribution。

方法与机制

1. 威胁模型:closed-box GraphRAG + 小预算目标实体查询

输入:目标 GraphRAG 系统、目标实体 $t$、有限 query budget。攻击者是合法用户、窃取凭证用户或授权外部用户,只能通过标准 API / UI 提问。

攻击者不知道:

  • chat LLM;
  • retriever;
  • embedding model;
  • underlying KG;
  • schema;
  • 目标实体的一跳 incident edges。

GraphRAG 在 query time 把结构化上下文交给 LLM:

C_q=V(q)\oplus R(q)\oplus T(q)

其中 $V(q)$ 是 query-relevant entities,$R(q)$ 是 retrieved relations,$T(q)$ 是 associated texts。

输出风险:系统回答虽然是自然语言,但背后的 entities / relations / texts 可能被多轮聚合成目标实体的一跳子图。

2. 任务形式化:恢复目标实体的一跳 typed relations

输入:GraphRAG 知识图谱

G=(V,E)

每条边是 typed relation:

(u,r_{type},v)

对目标实体 $t$,一跳 relation set 定义为:

E_t=\{(u,r_{type},v)\in E\mid u=t\vee v=t\}

对应一跳子图为:

G_t=(V_t,E_t)

计算目标:通过多轮交互恢复预测集合 $\hat{E}_t$。因为 $E_t$ 已决定 $G_t$,论文把子图重构化为 Targeted Relation Extraction。

输出:目标实体相关的 typed relation set。评估时分两种匹配:

  • RType:实体对、关系类型、方向都必须匹配。
  • Naive:只匹配实体对,忽略关系类型。

3. 失败分析:为什么 prior extraction attacks 在 defended GraphRAG 中失效

论文先在 Microsoft GraphRAG + 5,000 Enron emails 上测试已有攻击提示。系统启用 safe prompt,禁止逐字泄露 retrieved tables 和底层图结构。

主要发现:

  • 显式 repeat/list 类请求触发拒答,P3/P4 这类 graph-targeted prompt 在 safe prompt 下 rejection rate 到 100%。
  • 即使不拒答,safe prompt 的摘要/改写会破坏 typed relation fidelity:实体被缩写、关系动词被 paraphrase、方向可能被模糊。
  • 10 次同模板重复查询收益很快饱和,累计 recall 不再增长。

这导出三个设计需求:

  • R1 Intent evasion:避免显式 dump retrieved context。
  • R2 Relation-instance fidelity:保护 relation type、endpoint 和方向。
  • R3 Adaptive discovery:多轮查询需要根据新发现关系动态改变搜索方向。

4. GRASP 查询结构:Target + Diversity + Extraction

GRASP 的单轮查询结构写成:

q_{adv}=Target\oplus Diversity\oplus Extraction

输入:

  • Target:把检索锚定到目标实体。
  • Diversity:改变 retrieval / extraction focus,避免重复。
  • Extraction:把输出约束为 incident relation extraction。

计算:

  • Target 让 GraphRAG retriever 取到目标实体相关的 relation table。
  • Diversity 根据历史结果引导下一轮探索未覆盖 relation type 或剩余高置信关系。
  • Extraction 把 LLM 的任务从“泄露图结构”改写成“从给定结构化上下文中抽取与目标相关的关系”。

输出:每轮解析出的 newly discovered relations,加入 $\hat{E}_t$。

5. Extraction template:实例边界和固定格式降低幻觉

这张图展示的是论文中的 extraction template 结构。卡片只记录机制,不把它作为可复用攻击指令:

  • 红框:任务重述为 relation extraction,并要求从 relation table 中识别 quadruples。
  • 绿框:固定输出格式,使每条 relation 可被下游解析。
  • 橙框:要求 relation 必须来自表中现有记录,且目标实体必须是 source 或 destination。

关键计算点:论文发现仅输出 triplet $(src,rtype,dst)$ 容易产生 cross-instance hallucination。例如 source、relation type、destination 都在上下文中出现,但 LLM 会拼成不存在的边。加入 per-instance ID 后,每条预测都被绑定到具体 retrieved record,减少错误拼接。

输出:比自由文本或无 ID triplet 更稳定的 typed relation predictions。

6. Diversity templates:在有限预算内覆盖更多 relation types

GRASP 使用四类 diversity templates:

  • A Context-frame drift:用高层 domain frames 改变检索语境,尝试跳出重复 context。

原始笔记摘录已截断;请打开来源笔记阅读完整内容。

证据与结果

1. 主结果:GRASP 在 defended setting 下明显优于 baseline

Table 3 比较两个数据集、四个 chat models、RType / Naive 两套指标。

关键结果:

  • Enron + Claude Haiku 4.5:GRASP RType 84.8 / 81.1 / 82.9,Naive 85.9 / 81.2 / 83.5。
  • Enron + GPT5-mini:GRASP RType 74.8 / 67.9 / 71.2。
  • Enron + Qwen3 30B:GRASP RType 70.8 / 76.0 / 73.3。
  • HCM + Claude Haiku 4.5:GRASP RType 86.2 / 78.9 / 82.4。
  • HCM + Qwen3 30B:GRASP RType 73.6 / 76.4 / 74.9。

解读:baseline 偶尔能恢复实体对,但 RType 经常接近 0,说明 typed relation 是 GraphRAG 结构隐私评测的关键难点。GRASP 的主要优势不是“多问几次”,而是把 instance grounding、typed output 和 adaptive discovery 组合起来。

2. 消融:ID、diversity、scheduler 分别解决不同失败模式

Figure 8 在 Enron + GPT4o-mini + RType 上做消融:

  • full:64.9 / 66.4 / 65.6。
  • w/o id:precision 从 64.9 降到 34.4,F1 降到 40.1。
  • w/o diversity:recall 降到 56.0,F1 下降约 4.9。
  • w/o scheduler:58.6 / 61.0 / 59.8。

解读:

  • ID 是 precision 的关键,主要减少 relation hallucination 和 cross-instance mixing。
  • Diversity 是 recall 的关键,帮助找未覆盖 relation type。
  • Scheduler 是预算效率的关键,减少随机模板浪费。

Figure 9 显示多轮查询 recall 会持续上升,但 precision 在早期达到高点后下降;这支持 Good-Turing early stopping,而不是无脑增加查询轮数。

Figure 10 显示跨系统泛化:

  • GraphRAG:74.8 / 67.9 / 71.2。
  • LightRAG:recall 88.1,F1 81.8。
  • nano-GraphRAG:recall 89.0,F1 83.7。

解读:undirected graph 系统更容易被恢复,因为不需要严格恢复边方向;这提示“图表示选择”本身也是结构隐私风险因素。

3. 防御结果:prompt / summarization 不够,context-construction 更有效

Table 4 展示 context-construction 防御思路:

  • ID Alignment:把 retrieved relation table 中的 ID 对齐成同一值,破坏 instance delimiting。
  • Decoy:加入与真实 endpoints 不一致的 src_entity / dst_entity decoy columns,并用 benign instruction 要求正常回答忽略这些内部字段。

Table 5 的关键结果:

  • GPT4o-mini:
    • Safe prompt:F1 65.6,基本挡不住 GRASP。
    • Reject:F1 60.1,仍有大量剩余泄露。
    • ID Align:F1 47.0。
    • Decoy:F1 14.5。
    • Decoy + ID Align:F1 16.8。
    • Decoy + ID Align + Reject:F1 17.8。
  • Qwen3 30B:
    • Safe prompt:F1 73.3。
    • ID Align:F1 58.4。
    • Decoy:F1 27.4。
    • Decoy + ID Align:F1 15.5。
    • Decoy + ID Align + Reject:F1 14.8。

Utility 基本保持在 27-28 Rouge-L F1 附近,说明 context-construction 防御相对 prompt-only 防御更有针对性。

解读:结构隐私防御要针对“攻击依赖的结构信号”。安全提示和摘要改写很难阻断任务重述后的 typed relation recovery;破坏 instance identity 和 field attribution 更有效。

4. PAD 取舍:decoding-time privacy noise 难以兼顾强模型和正常 utility

PAD 是 Privacy-Aware Decoding。论文在 Qwen3 30B 上测试后发现:

  • PAD-3:attack F1 仍有 70.0,只比 no defense 75.4 小幅下降,但 utility 下降 13.8%。
  • PAD-6:attack F1 降到 53.2,但 utility 只剩 3.3,正常回答质量严重受损。

解读:强模型在执行任务重述式关系抽取时也可能非常自信,因此基于 token confidence 的 decoding noise 很难精准打击泄露 token;要显著降低泄露,往往要牺牲正常输出。

局限与开放问题

  • 攻击与防御评估主要在 Enron 和 HealthCareMagic 两类图上,企业权限图、金融交易图、法律案例图、代码图和动态长期记忆图仍需验证。

  • 目标是 one-hop subgraph reconstruction;多跳 targeted reconstruction、跨目标联动扩张和社区级结构泄露没有系统展开。

  • 防御仍有剩余泄露:组合防御把 F1 降到 mid-teens,但没有完全阻断 incident relation recovery。

  • Utility 主要用 Rouge-L F1 衡量,不能完全代表真实 GraphRAG 用户任务质量、faithfulness、citation quality 或合规风险。

  • 防御依赖 relation table schema 可被改造;对不同 GraphRAG 框架、不同表字段、不同结构线性化方式的通用性需要进一步评估。

  • 论文给出了攻击机制,研究价值在于评测风险和设计防御;实际部署应把这些结论转化为隐私保护、异常检测和最小化检索策略,而不是扩展攻击能力。

  • 作者方向:

    • 发展 GraphRAG-specific protections,而不只依赖 intent-based prompt blocking。
    • 在 context construction 层设计更多破坏 instance identity、field attribution 和结构可解析性的防御。
    • 进一步评估 residual extraction 和 layered mitigations。
  • Agent 推断的 Research Opportunities:

    • 建立 GraphRAG structural privacy benchmark:同时报告 RType F1、Naive F1、NRR、MCS、GED、sensitive-edge recall、query budget、attack tokens 和 benign QA utility。
    • 做 privacy-aware retrieval minimization:只返回回答所需的最小充分结构,而不是默认返回完整 top-k relation table。
    • 做 stateful structural leakage detector:记录多轮 target overlap、relation-type coverage growth、frontier-like entity reuse、Good-Turing missing mass 和 abnormal incident-edge accumulation。
    • 做 schema-aware decoy / alignment defense:按领域 schema 自动判断哪些字段可扰动、哪些字段会损害正常 QA。
    • 与 GraphRAG-Router - Cost-Efficient Routing over GraphRAGs and LLMs 结合:对高风险 query 启用 privacy-minimized retrieval mode 或 context-construction defense。
    • 与 GraphRAG on Consumer Hardware - Local LLMs for Healthcare EHR Schema Retrieval 对照:本地部署解决数据出域,但不自动解决授权用户交互式结构重构。

关联与拓展

研究问题入口

Q2 图构建与表示, Q3 证据检索与集合形成, Q4 查询规划与执行, Q5 动态状态与学习策略, Q6 证据来源与可解释性

展开原始论文笔记全文

基本信息

  • 英文标题:Subgraph Reconstruction Attacks on Graph RAG Deployments with Practical Defenses
  • 中文标题:带实用防御的 Graph RAG 部署子图重构攻击
  • 方法名:GRASP,Graph RAG Reconstruction Attack for Subgraph Profiling
  • 作者:Minkyoo Song, Jaehan Kim, Myungchul Kang, Hanna Kim, Seungwon Shin, Sooel Son
  • 机构:KAIST;National Security Research Institute & KAIST
  • 年份:2026
  • 版本:arXiv v1,2026-02-06
  • 会议 / 期刊:未标注正式会议或期刊,PDF 模板仍显示 Conference'17 占位
  • 链接:arXiv
  • PDF:查看论文原文
  • 代码:正文未给出官方代码链接;文中只引用 Microsoft GraphRAG 和 nano-GraphRAG 等系统仓库。
  • Semantic Scholar:标题匹配 paperId 2cd221a6f69893b8f2d7948d05f164142f3c8c61,CorpusId 285401531,DOI 10.48550/arXiv.2602.06495,citationCount 1。
  • 阅读状态:PDF级
  • 所属方向:GraphRAG security、structural privacy、targeted subgraph reconstruction、privacy-utility trade-off
  • 优先级:P0

Background

  • 研究问题:GraphRAG 会把 query-relevant entities、relations 和 source texts 组织为结构化上下文交给 LLM。这个结构化上下文本来用于提升多跳推理,但也可能让授权用户通过多轮交互恢复目标实体的一跳邻域。
  • 为什么重要:在企业、医疗、金融和法律 GraphRAG 中,一条边不只是一个事实,还可能代表组织权限、HR 状态、诊断、用药、交易关系或合规风险。即使系统不泄露原文,typed relation 和 neighborhood structure 也可能构成隐私或知识产权泄露。
  • 现有路线:
    • 传统 RAG extraction attack 多关注重复 retrieved text 或私有片段。
    • GraphSteal - Structural Knowledge Stealing from GraphRAG 证明黑盒多轮 traversal 可以恢复图结构,但更偏 BFS/DFS 式大范围结构窃取。
    • 本文聚焦更现实的 defended GraphRAG:系统已有 safe prompt,明确禁止逐字泄露上下文和底层图结构。
  • 对本知识库的意义:这篇论文补上了 GraphRAG的鲁棒性框架 中“结构隐私泄露如何评测、防御如何比较”的缺口,尤其强调 targeted one-hop relation reconstruction 和 benign QA utility 的同时报告。

Gap

  • 现有攻击过于显式:直接要求 repeat / list context 或 retrieved graph structures,容易被 safe prompt 和模型安全机制拒绝。
  • 现有攻击保真度不足:即使没有完全拒答,safe prompt 诱导的摘要、改写和抽象会改变实体别名、关系动词和方向,导致 typed relation matching 失败。
  • 固定模板很快饱和:同一个目标实体周围的 retrieved context 有边界,重复同类 query 通常只得到相同关系或相同拒答。
  • 现有防御评测不够 GraphRAG-specific:传统 prompt blocking、summarization、输出长度限制或 decoding noise 没有直接针对 relation table 的 instance identity 和 field attribution。

Insight

  • 一句话创新点:本文把 GraphRAG 结构泄露形式化为 targeted one-hop subgraph reconstruction,并证明在 safe prompt 已启用的部署中,攻击与防御的关键不只是“能否拒绝敏感请求”,而是 relation table 的实例边界、字段归属和多轮新关系收益。
  • 核心洞察:
    • GraphRAG 的结构化上下文天然带有表格字段和 relation IDs,这些信号能帮助 LLM 保持 relation-type fidelity,也会成为泄露通道。
    • Prompt-level 安全约束可以压制显式泄露,但对“看似正常的数据处理任务”式请求更弱。
    • 防御应从 context construction 层破坏攻击依赖的 instance identity / field attribution,而不是只在生成阶段拒答或改写。
    • 结构隐私评测必须同时报告 reconstruction F1 与 benign utility,否则无法判断防御是否只是牺牲正常 QA。

Method

1. 威胁模型:closed-box GraphRAG + 小预算目标实体查询

Subgraph-Reconstruction-fig2-attack-scenario

输入:目标 GraphRAG 系统、目标实体 $t$、有限 query budget。攻击者是合法用户、窃取凭证用户或授权外部用户,只能通过标准 API / UI 提问。

攻击者不知道:

  • chat LLM;
  • retriever;
  • embedding model;
  • underlying KG;
  • schema;
  • 目标实体的一跳 incident edges。

GraphRAG 在 query time 把结构化上下文交给 LLM:

C_q=V(q)\oplus R(q)\oplus T(q)

其中 $V(q)$ 是 query-relevant entities,$R(q)$ 是 retrieved relations,$T(q)$ 是 associated texts。

输出风险:系统回答虽然是自然语言,但背后的 entities / relations / texts 可能被多轮聚合成目标实体的一跳子图。

2. 任务形式化:恢复目标实体的一跳 typed relations

输入:GraphRAG 知识图谱

G=(V,E)

每条边是 typed relation:

(u,r_{type},v)

对目标实体 $t$,一跳 relation set 定义为:

E_t=\{(u,r_{type},v)\in E\mid u=t\vee v=t\}

对应一跳子图为:

G_t=(V_t,E_t)

计算目标:通过多轮交互恢复预测集合 $\hat{E}_t$。因为 $E_t$ 已决定 $G_t$,论文把子图重构化为 Targeted Relation Extraction。

输出:目标实体相关的 typed relation set。评估时分两种匹配:

  • RType:实体对、关系类型、方向都必须匹配。
  • Naive:只匹配实体对,忽略关系类型。

3. 失败分析:为什么 prior extraction attacks 在 defended GraphRAG 中失效

论文先在 Microsoft GraphRAG + 5,000 Enron emails 上测试已有攻击提示。系统启用 safe prompt,禁止逐字泄露 retrieved tables 和底层图结构。

主要发现:

  • 显式 repeat/list 类请求触发拒答,P3/P4 这类 graph-targeted prompt 在 safe prompt 下 rejection rate 到 100%。
  • 即使不拒答,safe prompt 的摘要/改写会破坏 typed relation fidelity:实体被缩写、关系动词被 paraphrase、方向可能被模糊。
  • 10 次同模板重复查询收益很快饱和,累计 recall 不再增长。

这导出三个设计需求:

  • R1 Intent evasion:避免显式 dump retrieved context。
  • R2 Relation-instance fidelity:保护 relation type、endpoint 和方向。
  • R3 Adaptive discovery:多轮查询需要根据新发现关系动态改变搜索方向。

4. GRASP 查询结构:Target + Diversity + Extraction

GRASP 的单轮查询结构写成:

q_{adv}=Target\oplus Diversity\oplus Extraction

输入:

  • Target:把检索锚定到目标实体。
  • Diversity:改变 retrieval / extraction focus,避免重复。
  • Extraction:把输出约束为 incident relation extraction。

计算:

  • Target 让 GraphRAG retriever 取到目标实体相关的 relation table。
  • Diversity 根据历史结果引导下一轮探索未覆盖 relation type 或剩余高置信关系。
  • Extraction 把 LLM 的任务从“泄露图结构”改写成“从给定结构化上下文中抽取与目标相关的关系”。

输出:每轮解析出的 newly discovered relations,加入 $\hat{E}_t$。

5. Extraction template:实例边界和固定格式降低幻觉

Subgraph-Reconstruction-fig6-extraction-template

这张图展示的是论文中的 extraction template 结构。卡片只记录机制,不把它作为可复用攻击指令:

  • 红框:任务重述为 relation extraction,并要求从 relation table 中识别 quadruples。
  • 绿框:固定输出格式,使每条 relation 可被下游解析。
  • 橙框:要求 relation 必须来自表中现有记录,且目标实体必须是 source 或 destination。

关键计算点:论文发现仅输出 triplet $(src,rtype,dst)$ 容易产生 cross-instance hallucination。例如 source、relation type、destination 都在上下文中出现,但 LLM 会拼成不存在的边。加入 per-instance ID 后,每条预测都被绑定到具体 retrieved record,减少错误拼接。

输出:比自由文本或无 ID triplet 更稳定的 typed relation predictions。

6. Diversity templates:在有限预算内覆盖更多 relation types

Subgraph-Reconstruction-fig7-diversity-templates

GRASP 使用四类 diversity templates:

  • A Context-frame drift:用高层 domain frames 改变检索语境,尝试跳出重复 context。
  • B Type expand:围绕已观察到的 relation types 扩展覆盖。
  • C Type explore:优先探索未观察到的 relation types。
  • D Residual extract:接近饱和时保守扫尾,限制候选数量,降低噪声。

输入:当前已发现 relation set $E$、已观察 relation types $T$、最近几轮是否有新增。

计算:每轮先排除已发现关系,再按模板选择新的 retrieval / extraction focus。

输出:同一目标实体周围更高覆盖率的 incident relations。

7. Momentum-aware scheduler:用新关系收益控制模板和早停

Subgraph-Reconstruction-algorithm1-scheduler

调度器维护三个状态变量:

  • $E$:已抽取关系集合。
  • $T$:已观察关系类型集合。
  • $\mu_e$:每轮 newly discovered relations 的 EMA。

新增关系 EMA:

\mu_e^{(q)}=\alpha e_q+(1-\alpha)\mu_e^{(q-1)}

其中 $e_q=|E_{new}^{(q)}|$。

Momentum state:

  • Surge:$\mu_e>2.0$,说明仍有大量新关系,偏 exploitation。
  • Steady:$0.5\le\mu_e\le2.0$,平衡 exploration / exploitation。
  • Stall:$\mu_e<0.5$,说明接近饱和,偏 recovery。

Good-Turing novelty estimate 用于早停。设滑动窗口 $\mathcal{W}$ 中 raw relation 数为 $R$,只出现一次的 singleton 数为 $f_1$:

\hat{p}_0=\frac{f_1}{R}

平均每轮样本量:

\bar{K}=\frac{R}{|\mathcal{W}|}

下一轮期望新增关系:

\hat{y}=\bar{K}\hat{p}_0=\frac{f_1}{|\mathcal{W}|}

若 warm-up 后 $\hat{y}<0.3$,则提前停止,避免低收益多轮查询带来噪声和检测风险。

模板成功率也用 EMA 更新:

\mu_\theta\leftarrow \alpha\cdot [E_{new}\neq\emptyset]+(1-\alpha)\mu_\theta

并调整模板采样权重:

w'_\theta=w_\theta\cdot(0.25+1.5\mu_\theta+0.5|\mu_\theta-0.5|)

输出:在 $Q_{max}=10$ 的预算内,优先选择最近更有收益、且符合当前 saturation 状态的模板。

8. 实验设置:defended Microsoft GraphRAG

论文主实验使用 Microsoft GraphRAG:

  • graph construction LLM:GPT4o-mini。
  • graph construction embedding:text-embedding-3-small。
  • local search:top-10 entities、top-10 relations。
  • chat models:GPT4o-mini、GPT5-mini、Claude Haiku 4.5、Qwen3 30B。
  • datasets:Enron、HealthCareMagic。
  • 每个数据集 5,000 documents。
  • 每个图随机采样 50 个 degree >= 5 的 target entities。
  • query budget:$Q_{max}=10$。

输出指标:Precision / Recall / F1,分别报告 RType 和 Naive。

Results

1. 主结果:GRASP 在 defended setting 下明显优于 baseline

Subgraph-Reconstruction-table3-attack-results

Table 3 比较两个数据集、四个 chat models、RType / Naive 两套指标。

关键结果:

  • Enron + Claude Haiku 4.5:GRASP RType 84.8 / 81.1 / 82.9,Naive 85.9 / 81.2 / 83.5。
  • Enron + GPT5-mini:GRASP RType 74.8 / 67.9 / 71.2。
  • Enron + Qwen3 30B:GRASP RType 70.8 / 76.0 / 73.3。
  • HCM + Claude Haiku 4.5:GRASP RType 86.2 / 78.9 / 82.4。
  • HCM + Qwen3 30B:GRASP RType 73.6 / 76.4 / 74.9。

解读:baseline 偶尔能恢复实体对,但 RType 经常接近 0,说明 typed relation 是 GraphRAG 结构隐私评测的关键难点。GRASP 的主要优势不是“多问几次”,而是把 instance grounding、typed output 和 adaptive discovery 组合起来。

2. 消融:ID、diversity、scheduler 分别解决不同失败模式

Subgraph-Reconstruction-fig8-fig10-ablation-systems

Figure 8 在 Enron + GPT4o-mini + RType 上做消融:

  • full:64.9 / 66.4 / 65.6。
  • w/o id:precision 从 64.9 降到 34.4,F1 降到 40.1。
  • w/o diversity:recall 降到 56.0,F1 下降约 4.9。
  • w/o scheduler:58.6 / 61.0 / 59.8。

解读:

  • ID 是 precision 的关键,主要减少 relation hallucination 和 cross-instance mixing。
  • Diversity 是 recall 的关键,帮助找未覆盖 relation type。
  • Scheduler 是预算效率的关键,减少随机模板浪费。

Figure 9 显示多轮查询 recall 会持续上升,但 precision 在早期达到高点后下降;这支持 Good-Turing early stopping,而不是无脑增加查询轮数。

Figure 10 显示跨系统泛化:

  • GraphRAG:74.8 / 67.9 / 71.2。
  • LightRAG:recall 88.1,F1 81.8。
  • nano-GraphRAG:recall 89.0,F1 83.7。

解读:undirected graph 系统更容易被恢复,因为不需要严格恢复边方向;这提示“图表示选择”本身也是结构隐私风险因素。

3. 防御结果:prompt / summarization 不够,context-construction 更有效

Subgraph-Reconstruction-table4-table5-defenses

Table 4 展示 context-construction 防御思路:

  • ID Alignment:把 retrieved relation table 中的 ID 对齐成同一值,破坏 instance delimiting。
  • Decoy:加入与真实 endpoints 不一致的 src_entity / dst_entity decoy columns,并用 benign instruction 要求正常回答忽略这些内部字段。

Table 5 的关键结果:

  • GPT4o-mini:
    • Safe prompt:F1 65.6,基本挡不住 GRASP。
    • Reject:F1 60.1,仍有大量剩余泄露。
    • ID Align:F1 47.0。
    • Decoy:F1 14.5。
    • Decoy + ID Align:F1 16.8。
    • Decoy + ID Align + Reject:F1 17.8。
  • Qwen3 30B:
    • Safe prompt:F1 73.3。
    • ID Align:F1 58.4。
    • Decoy:F1 27.4。
    • Decoy + ID Align:F1 15.5。
    • Decoy + ID Align + Reject:F1 14.8。

Utility 基本保持在 27-28 Rouge-L F1 附近,说明 context-construction 防御相对 prompt-only 防御更有针对性。

解读:结构隐私防御要针对“攻击依赖的结构信号”。安全提示和摘要改写很难阻断任务重述后的 typed relation recovery;破坏 instance identity 和 field attribution 更有效。

4. PAD 取舍:decoding-time privacy noise 难以兼顾强模型和正常 utility

Subgraph-Reconstruction-fig11-pad-tradeoff

PAD 是 Privacy-Aware Decoding。论文在 Qwen3 30B 上测试后发现:

  • PAD-3:attack F1 仍有 70.0,只比 no defense 75.4 小幅下降,但 utility 下降 13.8%。
  • PAD-6:attack F1 降到 53.2,但 utility 只剩 3.3,正常回答质量严重受损。

解读:强模型在执行任务重述式关系抽取时也可能非常自信,因此基于 token confidence 的 decoding noise 很难精准打击泄露 token;要显著降低泄露,往往要牺牲正常输出。

Limitations

  • 攻击与防御评估主要在 Enron 和 HealthCareMagic 两类图上,企业权限图、金融交易图、法律案例图、代码图和动态长期记忆图仍需验证。
  • 目标是 one-hop subgraph reconstruction;多跳 targeted reconstruction、跨目标联动扩张和社区级结构泄露没有系统展开。
  • 防御仍有剩余泄露:组合防御把 F1 降到 mid-teens,但没有完全阻断 incident relation recovery。
  • Utility 主要用 Rouge-L F1 衡量,不能完全代表真实 GraphRAG 用户任务质量、faithfulness、citation quality 或合规风险。
  • 防御依赖 relation table schema 可被改造;对不同 GraphRAG 框架、不同表字段、不同结构线性化方式的通用性需要进一步评估。
  • 论文给出了攻击机制,研究价值在于评测风险和设计防御;实际部署应把这些结论转化为隐私保护、异常检测和最小化检索策略,而不是扩展攻击能力。

Future Directions

  • 作者方向:
    • 发展 GraphRAG-specific protections,而不只依赖 intent-based prompt blocking。
    • 在 context construction 层设计更多破坏 instance identity、field attribution 和结构可解析性的防御。
    • 进一步评估 residual extraction 和 layered mitigations。
  • Agent 推断的 Research Opportunities:
    • 建立 GraphRAG structural privacy benchmark:同时报告 RType F1、Naive F1、NRR、MCS、GED、sensitive-edge recall、query budget、attack tokens 和 benign QA utility。
    • 做 privacy-aware retrieval minimization:只返回回答所需的最小充分结构,而不是默认返回完整 top-k relation table。
    • 做 stateful structural leakage detector:记录多轮 target overlap、relation-type coverage growth、frontier-like entity reuse、Good-Turing missing mass 和 abnormal incident-edge accumulation。
    • 做 schema-aware decoy / alignment defense:按领域 schema 自动判断哪些字段可扰动、哪些字段会损害正常 QA。
    • 与 GraphRAG-Router - Cost-Efficient Routing over GraphRAGs and LLMs 结合:对高风险 query 启用 privacy-minimized retrieval mode 或 context-construction defense。
    • 与 GraphRAG on Consumer Hardware - Local LLMs for Healthcare EHR Schema Retrieval 对照:本地部署解决数据出域,但不自动解决授权用户交互式结构重构。

与本知识库的连接

一句话定位

这篇论文把 GraphRAG 安全问题从“会不会泄露文本”推进到“授权接口能否恢复目标实体的一跳 typed subgraph”,并说明有效防御应在 context construction 层破坏实例边界和字段归属,同时报告正常 QA utility。