研究问题与动机
论文区分三个经常被混为一谈的对象:图中是否保存了原文知识、SPARQL 是否表达了用户问题、最终答案是否被来源支持。仅展示一条“检索路径”无法回答这些问题,因为被展示的节点可能来自错误抽取,或者多个 individually supported statement 被错误地组合。GraphRAGProv 用数据库 how-provenance 把答案绑定到参与计算的 statement occurrence,再绑定回原文词 span,使失败可定位。
- provenance 多项式如何处理答案生成阶段的上下文压缩和自然语言改写?
- 查询错误、抽取错误和生成错误能否在同一条样本上分离?
- 来源 occurrence 的可追溯性是否能转化为 evidence-set completeness 指标?
方法与机制
源段落被抽取为带文本证据的 RDF statement,存入 GraphDB 的 named graphs;LLM 生成 SPARQL,查询通过 Rust 实现的 NPCS 计算 how-provenance 多项式。React/FastAPI workbench 能同时展示问题、图语句、SPARQL、答案推导和原文高亮;点击 provenance factor 会回到贡献它的 statement 与文字位置。这样得到的是“该查询实际使用了哪些来源”的可审计记录,不是对自然语言答案自动给出充分性证明。
证据与结果
论文分析 2WikiMultiHopQA 200 个 compositional questions 和 MuSiQue 200 个 answerable questions,共 400 例。实验使用指定 support passages 构图,构图和 SPARQL 生成可见问题、期望答案和 reasoning evidence;因此这是受监督的诊断设置,明确不建立对未见问题的泛化结论。
- SPARQL 执行 398/400,返回答案 327/400,成功解码并完成原文 trace 311/400(2Wiki 193/200,MuSiQue 118/200);全部 311 条通过 occurrence 和 source-span 检查,绑定结果与普通查询执行一致。
- Meesaya Murukku:答案 India 正确,引用词 “Indian” 也存在,但它描述的是电影而非导演;问题在抽取/解释,不在 provenance 解析。
- Labyrinth:查询返回正确年份且两个陈述各自有来源,但漏掉“出版商发行该游戏”的关系;来源都是真的,查询却没有表达原问题。
- Aldobrandino:父亲关系和出生日期都被抽取,但被挂到两个不同 IRI,join 为空;直接检查图和查询可以区分“知识存在但实体不一致”。
局限与开放问题
- 构图使用 gold-support passages,并让模型看到问题、答案和推理证据;不能把 311 条完整 trace 当作普通检索条件下的成功率。
- provenance 记录的是已执行计算的来源,不保证该计算足以回答用户问题,也不替代生成答案的 claim-level faithfulness。
- 空结果没有可跟踪的推导,需要同时检查实体规范化、查询连接和图缺失。
- 该系统目前更像可交互的诊断/审计层;如何把 provenance 转成 evidence-set completeness、错误类型标签或训练信号仍未解决。
关联与拓展
- 对应 Q6:把“展示路径/节点 attribution”推进到可枚举的来源使用记录。
- 直接连接 领域现状与证据缺口 中“可解释性不等于证据使用证明”的缺口。
- 与 Ex-GraphRAG 对读:前者偏查询结果和来源组合,后者偏编码器节点贡献,解释对象不同。
- 与 Lightfoot 对读:前者验证查询使用了哪些原文来源,后者保证索引派生记录可精确删除。