以下区分三类陈述:
- 代码事实:当前仓库已经实现并可由代码/实验记录核对。
- 能力推论:由当前计算图能够支持,但不等于已经验证。
- 研究假设:下面提出、需要通过新实验检验。
我没有修改当前工作树。当前最值得投入的方向是:
Provenance-conditioned Proof-State Retrieval:让实体状态、关系路径和文档来源在同一个查询条件化的“证明状态”中联合演化,而不是先算实体分数、再独立聚合文档。
它直接对应当前最清晰的失败模式,同时仍能复用现有 QS backbone 和缓存体系。
———
1. 现有框架的核心假设与能力边界
1.1 Stage-1 图与文档数据
当前流程是:
corpus -> OpenIE triples -> entity normalization / entity linking -> kg.txt + document2entities.json -> Stage-2 graph and QA cache
OpenIE 结果会暂时写入 passage_info.json,其中仍保留文档级 clean triples;但建图使用:
graph[(head_ent, tail_ent)] = relation
因此相同 (head, tail) 的多个关系会被后写入的关系覆盖,kg_constructor.py (qs/data/kg_construction/kg_constructor.py:426);主 Stage-2 图只暴露实体、关系和边,不暴露“这条边来自哪些文档/句子”。
文档侧只构造二值实体-文档矩阵:
[ A_{e,d} = \begin{cases} 1,&e\in d\ 0,&\text{otherwise} \end{cases} ]
实现见 qa_dataset.py (qs/data/datasets/qa_dataset.py:319)。它没有保存:
- edge-to-document incidence;
- triple-to-sentence provenance;
- relation occurrence confidence;
- 文档内部实体顺序;
- 多条边是否共同来自同一段证据。
QA 的 supporting_entities 是所有支持文档实体的并集,qa_dataset.py (qs/data/datasets/qa_dataset.py:352)。因此:
[ Y_e^{entity}=1 \quad\Longleftrightarrow\quad e\text{ 出现在任一支持文档中} ]
这不是“实体参与了哪条推理链”的标注。
样本缺少问题实体、支持实体或支持文档时会被直接丢弃,qa_dataset.py (qs/data/datasets/qa_dataset.py:362)。所以现有指标针对的是过滤后的 Stage-2 cohort,不是所有原始问题。
1.2 实体和关系表示
本地 MPNet 产生固定的 768 维问题/关系向量。训练时:
q₀=W_{q} e_{q}+b_{q}, rⱼ=Wᵣ eⱼʳᵉˡ+bᵣ
投影到 512 维。当前没有持久化的 learned entity embedding table;实体初始状态来自:
X_{0,b,e,:}=m_{b,e}q_{0,b,:}
其中 m 是问题实体 mask,可选乘实体 IDF 权重。实现见 model.py (qs/models/model.py:196)。
1.3 QueryShiftNBFNet
当前主模型是六层、512 维的 QueryShiftNBFNet,配置见 configs/model.yaml。
每条边上的消息本质是:
m_{u→ v}⁽ˡ⁾ = hᵤ⁽ˡ⁾⊙ rᵤᵥ⁽ˡ⁾
即 DistMult;之后做 sum aggregation,并加入 query-dependent boundary self-loop:
uᵥ⁽ˡ⁾ = Bᵥ⁽ˡ⁾ + ∑ m_{u→ v}⁽ˡ⁾ u,r
消息实现见 layers.py (qs/models/graph/layers.py:167)。
节点更新包括线性层、LayerNorm、ReLU 和残差。
QueryShift 每层对实体状态做一次 query-conditioned summary:
[ s_l=\operatorname{LN} \left( \sum_e \operatorname{softmax}_e \left( \frac{h_e^{(l)\top}q_l}{\sqrt d} \right) h_e^{(l)} \right) ]
然后:
q̃ₗ₊₁ = qₗ+ α gₗ⊙ (GRU(sₗ,qₗ)-qₗ)
再进行 LayerNorm。该状态影响后续关系 gate 和 dynamic boundary,models.py (qs/models/graph/models.py:390)。
因此 QueryShift 确实实现了:
- query-conditioned propagation;
- 层间 query state update;
- 动态 relation gate;
- 动态 boundary。
但它没有实现:
- 显式 action;
- observation model;
- selected evidence set;
- remaining-support state;
- 多个 reasoning hypotheses;
- POMDP belief state;
- provenance-carrying path state。
当前默认推理还存在一个重要差异:
- 训练最终评分通常使用动态 q_{L};
- 默认评估最终 scorer 使用初始 q₀;
- 但即使最后 scorer 使用 q₀,前面的动态传播仍然执行。
最终实体 logit 为:
zₑ= MLP ( [hₑ^{(L)};q_{readout}] )
1.4 文档聚合
当前代码中没有主路径 PPR。PPR 是相关工作的机制,不是 QS 当前实现。
当前主要文档 ranker 包括:
- SimpleRanker
- MeanRanker
- IDFWeightedRanker
- SoftplusIDFWeightedRanker
- LogSumExpIDFWeightedRanker
- TopKRanker
- MMRIDFWeightedTopKRanker
训练文档分数默认是所有实体的 Softplus-IDF 聚合:
softplus(zₑ)
D_{d} = ∑ ──────────── e:A_{e,d}=1 df(e)
实现见 rankers.py (qs/models/scoring/rankers.py:76)。
原始推理还可能执行:
entity Top-256 -> document-aware MMR select 24 entities -> retain 20 entities -> sparse entity-document aggregation
MMR 使用实体 incident document set 的 Jaccard overlap,是推理后处理,不在训练图中。
当前工作树还包含以下实验性 readout:
- nine-dimensional document statistics;
- query-document bilinear score;
- learned set attention;
- document entity interaction;
- entity routing;
- count residual;
- residual query context;
- distillation;
- FullRecall;
- layerwise residual supervision。
这些模块是已有实验分支,不能再作为新 Idea 本身。
1.5 训练监督
主 QA 训练大致为:
ℒ = 0.0144125 ℒ_{entity} + 0.9855875 ℒ_{document}
其中:
- entity target:supporting entity union;
- document target:binary supporting document mask;
- document loss:LambdaRank@30;
- 训练文档分数使用 all-entity Softplus-IDF;
- 不使用推理阶段 MMR 或实体截断。
实现见 qa.py (qs/training/qa.py:476)。
可选的句子级 supervision 会生成 fractional entity weights,但仍然只是 entity target,不会形成:
- bridge entity;
- answer-bearing entity;
- redundant entity;
- distractor;
- relation path;
- document-to-document transition。
1.6 已有结果揭示的实际瓶颈
当前冻结 QS + learned document readout 的正式三域验证结果为:
| 设置 | Wiki FR@10 | HotpotQA FR@10 | MuSiQue FR@10 | Macro |
|---|---|---|---|---|
| 原始 QS + MMR | 0.8260 | 0.7988 | 0.3503 | 0.6584 |
| 同权重 all-entity | 0.8740 | 0.8388 | 0.3693 | 0.6940 |
| learned readout | 0.8900 | 0.9119 | 0.4810 | 0.7610 |
这些是当前 validation cohort,不是独立测试集估计。
MuSiQue 失败归因尤其重要:
- 492 个失败问题中,478 个的必要文档已经在索引;
- 只有 14 个涉及文档索引缺失;
- 177 个问题的全部 gold 文档已经在 Top-30;
- 176 个问题至少有一篇 gold 文档排名超过 100;
- 372/478 个失败问题中,每篇 gold 文档都关联某个 Top-256 entity;
- 只按文档最大 entity score 排序,FR@10 只有 0.231781。
这说明:
当前主要瓶颈不是“完全找不到实体”,而是“实体相关性无法判断文档之间是否共同组成一组充分、相容的证据”。
1.7 能力边界总结
| 能力 | 当前状态 |
|---|---|
| 查询条件化实体传播 | 已实现 |
| 多跳关系消息传递 | 已实现,但固定图、固定深度 |
| 动态 query state | 已实现 |
| 实体相关性排序 | 已实现 |
| 基于实体 incidence 的文档聚合 | 已实现 |
| query-document 文本交互 | 实验分支已实现 |
| 文档内 entity set interaction | 实验分支已实现 |
| 文档来源 provenance | 主路径未实现 |
| 路径级证据一致性 | 未实现 |
| 多个候选 reasoning chains | 未实现 |
| evidence role | 未实现 |
| joint evidence-set decision | 仅有弱 listwise/FullRecall 约束 |
| adaptive traversal / halting | 未实现 |
| graph extraction uncertainty | 未进入推理状态 |
———
2. 真正值得研究的 Research Gap
Gap 1:图可达性与文档证据来源没有共同状态
问题定义
当前模型判断:
q→ e₁→ e₂→⋯
但最终文档评分只使用:
A_{e,d}
因此模型无法区分:
- 文档 d₁ 中支持某条关系的实体;
- 文档 d₂ 中仅偶然提到相同实体;
- 两篇文档是否共同支持同一条 proof;
- 当前路径是否真的能被这些文档解释。
为什么当前方法解决不了
实体状态 hₑ 不带 document ID,图消息不带 sentence/document provenance。两个文档只要共享同一高分实体,就可能获得相似分数:
D_{d₁}≈ D_{d₂}
即使它们在关系路径上的作用完全不同。
为什么重要
多跳检索的最终决策单元是证据集合,不是单个实体。MuSiQue 的失败统计已经显示实体覆盖和文档完整召回之间存在明显断裂。
真实性诊断
构造 source-swap intervention:
- 固定 entity logits、问题、图结构和文档候选;
- 仅交换 edge-to-document provenance;
- 检查当前 QS 输出是否完全不变;
- 再加入 provenance channel,测试是否能恢复原始来源差异。
如果当前模型对 source swap 不敏感,而新模型敏感并改善 gold ranking,Gap 成立。
已有研究边界
- GNN-RAG:节点检索后提取 shortest paths;
- HyCE-RAG:构造 evidence hypergraph;
- PAGE-RAG:在候选图上做 provenance-aware promotion;
- CROG:coverage-aware path selection;
- SG²RAG:用 semantic gain 图和 PPR 建模互补证据。
因此“再建一个超图”不够新。空间在于:
将 provenance 注入 GNN 的消息状态,使实体传播、关系路径和文档证据集合共享同一个 latent proof state,并由文档集合目标反向训练。
———
Gap 2:单一 QueryShift trajectory 无法显式表示多个 reasoning hypotheses
问题定义
当前每个问题只有一个:
q₀→ q₁→⋯→ q_{L}
以及每个节点的一组状态。对于存在多个候选桥接实体、互斥解释或多条有效证据链的问题,所有可能性被压缩进一个向量。
为什么当前方法不充分
sum aggregation 和单一 GRU state 会把:
- 互补证据;
- 竞争证据;
- 不同 reasoning chain;
- bridge 与 distractor
混合在同一状态中。理论上高维向量可能记住它们,但代码中没有显式 hypothesis identity、branch assignment 或 chain posterior。
为什么重要
多跳问题经常不是“找到唯一正确节点”,而是“同时维持若干可能的中间解释,直到后续证据消除歧义”。
真实性诊断
构造合成图:
- 两条都可行的证据链;
- 共享一个高分 anchor;
- 一个 distractor 也共享该 anchor;
- 只有组合完整性才能区分答案。
比较单状态、K-state、post-hoc beam 的 chain coverage 和证据集合 FR@10。
已有研究边界
GNN-RAG 的 shortest-path extraction、Tree-of-Reviews、multi-agent/beam search 已经使用显式路径或分支搜索。真正的新空间不是“复制 K 个向量”,而是:
用可微的 latent chain assignment 和 evidence-set likelihood 训练多个 hypotheses,而不是先独立排序、再后处理 beam。
———
Gap 3:supporting entity union 无法表示证据角色
问题定义
当前支持实体标签是集合并集:
Yₑ=1 if e appears in any gold document
它无法区分:
- query anchor;
- bridge entity;
- answer-bearing entity;
- relation carrier;
- redundant mention;
- distractor entity。
为什么当前方法不充分
即使有句子级权重,也只是给实体不同 scalar weight,并没有 role transition 或 proof grammar。
为什么重要
多跳证据的价值不是均匀的。一个 bridge entity 可能本身不是答案,但决定是否能到达下一文档。把它和普通文档实体等价监督,会造成错误的 ranking gradient。
真实性诊断
- 建立小规模人工角色标注集;
- 检验 role posterior 是否可重复;
- 统计 bridge-heavy 问题与普通问题的差异;
- 比较相同支持实体 union 下,不同 role arrangement 是否造成不同 FR。
已有研究边界
answer-aware evidence graph、latent rationale、multi-granular evidence graph 已触及角色/中间答案。新的空间必须是:
无需完整路径标注,通过 query seed、关系可达性和支持文档集合约束,联合学习 role posterior 与 proof automaton。
———
Gap 4:逐文档标量排序与“最小充分证据集合”错位
问题定义
当前训练主要学习:
d⁺ > d⁻
而最终目标是:
S⊆ D, |S|≤ K, S 完整、相容、非冗余
LambdaRank 和 FullRecall 仍然主要对文档分数施加边界约束,不建模文档之间的证明关系。
为什么当前方法不充分
两个文档可能:
- 都相关但重复;
- 单独相关但组合后不完整;
- 各自包含不同 hop,却没有可连接关系;
- 共享高分实体但只有一个真正承担 bridge 作用。
现有 set attention 主要是“文档内部实体集合读出”,不是跨文档 proof-set inference。
已有研究边界
SG²RAG、CROG、coverage-aware reranking 已直接处理互补性。因此简单添加 coverage loss、DPP、MMR 或 set transformer 不足以构成独立贡献。
———
Gap 5:传播深度和计算预算固定,QueryShift 并不是 adaptive reasoning
问题定义
当前层数固定为六层,图拓扑固定,所有 query 都执行同样的传播深度和相似的全图计算。
为什么当前方法不充分
QueryShift 只改变内部 gate,不决定:
- 下一步看哪类边;
- 是否扩展某个 frontier;
- 是否停止;
- 是否把预算分配给另一个候选链。
已有研究边界
QAFD-RAG、EAGR、EviReform、HyperAddress 已探索 query-aware spreading、evidence-guided expansion、query reformulation 或 adaptive graph traversal。单独加入 RL、halting 或 dynamic gate 会高度重合。
———
Gap 6:图构建不确定性没有进入检索推理
问题定义
OpenIE、entity linking、关系冲突、文档来源覆盖均可能出错,但当前图边默认权重为 1,关系冲突还可能被覆盖。
为什么重要
当前模型可能对错误边产生高置信传播,最后在文档 readout 中表现为“合理但错误”的实体和文档。
真实性诊断
对边做:
- 随机删除;
- relation swap;
- entity-link corruption;
- 同一实体的来源冲突;
- 按 OpenIE/EL confidence 分层评测。
同时测 FR@10、ECE、selective risk 和 corruption robustness。
已有研究边界
probabilistic KG、uncertainty-aware GNN、graph denoising 已有基础。要形成顶会贡献,需要联合后验推理和证据集合校准,而不是给边乘一个 confidence scalar。
———
3. 六个候选 Idea
Idea 1:Provenance-Conditioned Proof-State GNN
核心思想
把文档/句子来源作为 GNN 消息的一部分,使实体状态、关系路径和证据集合在同一个 latent proof state 中联合更新。
Research Gap
对应 Gap 1:当前 entity state 与 document provenance 完全解耦。
非显然 Insight
关键并不是“给实体加文档 embedding”,而是:
文档来源必须参与每一层消息竞争,并且文档状态还要反馈到后续实体传播。
否则只是 document-aware readout,仍然无法改变图上的错误传播。
方法设计
从 passage_info.json 重建 edge instances:
a=(u,r,v,d,s)
其中 d 是文档,s 是可选句子。
维护:
- entity state hₑˡ;
- document proof state p_{d}ˡ;
- query state qₗ。
来源门控:
[ \alpha_a^l
\operatorname{softmax}{a'\in \mathcal A(u,r,v)} \left( w\alpha^\top [h_u^l;r^l;p_{d(a)}^l;q_l] \right) ]
来源条件消息:
mₐˡ = αₐˡ ϕ(hᵤˡ,rˡ,p_{d(a)}ˡ,qₗ)
实体更新:
hᵥˡ⁺¹ = GNN ( hᵥˡ, ∑ mₐˡ, Bᵥ(qₗ) ) a:tail(a)=v
文档状态反向更新:
p_{d}ˡ⁺¹ = LN ( p_{d}ˡ+ U ∑ ψ(hᵤˡ,rˡ,hᵥˡ⁺¹,qₗ) ) a:d(a)=d
最终文档分数:
[ s_d= w^\top[p_d^L,q_L] + \operatorname{LSE}_{e\in d} g(h_e^L,p_d^L,q_L) ]
训练目标:
ℒ = ℒ_{doc} + λₑℒ_{entity} + λₚℒ_{provenance} + λₛℒₛₑₜ
其中 provenance loss 用支持文档内 edge instances 的 multiple-instance likelihood,不要求每条文档边都是真正证据。
复杂度
若只对候选文档维护 p_{d},复杂度约为:
O(L(E_{active}+K_{incidence})d)
内存从 O(Nd) 增加到 O((N+M_{c})d)。若保留所有 edge-document instances,图边数量会显著增加,必须进行稀疏化或候选文档限制。
与已有工作的本质区别
- HyCE-RAG:显式 hypergraph 和 confidence propagation;
- PAGE-RAG:候选图上的 provenance-aware promotion;
- CROG:路径覆盖和选择;
- 本 Idea:provenance 在每层 GNN message 内参与状态更新,并由 end-to-end document-set loss 训练。
若只实现“超边 + confidence propagation”,则与已有工作高度重合,不应作为独立论文。
核心 Claim 与验证
- Claim 1:在 gold 文档已进入候选集、但实体覆盖无法区分文档的 MuSiQue 问题上,provenance state 能提高完整证据召回。 实验:固定 entity backbone、候选文档和参数预算,仅比较 provenance channel、随机 provenance、无 provenance。
- Claim 2:模型对 source swap 敏感,而旧 QS 对 source swap 不敏感。 实验:固定实体分数,交换 edge-document incidence,测 document ranking 和 proof consistency。
- Claim 3:提升不是来自额外文档文本参数。 实验:去掉 document text、用随机 document vector、参数量匹配 readout。
失败风险
- 与 HyCE-RAG/PAGE-RAG 新颖性重合;
- Stage-1 provenance 本身噪声很大;
- edge relation overwrite 已经破坏来源;
- 额外 document state 只是增加容量;
- source incidence 太稀疏,无法稳定训练。
———
Idea 2:Particle QueryShift:多假设证明状态
核心思想
用多个相互竞争但可微的 query particles 表示多个候选 reasoning chains,而不是把所有可能性压进一个 QueryShift vector。
Research Gap
对应 Gap 2:单一 query trajectory。
非显然 Insight
这不是普通 ensemble 或 beam search。关键是:
- particles 共享图;
- 每个 particle 有自己的 query state、frontier 和证据解释;
- 支持文档对 particles 的分配是 latent variable;
- 训练目标直接奖励多链覆盖,而不是平均多个分数。
方法设计
维护 K 个状态:
(qₗᵏ,h_{e,l}ᵏ,πₗᵏ), k=1,…,K
每个 particle 更新:
qₗ₊₁ᵏ = GRU ( qₗᵏ, ∑α_{e,l}ᵏ h_{e,l}ᵏ ) e
particle 权重:
πₗ₊₁ᵏ ∝ πₗᵏexp(gₖ(qₗᵏ,Hₗ))
实体输出使用 soft mixture:
zₑ = τlog ∑ πₖexp(zₑᵏ/τ) k
对 gold 支持集合 G,引入 latent assignment a_{d}:
p(G|q) = ∑ ∏{d∈ G} π{a_{d}}p(d|q^{a_{d}}) a:G→[K]
再加入:
- particle diversity;
- chain overlap penalty;
- particle entropy;
- one-chain-one-subset prior。
复杂度
朴素实现是当前 GNN 的 K 倍。最小原型取 K=2 或 4,共享 relation projection,并只复制 query gate 和 boundary;后续再考虑低秩 factorization。
与已有工作的本质区别
- shortest-path / beam search:通常是后处理或离散搜索;
- Tree-of-Reviews:显式树式搜索;
- mixture-of-experts:不是 evidence-set latent assignment;
- 本 Idea:多个 proof hypotheses 通过同一训练目标分配不同支持文档,并端到端影响实体传播。
仅仅复制 K 个 query state 后平均分数,不足以形成贡献。
核心 Claim 与验证
- 在存在两条有效证据链的合成图上,particle model 能同时保持两条链。
- 在 MuSiQue bridge ambiguity 子集上,particle model 改善 weakest-support rank 和 FR@10。
- 相同 FLOPs 下,particle model 优于独立 ensemble 和 post-hoc beam。
失败风险
- particle collapse;
- 只是更大模型;
- 训练目标无法识别 chain assignment;
- K-倍计算不可接受;
- 与 mixture/beam/latent path work 重合。
———
Idea 3:Weakly-Supervised Evidence Roles + Proof Automaton
核心思想
不把支持实体视为同质正例,而是学习 anchor、bridge、relation-carrier、terminal evidence 等潜在角色及其转移规则。
Research Gap
对应 Gap 3:supporting entity union 丢失证据角色。
方法设计
角色集合:
ℛ= {anchor,bridge,relation,terminal,distractor}
实体角色后验:
ρₑˡ = softmax Wᵣ[hₑˡ;qₗ]
角色转移矩阵:
T_{q}(rᵢ,rⱼ)
边/路径势函数:
ϕ(e,r,e',rᵢ,rⱼ|q) = exp f(hₑ,r,h_{e'},q,T_{q})
通过 forward algorithm 对候选路径进行边际化,而不是选择单一路径:
p(G|q) = ∑ ∏ₜϕₜ paths,roles
训练采用 weak EM:
- E-step:在 gold support documents 约束下推断角色/path posterior;
- M-step:更新 GNN、role classifier 和 transition matrix;
- sentence-level labels 作为 partial constraints,而不是完整监督。
角色约束可包括:
- query entities 更可能是 anchor;
- bridge role 必须连接两个未覆盖区域;
- terminal role 必须落在支持集合;
- redundant role 不得单独承担 proof coverage。
复杂度
若候选路径已限制,复杂度约为:
O(L(E+N)|ℛ|)
比普通 GNN 增加角色维度,但不需要 full path enumeration。
与已有工作的本质区别
不是普通 role attention 或多头 attention,而是:
- role posterior;
- role transition grammar;
- proof-set constrained marginal likelihood;
三者联合存在。
核心 Claim 与验证
- 角色模型在合成图上能恢复已知 bridge/terminal roles。
- 在四文档 MuSiQue 问题上,bridge role recall 与完整 FR@10 同步提高。
- 不使用大规模人工 role label 也能泛化到 HotpotQA 和 2Wiki。
失败风险
- 潜在角色不具备可识别性;
- automaton 先验过于数据集特化;
- role embedding 只是额外参数;
- 与 latent rationale、answer-aware evidence graph 重合。
———
Idea 4:Relation-Constrained Proof-Set Energy
核心思想
将最终检索从独立文档排序改成带关系一致性约束的最小充分证据集合 MAP 推断。
Research Gap
对应 Gap 4:逐文档分数无法表达文档集合的互补与证明一致性。
方法设计
先取候选文档 C_{q},为文档定义:
- unary relevance u_{d};
- directional relation compatibility c_{q}(dᵢ,dⱼ);
- proof transition t_{q}(dᵢ,dⱼ)。
集合能量:
E_{q}(S) = ∑ u_{d} + λ ∑ c_{q}(dᵢ,dⱼ) + γ ProofCons(S) - μ |S| d∈ S i≠ j∈ S
训练 gold set G 与 hard replacement set S':
exp(-E_{q}(G))
ℒₛₑₜ = -log ────────────────────────────────────────── exp(-E_{q}(G))+∑{S'∈𝒩{q}}exp(-E_{q}(S'))
其中 hard negative 只替换一个支持文档,保持集合大小不变。
推理使用 differentiable top-K、Sinkhorn 或 beam-MAP。
与已有工作的本质区别
必须区别于:
- MMR;
- DPP;
- semantic gain;
- coverage loss;
- CROG path selection;
- generic Set Transformer。
独立性只能来自“关系方向/证明转移约束 + set posterior”,不能来自“增加一个 diversity term”。
核心 Claim 与验证
- 在相同 candidate recall 下提高 full-set recall;
- 对 one-document replacement 具有更强识别能力;
- set probability 与实际 complete retrieval calibration 更一致。
失败风险
- 与 SG²RAG/CROG 高度重合;
- gold support set 可能不唯一;
- candidate pool 外的证据无法恢复;
- O(L²) 文档交互昂贵。
———
Idea 5:Budgeted Value-of-Information Traversal
核心思想
学习下一步应扩展哪类边/文档,以及何时停止,把固定六层传播变成预算约束下的证据获取过程。
方法设计
状态:
sₜ=(qₜ,Hₜ,Fₜ,Uₜ,bₜ)
其中:
- Fₜ:frontier;
- Uₜ:未解释证据不确定性;
- bₜ:剩余预算。
动作:
aₜ∈ {expand relation block,promote document group,stop}
奖励:
rₜ = Δ log p(G⊆ TopK) - λ cost(aₜ)
训练采用 offline soft Bellman 或 conservative policy learning,不直接依赖在线 RL。
研究边界
QAFD-RAG、EAGR、EviReform 已有 adaptive traversal、query reformulation 和 evidence-guided expansion。仅仅加 halting 或 dynamic gate 不够新。
主要风险
- RL/soft planning 不稳定;
- 训练使用 gold reward,容易 policy leakage;
- 推理成本未必低于固定 GNN;
- 更适合现有模型扩展,不一定适合独立论文。
———
Idea 6:Uncertainty-Aware Graph-Evidence Posterior
核心思想
把 OpenIE、entity linking、关系冲突和来源可靠性纳入概率化图传播,并输出 calibrated evidence-set posterior。
方法设计
每条 edge instance 有可靠性:
cₐ∈[0,1]
来源可以包括:
- OpenIE confidence;
- EL score;
- 多句重复支持;
- relation conflict;
- document extraction density。
边消息变为随机变量:
mₐ∼ q_{θ}(mₐ|hᵤ,r,cₐ)
传播其均值和方差:
μᵥˡ⁺¹ = ∑ cₐ μ(mₐ) a
Σᵥˡ⁺¹ = ∑ [ cₐΣ(mₐ) + cₐ(1-cₐ)μ(mₐ)² ] a
文档后验可以写成:
p(d useful|q) = 1-∏_{e∈ d} (1-pₑ)
再用 calibration loss、corruption consistency 和 selective retrieval loss 训练。
核心 Claim 与验证
- 在 synthetic edge corruption 下保持更高 FR;
- 在自然低置信 extraction strata 上更可靠;
- 在相同 FR 下具有更好的 calibration/selective risk。
主要风险
- 干净 benchmark 上收益有限;
- uncertainty 估计可能只是 confidence weighting;
- 需要保留 Stage-1 元数据;
- 更适合作为主论文的 robustness 分支。
———
4. 横向评分
研究风险一列中,分数越高表示风险越高。
| Idea | 类型 | 重要性 | 创新性 | 技术深度 | 顶会吸引力 | 可实现性 | 可验证性 | 风险 |
|---|---|---|---|---|---|---|---|---|
| I1 Provenance Proof-State GNN | 潜在范式突破 | 9 | 9 | 9 | 9 | 7 | 8 | 6 |
| I2 Particle QueryShift | 潜在范式突破 | 9 | 9 | 9 | 9 | 5 | 6 | 8 |
| I3 Evidence Roles + Automaton | 独立方法贡献 | 8 | 8 | 8 | 8 | 7 | 7 | 6 |
| I4 Proof-Set Energy | 有意义创新,但重合风险高 | 8 | 7 | 8 | 8 | 8 | 9 | 7 |
| I5 Budgeted Traversal | 框架扩展 | 8 | 7 | 8 | 8 | 5 | 6 | 8 |
| I6 Uncertainty Posterior | 辅助/鲁棒性贡献 | 7 | 7 | 7 | 7 | 7 | 8 | 6 |
明确淘汰为“顶会主贡献”的方案:
- 单纯增加 Attention;
- generic Transformer readout;
- generic MoE;
- 只增加 QueryShift 层数;
- 只把 q₀ 换成 q_{L};
- 只加 FullRecall;
- 只加 coverage reranking;
- 只把 MMR 换成另一种 diversity;
- 只做 RL halting。
当前已有实验已经表明 set attention、entity interaction、routing、distillation、residual QueryShift 等不能自动解决 MuSiQue 的结构性失败。
———
5. Top 3 论文级设计
Top 1:Provenance-Conditioned Proof-State Retrieval
拟定标题
Proof States, Not Node Scores: Provenance-Conditioned GNN Retrieval for Complete Multi-Hop Evidence
核心问题
现有图检索能够传播实体相关性,却不能判断一组文档是否共同支持同一条证明。
核心 Insight
证据来源不应只在最终文档 readout 阶段出现,而应成为每层消息传播的条件变量,并形成可反馈的 document proof state。
最小方法原型
分三阶段:
- 从 passage_info.json 重建 triple-to-document incidence;
- 冻结 QS entity backbone,只训练 provenance-conditioned document state/readout;
- 若第一阶段有效,只解冻最后两层 GNN,测试 provenance 对实体传播的反向影响。
最小新增模块:
- edge provenance gate;
- document state p_{d};
- provenance-conditioned message;
- document-set contrastive loss。
不先加入 hypergraph、LLM、RL 或新的文本 encoder。
决定性实验
只使用 MuSiQue:
- 177 个“gold 全在 Top-30”的 boundary failures;
- 176 个“至少一篇 gold 超过 Top-100”的 far failures;
- 固定 entity logits、候选文档和文档文本;
- 比较:
- 当前 learned readout;
- provenance-aware readout;
- shuffled provenance;
- random source ID;
- matched-parameter document MLP。
支持该方向的结果必须同时满足:
- MuSiQue fully-indexed failure cohort 的 FR@10 有实质提升;
- 提升在 shuffled provenance 上消失;
- gains 仍然存在于“每篇 gold 都有关联 Top-256 entity”的子集;
- Wiki/HotpotQA 不出现明显退化;
- 不是由 candidate recall 增加造成,因为 candidate pool 固定。
若 provenance-aware 模型不优于参数匹配的普通 readout,或随机 provenance 也有同样收益,则该方向应否定。
关键消融
- no document state;
- no source-conditioned message;
- no graph-to-document feedback;
- document text removed;
- edge provenance shuffled;
- relation provenance removed;
- sentence provenance removed;
- only document-level incidence;
- full provenance。
三个主要审稿质疑
- “这只是 HyCE-RAG/PAGE-RAG 的重命名。” 回应必须展示 message-level provenance conditioning、joint graph-document state 和 end-to-end proof loss 的独立性,并加入强 baseline。
- “收益来自额外文档参数。” 需要 matched-parameter、frozen-text、random-provenance 和 no-document-state controls。
- “Stage-1 provenance 不可靠。” 需要报告 provenance coverage、冲突率、来源噪声敏感性,并展示在部分 provenance 缺失时仍然有效。
推进优先级
第一优先级。 真实 Gap 最清晰、当前失败归因最直接、最容易做决定性实验。
———
Top 2:Particle QueryShift for Multi-Chain Reasoning
拟定标题
One Query Is Not a Proof: Particle QueryShift for Multi-Hypothesis Graph Retrieval
核心问题
单一 query trajectory 无法显式保持多个互斥或互补 reasoning chains。
核心 Insight
多个 query state 不应作为 ensemble 平均,而应作为对支持文档集合的 latent assignment model。
最小方法原型
- K=2 particles;
- 每个 particle 独立 query state 和 relation gate;
- 共享大部分 GNN projection;
- document-to-particle assignment 用 soft assignment;
- 增加 diversity 和 chain coverage loss;
- 先不加入 adaptive action 或 discrete beam。
决定性实验
第一步不在完整 benchmark 上训练,而是在合成图上:
- 两条有效证据链;
- 共享高分 anchor;
- 一个高相似 distractor;
- 单一实体 score 不足以区分。
比较:
- K=1 QS;
- K=2 particle;
- K 个独立模型 ensemble;
- post-hoc beam;
- particle without assignment loss;
- particle without diversity loss。
成功标准是:同等 FLOPs 下,particle model 能恢复不同 chain 的互补文档,而不是简单提高所有实体分数。
关键审稿质疑
- 只是 mixture-of-experts/ensemble。
- 只是 beam search 的可微实现。
- K-倍计算是否值得。
回应必须依赖 latent evidence assignment、same-compute control 和 chain-level diagnostics,而非只报告 FR@10。
推进优先级
第二优先级。 理论故事强,但 collapse、计算量和新颖性风险均高。
———
Top 3:Weakly-Supervised Evidence Roles
拟定标题
Learning the Roles of Evidence Without Paths: Weakly-Supervised Proof Automata for Multi-Hop Retrieval
核心问题
supporting entity union 无法区分 bridge、anchor、terminal 和 redundant evidence。
核心 Insight
角色可以通过 query seed、关系可达性和 support-set constraints 进行弱监督边际化,不必直接标注完整路径。
最小方法原型
- 四角色:anchor、bridge、relation-carrier、terminal;
- 冻结当前 QS backbone;
- 只训练 role posterior 和 role transition matrix;
- 用候选 top-L entity paths 做 forward dynamic programming;
- 使用 support documents 作为终点约束;
- sentence-level evidence 仅作为 partial label。
决定性实验
- 合成图上验证角色可识别性;
- 人工标注约 200 个 MuSiQue 问题的 bridge/terminal roles;
- 比较:
- flat entity supervision;
- role classifier without automaton;
- automaton without role supervision;
- oracle role;
- full weakly-supervised model。
重点报告:
- role accuracy/calibration;
- bridge recall;
- weakest support rank;
- complete FR@10;
- 2/3/4 文档分组性能。
关键审稿质疑
- 潜在角色不唯一,解释是否可信。
- automaton 是否人为注入数据集先验。
- 是否只是 structured attention。
需要通过 synthetic identifiability、跨数据集迁移、role permutation test 和 no-grammar controls 回应。
推进优先级
第三优先级。 研究故事独立,工程成本适中,但角色语义的可识别性必须先验证。
———
6. 最终推荐
推荐方向
Provenance-Conditioned Proof-State Retrieval
为什么它比其他 Idea 更值得投入
- 直接命中已确认失败 MuSiQue 中大量问题已经拥有高分实体和足够候选文档,但文档集合仍不完整。这个现象不能由“再提高实体相关性”解释。
- 不是局部 readout 调参 它改变的是信息传播的状态变量:消息不再只是 entity-relation,而是 entity-relation-document provenance。
- 能够复用当前基础设施
可以保留:
- MPNet;
- entity linking;
- QueryShift backbone;
- sparse graph;
- current document evaluation;
- current FR@10 protocol。
- 论文故事清晰
node relevance is insufficient -> graph paths lack evidence provenance -> introduce proof-state message passing -> jointly recover coherent document sets
- 可验证性强 source-swap、shuffled provenance、matched-parameter 和 fixed-candidate controls 可以直接区分机制贡献。
核心突破
不是:
“为 GNN 增加文档节点。”
而是:
把文档来源从最终聚合阶段提升为图传播过程中的一等状态变量,并让实体、关系和证据集合通过同一个 proof state 联合推理。
最吸引顶会审稿人的地方
它把一个普遍存在但常被掩盖的目标错位形式化了:
entity relevance ≠ complete evidence-set sufficiency
如果实验证明 provenance-conditioned message 能在实体覆盖不变时恢复完整支持集合,这会比“更强 attention readout”具有明显更强的研究独立性。
最大创新风险
HyCE-RAG、PAGE-RAG、CROG 等近期工作已经使用:
- evidence hypergraph;
- provenance;
- path coherence;
- coverage-aware selection。
因此必须避免把贡献写成“构造一个更复杂的证据图”。论文的独立性只能来自:
- layer-wise provenance-conditioned message passing;
- recurrent entity-document proof state;
- joint evidence-set likelihood;
- source-swap 和 shuffled-provenance 的机制验证。
如果只能做一个初步实验
做下面这个最小实验:
固定当前 QS entity logits、候选文档、文档文本和训练样本,只在 MuSiQue 的 fully-indexed failures 上训练一个 provenance-conditioned document state,并与参数量匹配的普通 document readout、shuffled provenance readout 对比。
必须报告:
- Wiki / HotpotQA / MuSiQue 分域 FR@10;
- MuSiQue 2/3/4-support 分组;
- 177 个 Top-30 boundary failures;
- 176 个 far failures;
- gold document 的 entity coverage;
- source-swap sensitivity;
- paired bootstrap confidence interval。
支持方向的结果:
- provenance channel 在固定候选和固定 entity coverage 下带来稳定 FR@10 提升;
- shuffled provenance 消除大部分提升;
- 参数匹配普通 readout 不能达到相同效果;
- gains 不只集中在一个小 cohort。
否定方向的结果:
- provenance model 不优于 matched readout;
- shuffled provenance 也同样提升;
- 只有加入更多文本参数后才有效;
- gains 只来自 candidate coverage,而不是 document ranking。
在这个实验被验证之前,不建议启动大规模 end-to-end 训练,也不建议把 hypergraph、RL、multi-agent 或更大的 Transformer 同时加入。