1. 文档范围
本文档描述当前项目中的图检索方法,包括图构建后的检索模型、QueryShift 动态传播、实体分数到文档分数的转换、可选分数校准、可选基于文档覆盖的 MMR 选择、训练目标和评价指标。本文档只描述当前实现和可复现实验中使用的方法对象,不对这些组件作先验优劣判断。
本文档中的“主要评估配置”指本地评估中已经运行过的一组配置:
\text{QueryShift10} + \text{final\_query}=\text{initial} + \text{softplus} + \text{document-MMR}.
其中 final_query=initial、softplus 和 document-MMR 是推理阶段或读出阶段的配置项。它们不改变训练数据定义,也不改变知识图谱构造方式。
2. 符号定义
令文档集合为:
\mathcal{D}=\{d_1,d_2,\ldots,d_M\}.
令问题集合为:
\mathcal{Q}=\{q_1,q_2,\ldots,q_N\}.
对每个问题 (q),给定支持文档集合:
\mathcal{S}_q \subseteq \mathcal{D}.
从语料中构造实体图:
G=(\mathcal{V},\mathcal{E},\mathcal{R}),
其中 (\mathcal{V}={v_1,\ldots,v_n}) 是实体节点集合,(\mathcal{E}) 是有向边集合,(\mathcal{R}) 是关系类型集合。每条边可写为:
(v_i,r,v_j) \in \mathcal{E}, \quad r \in \mathcal{R}.
令实体到文档的二值关联矩阵为:
A \in \{0,1\}^{n \times M},
其中:
A_{i,j}=1 \iff v_i \text{ appears in } d_j.
对问题 (q),令问题实体集合为:
\mathcal{V}_q^{0}\subseteq \mathcal{V}.
对应的问题实体 mask 为:
x_q \in \{0,1\}^{n}, \quad x_{q,i}=1 \iff v_i \in \mathcal{V}_q^0.
令支持实体集合为:
\mathcal{Y}_q^{e}
=\{v_i \in \mathcal{V}\mid \exists d_j \in \mathcal{S}_q,\ A_{i,j}=1\}.
实体监督标签为:
y_q^{e}\in \{0,1\}^{n}, \quad y_{q,i}^{e}=1 \iff v_i \in \mathcal{Y}_q^e.
文档监督标签为:
y_q^{d}\in \{0,1\}^{M}, \quad y_{q,j}^{d}=1 \iff d_j \in \mathcal{S}_q.
3. 任务定义
给定问题 (q)、实体图 (G)、实体到文档关联矩阵 (A),方法输出一个文档排序:
\pi_q = (d_{\pi_1},d_{\pi_2},\ldots,d_{\pi_M}).
在检索评价中,只使用排序前 (k) 个文档:
\operatorname{TopDoc}_k(q)=\{d_{\pi_1},\ldots,d_{\pi_k}\}.
方法的直接训练目标是实体级多标签预测,即学习一个实体打分函数:
s_\theta(q,G) \in \mathbb{R}^{n}.
文档排序不是独立模型直接输出,而是由实体分数经过实体到文档矩阵 (A) 聚合得到:
\mu_\theta(q) \in \mathbb{R}^{M}.
最终文档排序由 (\mu_\theta(q)) 降序排列得到。
4. 数据对象和图对象
4.1 文档实体与三元组
对每篇文档 (d_j),通过信息抽取得到实体集合和关系三元组:
\mathcal{V}(d_j)=\{v_i \mid v_i \text{ is extracted from } d_j\},
\mathcal{T}(d_j)=\{(h,r,t)\mid h,t \in \mathcal{V},\ r\in \mathcal{R}\}.
所有文档的三元组并集构成图边:
\mathcal{E}=\bigcup_{j=1}^{M}\mathcal{T}(d_j).
若三元组中出现实体 (v_i),且该三元组来源于文档 (d_j),则实体到文档矩阵中有:
A_{i,j}=1.
4.2 反向边
为了允许消息沿两个方向传播,对每条边 ((v_i,r,v_j)) 可加入反向边:
(v_j,r^{-1},v_i).
加入反向边后的关系集合可记为:
\mathcal{R}'=\mathcal{R}\cup \{r^{-1}\mid r\in \mathcal{R}\}.
4.3 文本嵌入与投影
令文本编码器为:
\operatorname{Enc}(\cdot).
问题向量先由文本编码器得到,再投影到模型隐空间:
q_0 = W_q\operatorname{Enc}(q) \in \mathbb{R}^{d}.
关系文本同样编码并投影:
\rho_r = W_r\operatorname{Enc}(r) \in \mathbb{R}^{d}.
初始节点特征由问题实体 mask 和问题向量构造:
h_i^{(0)} = x_{q,i} q_0,\quad i=1,\ldots,n.
因此,只有被识别为问题起点的实体在第 0 层具有非零初始状态。
5. Query-Conditioned 图传播
5.1 静态 query 传播
在静态 query 传播中,所有 GNN 层使用同一个问题向量:
z^{(l)} = q_0,\quad l=0,\ldots,L-1.
第 (l) 层的消息传递可抽象写为:
m_{j\rightarrow i}^{(l)}
=\psi_l\left(h_j^{(l)},\rho_{r_{j,i}},z^{(l)}\right),
其中 ((v_j,r_{j,i},v_i)\in \mathcal{E})。节点更新写为:
h_i^{(l+1)}
=\operatorname{Update}_l\left(
h_i^{(l)},
\operatorname{Agg}_{j:(j,i)\in \mathcal{E}} m_{j\rightarrow i}^{(l)},
B_i^{(l)}
\right).
(B_i^{(l)}) 表示边界条件。静态 QueryNBFNet 中,边界条件使用初始节点特征:
B_i^{(l)} = h_i^{(0)}.
该形式表示每一层都以同一个问题向量和同一个问题起点集合作为条件。
5.2 QueryShift 动态传播
QueryShift 引入逐层演化的查询状态:
z^{(0)}=q_0.
在第 (l) 层传播完成后,根据当前节点隐状态 (H^{(l+1)}={h_i^{(l+1)}}_{i=1}^{n}) 汇聚一个激活摘要。当前实现使用 query-conditioned attention:
a_i^{(l)}
=
\frac{
\exp\left((h_i^{(l+1)})^\top z^{(l)} / (\sqrt{d}\tau)\right)
}{
\sum_{u=1}^{n}
\exp\left((h_u^{(l+1)})^\top z^{(l)} / (\sqrt{d}\tau)\right)
},
c^{(l)}=\sum_{i=1}^{n} a_i^{(l)} h_i^{(l+1)}.
其中 (\tau>0) 是温度系数。随后用循环更新单元形成候选查询状态:
\tilde{z}^{(l+1)}=\operatorname{GRUCell}(c^{(l)},z^{(l)}).
再用门控项控制更新幅度:
g^{(l)}=\sigma\left(W_g[z^{(l)};c^{(l)}]\right),
z^{(l+1)}
=
\operatorname{Norm}\left(
z^{(l)}+\alpha\, g^{(l)}\odot(\tilde{z}^{(l+1)}-z^{(l)})
\right).
其中 (\alpha\in[0,1]) 是 QueryShift 更新强度。若 (\alpha=0),则:
z^{(l+1)}=z^{(l)}=q_0,
动态查询退化为静态查询。
5.3 动态 query 对传播层的作用
QueryShift 中,第 (l) 层传播使用 (z^{(l)}) 而不是固定 (q_0)。这种使用体现在两个位置。
第一,关系表示可按当前查询状态门控:
\rho_r^{(l)}
=
\rho_r \odot \sigma(W_{\rho}z^{(l)}).
第二,边界条件可按当前查询状态重构:
B_i^{(l)} = x_{q,i} z^{(l)}.
因此,QueryShift 的一层传播可以抽象写为:
H^{(l+1)}
=
\mathcal{P}_{\theta}^{(l)}
\left(
H^{(l)},G,\{\rho_r^{(l)}\}_{r\in\mathcal{R}'},z^{(l)},B^{(l)}
\right).
该表达只说明当前方法如何计算传播状态,不假定动态查询在所有数据或所有配置下都一定优于静态查询。
6. 实体读出
图传播得到 (L) 层节点隐状态后,需要将每个实体映射为一个标量分数。令最终用于读出的 query 为:
z^{\operatorname{out}}\in\{z^{(L)},q_0\}.
当前实现支持两种读出方式:
z^{\operatorname{out}}=z^{(L)} \quad \text{dynamic readout},
z^{\operatorname{out}}=q_0 \quad \text{initial readout}.
若只使用最后一层隐状态,则实体 (v_i) 的读出特征可写为:
o_i=[h_i^{(L)};z^{\operatorname{out}}].
若使用多层拼接,则可写为:
o_i=[h_i^{(1)};h_i^{(2)};\ldots;h_i^{(L)};z^{\operatorname{out}}].
实体分数为:
s_i = f_{\theta}^{\operatorname{readout}}(o_i),
其中 (f_{\theta}^{\operatorname{readout}}) 是 MLP。对所有实体得到:
s(q)= [s_1,\ldots,s_n] \in \mathbb{R}^{n}.
final_query=initial 表示传播阶段仍使用 ({z^{(l)}}),但实体读出阶段使用 (q_0)。final_query=dynamic 表示传播和最终读出都使用动态查询状态。
7. 实体分数校准
实体分数 (s_i) 可以直接用于文档聚合,也可以先经过一个逐点变换:
u_i=\phi(s_i).
当前实现支持:
\phi_{\operatorname{raw}}(s)=s,
\phi_{\operatorname{softplus}}(s)=\log(1+\exp(s)),
\phi_{\operatorname{relu}}(s)=\max(s,0).
其中 softplus 和 ReLU 都产生非负分数。该步骤是分数到证据权重的推理期变换,不改变实体监督标签,也不改变训练损失。
8. 基于文档覆盖的实体 MMR 选择
8.1 候选实体集合
给定校准后的实体分数 (u),先取候选实体集合:
\mathcal{C}_q=\operatorname{Top}_{c}(u),
其中 (c) 是 MMR 候选规模。
为了将不同样本内的候选分数放到同一相对尺度,可定义候选内归一化相关性:
\bar{u}_i=
\begin{cases}
\frac{u_i-\min_{j\in\mathcal{C}_q}u_j}
{\max_{j\in\mathcal{C}_q}u_j-\min_{j\in\mathcal{C}_q}u_j},
& \max u \ne \min u,\\
1, & \max u = \min u.
\end{cases}
8.2 文档覆盖冗余
对每个实体 (v_i),定义它连接到的文档集合:
\mathcal{D}(v_i)=\{d_j\in\mathcal{D}\mid A_{i,j}=1\}.
当前 document-MMR 使用实体文档集合的 Jaccard 相似度作为冗余:
\Omega_{\operatorname{doc}}(i,j)
=
\frac{|\mathcal{D}(v_i)\cap \mathcal{D}(v_j)|}
{|\mathcal{D}(v_i)\cup \mathcal{D}(v_j)|}.
若并集为空,则令 (\Omega_{\operatorname{doc}}(i,j)=0)。
8.3 贪心 MMR 选择
MMR 选择一个实体子集:
\mathcal{M}_q \subseteq \mathcal{C}_q,\quad |\mathcal{M}_q| \le m.
初始化:
\mathcal{M}_q^{(0)}=\varnothing.
第 (t) 步选择:
i_t
=
\arg\max_{i\in \mathcal{C}_q\setminus \mathcal{M}_q^{(t-1)}}
\left[
\lambda \bar{u}_i
-
(1-\lambda)
\max_{j\in \mathcal{M}_q^{(t-1)}}\Omega_{\operatorname{doc}}(i,j)
\right],
其中 (\lambda\in[0,1])。当 (\mathcal{M}_q^{(t-1)}=\varnothing) 时,冗余项定义为 0。更新:
\mathcal{M}_q^{(t)}=\mathcal{M}_q^{(t-1)}\cup\{i_t\}.
选择完成后,得到 MMR 后的实体分数:
\hat{u}_i=
\begin{cases}
u_i,& i\in\mathcal{M}_q,\\
0,& i\notin\mathcal{M}_q.
\end{cases}
若不启用 MMR,则:
\hat{u}_i=u_i.
上述主要评估配置中使用:
c=256,\quad m=24,\quad \lambda=0.7.
9. 实体到文档的分数聚合
9.1 IDF 权重
令实体 (v_i) 的文档频率为:
\operatorname{df}(i)=\sum_{j=1}^{M} A_{i,j}.
IDF 型权重定义为:
w_i^{\operatorname{idf}}=
\begin{cases}
\frac{1}{\operatorname{df}(i)},& \operatorname{df}(i)>0,\\
0,& \operatorname{df}(i)=0.
\end{cases}
9.2 Top-k 实体过滤
文档聚合前,只保留得分最高的 (k_e) 个实体:
\mathcal{T}_q=\operatorname{Top}_{k_e}(\hat{u}).
当前主要评估中使用:
k_e=20.
9.3 文档分数
文档 (d_j) 的分数为:
\mu_j(q)
=
\sum_{i\in \mathcal{T}_q}
\hat{u}_i\, w_i^{\operatorname{idf}}\, A_{i,j}.
所有文档按 (\mu_j(q)) 降序排列,得到最终检索列表:
\pi_q=\operatorname{argsort}_{d_j\in\mathcal{D}}\left(\mu_j(q)\right).
10. 训练目标
训练阶段使用实体级监督标签 (y_q^{e})。模型输出实体 logits:
s(q)=s_\theta(q,G).
10.1 加权二元交叉熵
逐实体二元交叉熵为:
\ell_i^{\operatorname{bce}}
=
-y_i^{e}\log\sigma(s_i)
-(1-y_i^{e})\log(1-\sigma(s_i)).
实现中对正负样本使用样本内权重。若使用 adversarial temperature (T_a>0),负样本权重按负样本 logit 的 softmax 计算:
\omega_i^{-}
=
\frac{\exp(s_i/T_a)}
{\sum_{j:y_j^{e}=0}\exp(s_j/T_a)},
\quad y_i^{e}=0.
正样本权重按正样本数量平均分配。记加权 BCE 为:
\mathcal{L}_{\operatorname{BCE}}.
10.2 ListCE 多标签排序损失
先将实体 logit 转为 sigmoid 分数:
p_i=\sigma(s_i).
样本内归一化得到:
\tilde{p}_i=
\frac{p_i}{\sum_{j=1}^{n}p_j+\epsilon}.
对支持实体集合求平均负对数似然:
\mathcal{L}_{\operatorname{ListCE}}
=
-\frac{1}{|\mathcal{Y}_q^e|}
\sum_{i:y_i^{e}=1}
\log(\tilde{p}_i+\epsilon).
若某个样本没有支持实体标签,则该样本在 ListCE 中跳过。
10.3 主训练损失
当前训练脚本使用:
\mathcal{L}_{\operatorname{main}}
=
0.3\,\mathcal{L}_{\operatorname{BCE}}
+
0.7\,\mathcal{L}_{\operatorname{ListCE}}.
10.4 可选 QueryShift 辅助项
若同时计算 dynamic readout 和 initial readout 两个实体分数:
s^{\operatorname{dyn}},\quad s^{\operatorname{init}},
则可加入 initial readout 的监督项:
\mathcal{L}_{\operatorname{init}}
=
0.3\,\mathcal{L}_{\operatorname{BCE}}(s^{\operatorname{init}},y^e)
+
0.7\,\mathcal{L}_{\operatorname{ListCE}}(s^{\operatorname{init}},y^e).
还可加入 dynamic 与 initial 的分数一致性项:
\mathcal{L}_{\operatorname{cons}}
=
\left\|
\sigma(s^{\operatorname{dyn}})
-
\sigma(s^{\operatorname{init}})
\right\|_2^2.
完整形式为:
\mathcal{L}
=
\mathcal{L}_{\operatorname{main}}
+
\beta\mathcal{L}_{\operatorname{init}}
+
\gamma\mathcal{L}_{\operatorname{cons}}.
其中 (\beta,\gamma\ge 0)。当 (\beta=\gamma=0) 时,训练只使用主损失。
11. 推理流程
对一个问题 (q),推理流程如下。
- 抽取或读取问题实体,构造 (x_q)。
- 编码问题文本,得到 (q_0=W_q\operatorname{Enc}(q))。
- 构造初始节点状态 (h_i^{(0)}=x_{q,i}q_0)。
- 执行 (L) 层图传播。若使用 QueryShift,则逐层更新 (z^{(l)});若使用静态 query,则所有层使用 (q_0)。
- 根据读出模式选择 (z^{\operatorname{out}}\in{z^{(L)},q_0}),计算实体 logits (s_i)。
- 使用可选变换 (u_i=\phi(s_i))。
- 若启用 MMR,在实体候选集合上执行贪心选择,得到 (\hat{u}_i)。
- 取 (\mathcal{T}q=\operatorname{Top}{k_e}(\hat{u}))。
- 用实体到文档矩阵聚合文档分数:
\mu_j(q)=\sum_{i\in\mathcal{T}_q}\hat{u}_i w_i^{\operatorname{idf}}A_{i,j}.
- 按 (\mu_j(q)) 降序返回文档列表。
12. 评价指标
评价可在实体级或文档级进行。令某个样本的 gold 集合为 (\mathcal{G}q),模型排序前 (k) 个对象为 (\mathcal{P}{q,k})。若评价文档检索,则:
\mathcal{G}_q=\mathcal{S}_q,
\quad
\mathcal{P}_{q,k}=\operatorname{TopDoc}_k(q).
Recall@k 定义为:
\operatorname{Recall@}k
=
\frac{1}{|\mathcal{Q}_{valid}|}
\sum_{q\in\mathcal{Q}_{valid}}
\frac{
|\mathcal{P}_{q,k}\cap\mathcal{G}_q|
}{
|\mathcal{G}_q|
}.
Full Recall@k 定义为:
\operatorname{FullRecall@}k
=
\frac{1}{|\mathcal{Q}_{valid}|}
\sum_{q\in\mathcal{Q}_{valid}}
\mathbf{1}
\left[
\mathcal{G}_q\subseteq\mathcal{P}_{q,k}
\right].
其中 (\mathcal{Q}_{valid}) 表示 gold 集合非空的问题集合。Full Recall@k 衡量 top-k 集合是否覆盖该问题的全部 gold 对象。
13. 当前可复现实验配置
本节记录当前本地实验中使用过的一个实例配置。该配置用于说明方法对象如何组合,不作为方法定义的一部分。
训练配置:
L=6,\quad d=512,\quad \text{seed}=1024.
训练数据为 wiki_train 的 10 个 split。记录的 QueryShift checkpoint 路径为:
outputs/wiki_train_full_train_query_shift8m/20260523_221900_10splits_bs1_h512_l6_query_shift_seed1024_lr1e-5/model_latest.pth
静态 baseline checkpoint 路径为:
outputs/wiki_train_full_train_random8m/20260519_193133_10splits_bs1_h512_l6_random_init_seed1024_lr1e-5/model_latest.pth
当前主要推理配置为:
z^{\operatorname{out}}=q_0,
\quad
\phi=\operatorname{softplus},
\quad
c=256,
\quad
m=24,
\quad
\lambda=0.7,
\quad
k_e=20.
对应命令参数为:
--after_model_variant query_shift
--after_query_shift_final_query initial
--after_entity_score_transform softplus
--after_entity_mmr_mode document
--after_entity_mmr_top_k 24
--after_entity_mmr_candidate_top_k 256
--after_entity_mmr_lambda 0.7
--doc_ranker_top_k 20
14. 本地评估结果记录
在 wiki 的 test split 上,当前本地评估包含 1000 个样本。以下结果来自本地输出文件,不是方法定义的一部分。
| 配置 |
Recall@20 |
Full Recall@20 |
Recall@100 |
Full Recall@100 |
| Static10 |
0.8215 |
0.6660 |
0.8332 |
0.6890 |
QueryShift10, final_query=initial |
0.8785 |
0.7390 |
0.8947 |
0.7690 |
QueryShift10, final_query=initial, softplus |
0.8903 |
0.7550 |
0.9072 |
0.7860 |
QueryShift10, final_query=initial, softplus, document-MMR |
0.9197 |
0.8230 |
0.9335 |
0.8490 |
对应文件为:
outputs/wiki_eval_query_shift_ablation_inference/20260524_qs10_final_initial/comparison.json
outputs/wiki_eval_query_shift_softplus_mmr/20260525_qs10_final_initial_softplus_only/comparison.json
outputs/wiki_eval_query_shift_softplus_mmr/20260525_qs10_final_initial_softplus_mmr24_lam07/comparison.json
15. 方法边界
当前方法依赖以下输入或中间对象:
G,\quad A,\quad x_q,\quad y_q^{e},\quad y_q^{d}.
因此,图构建质量、实体识别质量、实体链接质量和支持文档标注都会影响训练和评估结果。当前训练目标直接监督实体分数,文档排序通过实体到文档矩阵间接得到。MMR 和 softplus 是当前评估路径中的推理期组件;在上述配置中,它们没有作为训练目标的一部分被联合优化。
若执行完整问答流程,LLM 答案生成位于文档检索之后。本文档描述的是检索模型与文档排序流程,不描述 LLM 生成答案的提示模板和答案判定细节。
16. 组件之间的计算关系
当前方法可以压缩为以下计算图:
q
\xrightarrow{\operatorname{Enc},W_q}
q_0
\xrightarrow{x_q}
H^{(0)}
\xrightarrow{G,\{\rho_r\},\operatorname{QueryShift}}
H^{(L)},z^{(L)}
\xrightarrow{z^{\operatorname{out}}}
s
\xrightarrow{\phi}
u
\xrightarrow{\operatorname{MMR}}
\hat{u}
\xrightarrow{A,w^{\operatorname{idf}}}
\mu
\xrightarrow{\operatorname{argsort}}
\pi_q.
其中:
z^{\operatorname{out}}=
\begin{cases}
z^{(L)},& \text{dynamic readout},\\
q_0,& \text{initial readout}.
\end{cases}
该表达覆盖静态 query、QueryShift、不同读出方式、不同实体分数变换、启用或不启用 MMR 的情况。