文献分享: ConstBERT固定数目向量编码文档

😂图放这了，大道至简的$\text{idea}$不愧是$\text{ECIR}$

👉原论文

$\text{1. ConstBERT}$的原理

1️⃣模型的改进点：相较于$\text{ColBERT}$为每个$\text{Token}$生成一个向量，$\text{ConstBERT}$只为段落生成固定$C$个向量

1. 嵌入阶段：为查询$Q$和段落$P$的每个$\text{Token}$都生成一个$d$维向量，是为 { q 1 , … , q N } \{q_{1},\ldots,q_{N}\} {q1​,…,qN​}和 { p 1 , … , p M } \{p_{1},\ldots,p_{M}\} {p1​,…,pM​}
2. 线性变换：拼接所有段落单向量为$\left[p_1,\cdots ,p_M\right]\text{∈}{\mathbb{R}}^{dM}$，进行$\mathbf{W}\text{∈}{\mathbb{R}}^{Mk\text{×}Ck}$投影得$\left[{\delta }_1,\cdots ,{\delta }_C\right]\text{=}{\mathbf{W}}^T\left[p_1,\cdots ,p_M\right]\text{∈}{\mathbb{R}}^{dC}$
3. 后期交互：同$\text{ColBERT}$，为每个$q_i$找到与其内积最大的$\text{MaxSim}(q_i,\delta )\text{=}{\delta }_{p_i}$，最后将所有$\text{MaxSim}$相加得到相似度评分

2️⃣改进的动机：为何非要固定数目的段落向量

1. 存储效率上：设定$C\text{<}M$后，能降低段落嵌入所占的空间
2. 计算效率上：设定$C\text{<}M$后，将原有$O(MN)$的查询复杂度降为了$O(CN)$
3. 系统级优化：使得内存对齐，规避了变长文档表示导致内存碎片化，从而降低了$\text{Cache Miss}$

$\text{2. ConstBERT}$的实验结果

1️⃣效果：当$C\text{=}32$时，在$\text{MsMarco/BEIR}$等数据集上，查询效果与$\text{ColBERT}$相当(用$\text{MRR@10/nDCG@10}$衡量)

2️⃣效率：相比$\text{ColBERT}$对段落的存储空间需求减少了一半多，端到端检索响应速度也显著加快