文献分享: PLAID——为ColBERT架构设计的后期交互驱动器

👉前情提要：

1. 神经网络自然语言模型概述
2. $\text{Transformer}$与注意力机制概述

📚相关论文：

1. $\text{BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding}$
   • 提出了基于双向深度$\text{Transformer}$的$\text{BERT}$交叉编码器
   • $\text{BERT}$的总结
2. $\text{ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT}$
   • 提出了基于$\text{BERT}$编码的后期$\text{Token}$级交互模式
   • $\text{ColBERTv1}$的总结
3. $\text{ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction}$
   • 保留了$\text{ColBERT}$的后期交互架构，但从训练策略$/$嵌入压缩$/$数据集上优化
   • $\text{ColBERTv2}$的总结
4. $\text{PLAID: An Efficient Engine for Late Interaction Retrieval}$
   • 在$\text{ColBERTv2}$的基础上，进一步改进了检索策略
   • $\text{PLAID}$的总结
5. $\text{EMVB: Efficient Multi-Vector Dense Retrieval Using Bit Vectors}$