Wav2vec2 论文阅读看到的一些问题

Wav2vec2 论文阅读看到的一些问题

这里只是简单的思考一下论文的一些问题，不是论文解读。

Q1. 为什么wav2vec依旧需要Transformer来做推理，而不直接使用VQ生成的内容？
A1. Transformer在更长的序列上有更好的编码效果，例如论文也写Contextualized representations with Transformers。另一个因素在于对比学习本质上是区分相似性，让正样本之间更接近，让正负样本之间更远离，而不是类似CE的完全逼近。参考损失函数：
$$-log\frac{exp(sim({\text{c}}_t,{\text{q}}_t)/\kappa )}{{\sum }_{\widehat{\text{q}\sim {\text{Q}}_t}exp(sim({\text{c}}_t,\hat{\text{q}})/\kappa )}}$$

Q2. VQ是怎么训练的？
A2. 是联合训练的，在训练早期CodeBook是随机初始化。这个一点和HuBERT有一点不太一样，后者是提前预训练。