语音识别的预训练模型

语音识别的预训练模型

语音识别模型

大致分为两类：

1. 连接时序分类（Connectionist Temporal Classification, CTC）：仅编码器（encoder-only）的模型，顶部带有线性分类（CTC）头
2. 序列到序列（Sequence-to-sequence, Seq2Seq）：编码器-解码器（encoder-decoder）模型，编码器和解码器之间带有交叉注意力机制

在 2022 年之前，CTC 是这两种架构中更受欢迎的一种，以 encoder-only 模型为主，例如 Wav2Vec2、HuBERT 和 XLSR 在语音的预训练/微调范式中取得了突破。 大公司如 Meta 和 Microsoft 在大量无标签音频数据上对编码器进行了多天甚至数周的预训练。 用户采用一个预训练的检查点，并在少至 10 分钟的有标注的语音数据上进行微调，就可以在下游语音识别任务中取得强大的性能。

然而，CTC 模型也有其缺点。在编码器上附加一个简单的线性层可以得到一个小巧、快速