超越标注：合成数据引领下的文本嵌入技术革新

• 论文：https://arxiv.org/pdf/2401.00368
• 代码：https://github.com/microsoft/unilm/tree/master/e5
• 机构：微软
• 领域：嵌入模型
• 发表：BAAI 2024

这篇论文的标题是《Improving Text Embeddings with Large Language Models》，由微软公司的Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei等作者撰写。论文介绍了一种新颖且简单的方法，使用大型语言模型（Large Language Models, LLMs）生成的合成数据，以获得高质量的文本嵌入（text embeddings），并且只需要不到1000步的训练即可完成。这种方法与现有方法相比，不需要构建复杂的多阶段预训练流程，也不依赖于手动收集的数据集，这些手动收集的数据集通常受到任务多样性和语言覆盖的限制。

摘要（Abstract）:

• 论文提出了一种使用合成数据和少于1k训练步骤获得高质量文本嵌入的方法。
• 该方法不依赖于多阶段中间预训练和少量标记数据集的微调。
• 使用专有的LLMs为93种语言生成了数十万个文本嵌入任务的多样化合成数据。
• 通过标准对比损失对开源的仅解码器LLMs进行微调。
• 实验表明，该方法在没有使用任何标记数据的情况下，在竞争性文本嵌入基准测试中取得了强大的性能。
• 当使用合成数据和标记数据的混合进行微调时，模型在BEIR和MTEB基准测试上取得了新的最先进结果。

引言（Introduction）:

• 文本嵌入是自然语言的向量表示，广泛应用于各种自然语言处理（NLP）任务。