基于Gemini 生成 Gemini Embedding

在本报告中，我们介绍了Gemini Embedding，这是一款基于谷歌功能最强大的大型语言模型Gemini的先进嵌入模型。借助Gemini的多语言和代码理解能力，Gemini Embedding能够为多种语言和文本模态的文本生成高度通用的嵌入表示。Gemini Embedding生成的表示可以预先计算并应用于多种下游任务，包括分类、相似性分析、聚类、排序和检索。

在包含250多种语言、超过一百个任务的Massive Multilingual Text Embedding Benchmark（MMTEB）上进行评估时，Gemini Embedding显著超越了之前的最先进模型，展示了嵌入质量的显著提升。在MMTEB的多语言、英语和代码基准测试中均取得了最先进水平的表现，证明了我们的统一模型在广泛任务中的强大能力，并超越了专门的领域特定模型。

1 Introduction

背景与重要性

嵌入模型将输入转换为密集向量表示，对于捕捉不同领域和模态中的语义信息至关重要。文本嵌入模型将单词和句子表示为向量，将语义相似的文本定位在嵌入空间中。近期研究重点在于开发能够在多种下游任务中表现出色的通用嵌入模型，包括信息检索、聚类和分类。大型语言模型（LLMs）已成为构建此类通用嵌入模型的有前途的途径，利用其庞大的预训练知识，有可能显著提升广泛应用程序的性能。

LLMs在嵌入模型开发中的作用

通过两种主要方法，LLMs的集成彻底变革了高质量嵌入模型的开发：

• 改进训练数据集：LLMs用于生成更高质量的示例，通过困难负样本挖掘和合成数据生成等技术，将LLM知识蒸馏到更小、更高效的嵌入模型中，带来显著的性能提升。

• 初始化嵌入模型参数：直接利用LLM参数进行初始化，尽管这种方法增加了计算需求，但实证证据表明，利用强大的LLMs进行初始化可以获得显著的性能提升。

Gemini Embedding的介绍

在这项工作中，推出了Gemini Embedding，这是一种从强大的Gemini大型语言模型初始化的新型嵌入模型。利用Gemini的多样化能力，在一系列嵌入任务上训练Gemini Embedding。为了构建高质量、异构的训练数据集，使用Gemini进行数据筛选、确定检索的相关正负段落以及生成丰富的合成数据集。这个策展数据集促进了基于对比学习目标的训练，使Gemini Embedding能够学习鲁棒的语义表示。

训练方法的创新

在Gecko的成功基础上，引入任务提示和预微调阶段以提升性能。最后，使用Model Soup，一种简单而有效的参数平均技术，来组合多个微调检查点，从而产生更优的最终嵌入模型。

评估与结果

为了严格评估Gemini Embedding的能力，在各种任务和语言上进行了广泛评估。主要使用MMTEB，这是一个全面的测试套件，涵盖250多种语言的100多个嵌入评估任务。Gemini Embedding在MTEB（多语言）上实现了最先进水平的性能，显著超越了之前的最佳模型。它在公共排行榜上基于