5分钟快速体验GTE模型：Colab在线实战指南

5分钟快速体验GTE模型Colab在线实战指南想试试阿里达摩院开源的GTE文本向量模型但又不想折腾本地环境今天咱们就来个极简体验用Google Colab在线跑通GTE模型从安装到出结果5分钟搞定。GTEGeneral Text Embedding是阿里推出的文本向量模型简单说就是能把一段文字变成一串数字向量然后通过计算这些数字的相似度就能判断两段文字是不是在说同一件事。这在搜索、推荐、智能客服里特别有用。下面咱们就在Colab上快速走一遍看看GTE到底怎么用。1. 环境准备一键搞定打开Google Colabcolab.research.google.com新建一个笔记本然后直接复制粘贴下面的代码到第一个单元格里# 安装必要的库 !pip install transformers torch sentence-transformers -q # 导入需要的模块 from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F运行这个单元格大概等个30秒到1分钟环境就准备好了。Colab的好处就是不用操心Python版本、CUDA驱动这些破事它都给你配好了。2. 加载模型选个合适的版本GTE有不同大小的版本咱们为了快速体验先用个base版速度比较快。在下一个单元格里输入# 选择模型这里用多语言base版支持中文和英文 model_name Alibaba-NLP/gte-multilingual-base # 加载分词器和模型 print(正在加载模型请稍候...) tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue) print(模型加载完成)运行这个单元格第一次会下载模型文件大概300多MB需要等个一两分钟。下载完成后模型就加载到内存里了可以开始用了。3. 文本编码把文字变成向量现在咱们试试把几句话变成向量。新建一个单元格# 准备一些测试文本 texts [ 人工智能正在改变世界, AI技术发展迅速, 今天天气真好, 我喜欢吃苹果 ] # 对文本进行编码 print(正在编码文本...) inputs tokenizer(texts, paddingTrue, truncationTrue, return_tensorspt, max_length512) # 获取模型输出 with torch.no_grad(): outputs model(**inputs) # 取[CLS]位置的向量作为整个句子的表示 embeddings outputs.last_hidden_state[:, 0] # 对向量进行归一化这是计算余弦相似度的标准做法 embeddings F.normalize(embeddings, p2, dim1) print(编码完成) print(f文本数量{len(texts)}) print(f向量维度{embeddings.shape[1]}) print(f前两个向量的前5个值) print(embeddings[0][:5].tolist()) print(embeddings[1][:5].tolist())运行后你会看到类似这样的输出编码完成 文本数量4 向量维度768 前两个向量的前5个值 [0.012, -0.034, 0.056, -0.023, 0.089] [0.015, -0.031, 0.052, -0.021, 0.091]看到没每句话都变成了一个768维的向量。虽然我们看不懂这些数字具体代表什么但模型能理解。4. 相似度计算看看哪些话意思相近向量有了怎么判断两句话像不像呢用余弦相似度。再新建一个单元格# 计算所有文本对之间的相似度 print(计算相似度矩阵...) similarity_matrix embeddings embeddings.T # 矩阵乘法相当于计算所有向量对的内积 print(\n相似度矩阵数值越大越相似) for i in range(len(texts)): row [] for j in range(len(texts)): # 保留两位小数 similarity round(similarity_matrix[i][j].item(), 3) row.append(similarity) print(f{texts[i][:10]}...: {row}) print(\n--- 具体分析 ---) # 看看第一句话和其他句子的相似度 query texts[0] print(f查询{query}) for i, text in enumerate(texts): if i 0: continue similarity similarity_matrix[0][i].item() print(f vs {text}相似度 {similarity:.3f})运行后你会看到相似度矩阵数值越大越相似 人工智能正在...: [1.0, 0.856, 0.123, 0.045] AI技术发展迅...: [0.856, 1.0, 0.098, 0.032] 今天天气真好...: [0.123, 0.098, 1.0, 0.067] 我喜欢吃苹果...: [0.045, 0.032, 0.067, 1.0] --- 具体分析 --- 查询人工智能正在改变世界 vs AI技术发展迅速相似度 0.856 vs 今天天气真好相似度 0.123 vs 我喜欢吃苹果相似度 0.045看明白了吧“人工智能正在改变世界”和“AI技术发展迅速”相似度0.856说明模型认为这两句话意思很接近。而和“今天天气真好”只有0.123和“我喜欢吃苹果”只有0.045说明完全不相关。5. 实际应用试试搜索场景咱们再模拟一个实际点的场景——文档搜索。假设你有个小文档库想找和查询最相关的文档。新建单元格# 模拟一个小文档库 documents [ 机器学习是人工智能的一个分支, 深度学习使用神经网络进行特征学习, Python是一种流行的编程语言, Java在企业开发中广泛应用, Transformer模型在NLP中很重要 ] # 用户查询 query 人工智能和机器学习的关系 print(文档库) for i, doc in enumerate(documents): print(f {i1}. {doc}) print(f\n用户查询{query}) # 编码查询和所有文档 all_texts [query] documents inputs tokenizer(all_texts, paddingTrue, truncationTrue, return_tensorspt, max_length512) with torch.no_grad(): outputs model(**inputs) all_embeddings outputs.last_hidden_state[:, 0] all_embeddings F.normalize(all_embeddings, p2, dim1) # 查询向量 query_embedding all_embeddings[0] # 文档向量 doc_embeddings all_embeddings[1:] # 计算查询和每个文档的相似度 similarities query_embedding doc_embeddings.T print(\n搜索结果按相似度排序) results [] for i in range(len(documents)): results.append({ doc: documents[i], similarity: similarities[i].item() }) # 按相似度从高到低排序 results.sort(keylambda x: x[similarity], reverseTrue) for i, result in enumerate(results): print(f {i1}. {result[doc]}) print(f 相似度{result[similarity]:.3f})运行后大概会看到文档库 1. 机器学习是人工智能的一个分支 2. 深度学习使用神经网络进行特征学习 3. Python是一种流行的编程语言 4. Java在企业开发中广泛应用 5. Transformer模型在NLP中很重要 用户查询人工智能和机器学习的关系 搜索结果按相似度排序 1. 机器学习是人工智能的一个分支 相似度0.923 2. 深度学习使用神经网络进行特征学习 相似度0.645 3. Transformer模型在NLP中很重要 相似度0.312 4. Python是一种流行的编程语言 相似度0.087 5. Java在企业开发中广泛应用 相似度0.054完美查询“人工智能和机器学习的关系”最相关的就是“机器学习是人工智能的一个分支”相似度0.923完全正确。其他的文档按相关度依次排列。6. 总结整体跑下来感觉GTE用起来挺简单的特别是在Colab上几乎没什么环境配置的麻烦。模型效果也不错能准确识别语义相似度不只是看关键词匹配。如果你刚接触文本向量模型我建议先从这种在线环境开始快速验证想法。等确定有用再考虑本地部署或者上生产环境。GTE的多语言版本对中文支持挺好做中文相关的项目可以直接用。实际用的时候可能还会遇到一些问题比如长文本怎么处理GTE支持到8192个token、怎么批量处理大量文本、怎么和其他系统集成等等。但这些都可以慢慢探索先把核心功能跑通最重要。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。