Nomic-Embed-Text-V2-MoE Python入门实战：用三行代码实现文本相似度计算

Nomic-Embed-Text-V2-MoE Python入门实战用三行代码实现文本相似度计算你是不是觉得AI大模型听起来很酷但一想到要自己动手部署、写代码就觉得头大别担心今天咱们就来点不一样的。我带你用最简单的方式体验一下当前最火的开源文本嵌入模型——Nomic-Embed-Text-V2-MoE。这个模型有个特别厉害的地方它能把你输入的任何文字变成一串有意义的数字我们叫它“向量”。然后神奇的事情就发生了意思相近的文字它们的数字串也会很“像”。我们只需要计算一下这些数字串之间的“像”的程度就能知道两段文字有多相似。听起来有点玄乎其实操作起来比你想象的要简单得多。咱们今天的目标就是让你在10分钟内用几行Python代码亲手实现这个效果。不需要你懂复杂的机器学习也不需要你配置繁琐的环境。你只需要一个能运行Python的地方和一点点好奇心。准备好了吗咱们开始吧。1. 环境准备一键获取模型服务首先咱们得有个地方来运行这个强大的模型。自己从零搭建环境太费劲了好在有更聪明的办法。1.1 选择部署平台为了省去安装依赖、下载模型这个模型有几十GB的麻烦我强烈推荐你使用云端的AI服务平台。这类平台通常已经把模型和环境都打包好了你只需要点几下鼠标就能获得一个可以直接调用的模型服务地址API地址。你可以选择任何一个提供Nomic-Embed-Text-V2-MoE模型镜像的云平台。操作流程大同小异在平台的镜像市场或应用中心里搜索“Nomic-Embed-Text-V2-MoE”然后选择“一键部署”或“创建应用”。平台会为你分配计算资源比如GPU并启动服务最后给你一个访问地址通常长这样http://你的服务地址/v1/embeddings。这个过程就像在应用商店里安装一个APP非常直观。部署完成后记下这个地址我们等下写代码要用到它。1.2 本地Python环境确认模型服务在云端跑起来了我们本地的任务就轻松多了。你只需要确保你的电脑上安装了Python建议版本3.8或以上和两个非常常用的库。打开你的命令行终端Windows上是CMD或PowerShellMac/Linux上是Terminal分别输入以下两条命令来检查python --version pip list | grep requests pip list | grep numpy如果看到Python版本号并且requests和numpy库都已存在那么恭喜你环境已经就绪。如果提示没有找到requests或numpy也别慌用下面这个万能命令安装一下pip install requests numpy搞定这些最复杂的部分就已经结束了。接下来全是好玩的。2. 核心概念向量与相似度到底是什么在写代码之前咱们花一分钟用人话把核心原理讲清楚。这样你不仅知道怎么做还能明白为什么这么做。文本向量你可以把它想象成一段文字的“数字身份证”。模型就像一位经验丰富的图书管理员它读懂了你的文字然后根据含义把这段文字归档到一个超大的、有几百甚至几千个维度的“书架”上的某个特定位置。这个位置坐标就是一串数字也就是向量。比如“我喜欢吃苹果”和“苹果是一种水果”这两句话因为都提到了“苹果”它们的“数字身份证”在某个维度上就会比较接近。余弦相似度这是我们用来衡量两个“数字身份证”像不像的尺子。它计算的是两个向量在方向上的接近程度结果在-1到1之间。接近1表示两个向量方向几乎一致对应文本语义非常相似。接近0表示两个向量近乎垂直文本语义基本无关。接近-1表示两个向量方向完全相反文本语义可能相反或冲突。这个方法的妙处在于它主要看“方向”而不是“长度”所以即使两段文字长短不一只要核心意思相近我们也能识别出来。3. 三步代码实战从文本到相似度现在请打开你喜欢的代码编辑器比如VSCode、PyCharm甚至记事本也行新建一个Python文件例如叫做text_similarity.py。3.1 第一步发送文本获取向量我们需要用requests库把我们的文字“快递”给刚才部署好的模型服务让它帮我们生成“数字身份证”。import requests # 替换成你从云平台获取的真实API地址 API_URL http://你的模型服务地址/v1/embeddings # 准备要发送的数据告诉模型我们要编码哪些文本 texts_to_embed [我喜欢编程, 编程让生活更有趣, 今天天气真好] data { input: texts_to_embed, model: nomic-ai/nomic-embed-text-v2-moe # 指定模型名称 } # 发送POST请求 response requests.post(API_URL, jsondata) # 检查请求是否成功 if response.status_code 200: result response.json() # 从返回结果中提取出所有文本的向量 embeddings [item[embedding] for item in result[data]] print(f成功获取了 {len(embeddings)} 个文本的向量每个向量长度是 {len(embeddings[0])}) else: print(f请求失败状态码{response.status_code}) print(response.text)运行这段代码如果一切顺利你会看到成功获取向量的提示。embeddings变量里就存储了三个列表每个列表都是一个长达数千个数字的向量分别对应“我喜欢编程”、“编程让生活更有趣”和“今天天气真好”。3.2 第二步计算余弦相似度向量到手了接下来就用numpy来计算它们之间的“像”的程度。我们把上面代码中获取embeddings的部分和下面的计算部分连起来。import numpy as np # 假设embeddings已经从上一步获得 # embeddings [...] # 将列表转换为numpy数组方便计算 embeddings_array np.array(embeddings) # 计算余弦相似度的函数 def cosine_similarity(vec_a, vec_b): # 点积 dot_product np.dot(vec_a, vec_b) # 模长 norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) # 余弦值 return dot_product / (norm_a * norm_b) # 计算第一句话和第二句话的相似度 sim_0_1 cosine_similarity(embeddings_array[0], embeddings_array[1]) print(f“我喜欢编程” 和 “编程让生活更有趣” 的相似度{sim_0_1:.4f}) # 计算第一句话和第三句话的相似度 sim_0_2 cosine_similarity(embeddings_array[0], embeddings_array[2]) print(f“我喜欢编程” 和 “今天天气真好” 的相似度{sim_0_2:.4f})运行后你会看到两个数字。第一个数字0和1的相似度应该会比较高比如0.7以上因为两句话都关于“编程”。第二个数字0和2的相似度应该会非常低可能接近0因为“编程”和“天气”完全不相关。看模型成功区分了它们3.3 第三步封装成三行核心代码我们把最关键的操作提炼一下抛开错误处理和细节最核心的任务其实三行代码就能说清楚# 伪代码展示核心逻辑流 vectors get_embeddings_from_api([文本A, 文本B]) # 一行调用API获取向量 similarity_score compute_cosine_similarity(vectors[0], vectors[1]) # 二行计算相似度 print(similarity_score) # 三行输出结果当然实际代码需要展开成前面两节那样包含具体的请求和计算细节。但这个“三行”逻辑框架就是整个任务的灵魂。4. 试试更多好玩的应用掌握了基本操作你就可以开始探索更多有趣的应用场景了。这里给你几个点子简易搜索引擎把你的文档库都转换成向量存起来。当用户输入一个问题时将问题也转换成向量然后快速计算它与所有文档向量的相似度把最相似的几个文档作为答案返回。智能问答去重在社区或客服系统中自动识别用户新提的问题是否与历史问题高度相似如果是可以直接推荐已有的答案提高效率。文章分类与聚类计算一批文章两两之间的相似度可以发现哪些文章讨论的是同一个主题自动进行归类。简历与职位匹配将职位描述和求职者简历都转化为向量通过相似度排序快速筛选出最匹配的候选人。你可以尝试修改代码中的texts_to_embed列表放入你自己感兴趣的句子看看模型给出的相似度是否符合你的直觉。比如试试“猫在沙发上睡觉”和“一只猫咪正在沙发上打盹”你会发现它们的相似度会高得惊人。5. 总结整个过程走下来感觉怎么样是不是没有想象中那么难。我们利用现成的云服务避开了最复杂的模型部署环节然后用Python里最基础的requests和numpy库就完成了从文本到相似度计算的完整流程。这其实就是现在AI应用开发的一个趋势核心的、重度的计算交给专业的平台和模型我们开发者则更专注于业务逻辑和创新应用。Nomic-Embed-Text-V2-MoE这样的开源模型通过友好的API方式提供服务极大地降低了我们使用前沿AI技术的门槛。今天这个例子虽然简单但它像一把钥匙为你打开了一扇门。门后是基于语义理解的各种应用可能性。你可以沿着这个方向结合具体的业务需求去构建更复杂、更有用的工具。下次当你再听到“文本嵌入”、“语义搜索”这些词的时候希望你就能会心一笑因为你知道它们的起点或许就是这简单的三行逻辑。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。