gte-base-zh Python入门实战：零基础构建你的第一个文本相似度应用

gte-base-zh Python入门实战零基础构建你的第一个文本相似度应用你是不是经常在想怎么让电脑理解两句话是不是在说同一个意思或者怎么从一篇长文章里快速提炼出核心内容听起来很复杂但今天咱们就用一个叫gte-base-zh的模型加上你熟悉的Python来亲手实现这些功能。gte-base-zh是一个专门处理中文文本的模型它能将一段文字转换成一个“数字指纹”我们称之为向量或嵌入。有了这个指纹我们就能轻松比较两段文字的相似度或者做更多有趣的事情比如智能搜索、文章分类、自动摘要。别担心即使你刚接触Python或者AI这篇文章也会带你一步步走完。我们会从最基础的API调用开始到写出一个能计算文本相似度的小程序最后还会聊聊怎么把结果直观地展示出来。整个过程你只需要一个能运行Python的环境和一个已经部署好的模型服务地址比如在星图GPU平台上部署的。准备好了吗让我们开始吧。1. 环境准备万事开头易在写代码之前我们需要准备好“工具箱”。这一步非常简单只需要安装一个Python库。1.1 安装必备的Python库我们主要会用到requests库来和模型API“对话”。打开你的命令行Windows上是CMD或PowerShellMac/Linux上是Terminal输入下面这行命令pip install requests如果安装速度慢可以试试国内的镜像源比如pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple安装成功后你可以创建一个新的Python文件比如叫做text_similarity.py我们所有的代码都会写在这个文件里。1.2 理解我们的“助手”API接口想象一下gte-base-zh模型就像一个住在远方的超级大脑。我们客户端不能直接跑进它家里让它工作而是需要给它写信发送请求告诉它我们想做什么。它处理完后再把结果回信返回响应给我们。这个写信、收信的过程就是通过API应用程序编程接口完成的。在本教程中我们假设你已经有一个正在运行的gte-base-zh模型服务它有一个访问地址比如http://your-server-address/v1/embeddings。你需要把your-server-address替换成你实际的服务地址和端口。这个服务通常期待我们以特定的格式JSON发送请求里面包含我们要处理的文本。它也会以JSON格式返回处理结果也就是文本对应的“数字指纹”。2. 迈出第一步调用API获取文本向量理论说再多不如一行代码。让我们先看看怎么和这个“超级大脑”进行一次最简单的对话。2.1 编写你的第一个API调用函数在text_similarity.py文件中我们首先引入必要的库然后写一个函数来获取单段文本的向量。import requests import json # 你的模型服务地址请替换成实际地址 API_URL http://your-server-address/v1/embeddings def get_text_embedding(text): 发送文本到gte-base-zh模型服务获取其向量表示嵌入。 参数: text (str): 需要处理的文本字符串。 返回: list: 文本对应的向量列表形式。如果出错返回None。 # 准备请求数据格式需要符合API要求 payload { input: text, model: gte-base-zh # 指定模型名称根据你的服务调整 } # 设置请求头告诉服务器我们发送的是JSON数据 headers { Content-Type: application/json } try: # 发送POST请求 response requests.post(API_URL, jsonpayload, headersheaders) # 检查请求是否成功HTTP状态码为200表示成功 response.raise_for_status() # 解析返回的JSON数据 result response.json() # 通常返回数据中有一个data字段里面是列表列表的第一个元素就是我们要的向量 if data in result and len(result[data]) 0: embedding result[data][0][embedding] return embedding else: print(API返回的数据格式不符合预期。) print(f返回内容: {result}) return None except requests.exceptions.RequestException as e: # 处理网络或请求错误 print(f请求API时发生错误: {e}) return None except (KeyError, IndexError, json.JSONDecodeError) as e: # 处理返回数据解析错误 print(f解析API返回数据时发生错误: {e}) print(f返回内容: {response.text}) return None # 让我们测试一下这个函数 if __name__ __main__: test_text 今天天气真好我们一起去公园散步吧。 embedding get_text_embedding(test_text) if embedding: print(成功获取文本向量) print(f向量长度: {len(embedding)}) print(f向量前10个值: {embedding[:10]}) # 只打印前10个值因为整个向量很长 else: print(获取文本向量失败。)代码说明requests.post这是我们向API地址发送请求的核心函数。jsonpayload会自动将我们的字典转换成JSON格式。response.raise_for_status()这是一个好习惯如果请求失败比如404找不到500服务器错误它会直接抛出一个异常让我们能及时处理错误。response.json()将API返回的JSON字符串解析成Python的字典或列表方便我们提取数据。错误处理我们用try...except包裹了可能出错的代码包括网络问题和数据格式问题。在实际应用中良好的错误处理能让程序更健壮。运行这段代码如果一切顺利你会看到输出显示了向量的长度通常是768维和前几个数字。恭喜你你已经成功和AI模型握手了3. 核心任务计算文本相似度拿到文本的“数字指纹”向量后怎么比较它们呢在数学上我们可以计算两个向量之间的余弦相似度。它的值在-1到1之间接近1表示两个向量方向几乎相同文本语义非常相似。接近0表示两个向量正交文本语义不相关。接近-1表示两个向量方向完全相反文本语义相反在文本相似度中很少出现负值。3.1 实现余弦相似度计算我们需要用到一点数学库。Python的numpy库能高效地处理向量运算。我们先安装它pip install numpy然后我们来写计算相似度的函数import numpy as np def calculate_cosine_similarity(vec_a, vec_b): 计算两个向量之间的余弦相似度。 参数: vec_a (list/np.array): 第一个向量。 vec_b (list/np.array): 第二个向量。 返回: float: 余弦相似度得分范围在[-1, 1]之间。 # 将列表转换为numpy数组方便计算 a np.array(vec_a) b np.array(vec_b) # 计算点积 dot_product np.dot(a, b) # 计算模长范数 norm_a np.linalg.norm(a) norm_b np.linalg.norm(b) # 避免除以零 if norm_a 0 or norm_b 0: return 0.0 # 余弦相似度公式 similarity dot_product / (norm_a * norm_b) return similarity def compare_two_texts(text1, text2): 比较两段文本的语义相似度。 参数: text1 (str): 第一段文本。 text2 (str): 第二段文本。 返回: float: 相似度得分。同时会在控制台打印结果。 print(f文本A: {text1}) print(f文本B: {text2}) emb1 get_text_embedding(text1) emb2 get_text_embedding(text2) if emb1 is None or emb2 is None: print(无法获取文本向量比较终止。) return None similarity calculate_cosine_similarity(emb1, emb2) print(f-- 余弦相似度得分: {similarity:.4f}\n) # 保留4位小数 return similarity # 实战测试 if __name__ __main__: print( 文本相似度比较测试 \n) # 案例1语义相同表达不同 compare_two_texts( 我喜欢吃苹果, 苹果是我爱吃的水果 ) # 案例2语义相关 compare_two_texts( 深度学习需要大量的数据和算力, 训练一个神经网络模型非常消耗计算资源 ) # 案例3语义不同 compare_two_texts( 今天天气晴朗适合外出, 编程是一门需要不断学习的技能 )运行这个测试你会看到三组对比结果。第一组得分会很高可能超过0.8因为它们说的是同一件事第二组得分中等因为它们主题相关但表述不同第三组得分会很低因为内容完全不相关。3.2 尝试更多有趣的应用有了这个基础我们可以玩点更复杂的。比如在一堆文本里找到和某句话最像的那一句。这就像是做一个简易的搜索引擎。def find_most_similar(query_text, text_list): 在一组文本中找到与查询文本最相似的那一个。 参数: query_text (str): 查询文本。 text_list (list of str): 待比较的文本列表。 返回: tuple: (最相似文本的索引, 相似度得分, 最相似文本内容) query_embedding get_text_embedding(query_text) if query_embedding is None: return None best_score -1 # 初始化为最小值 best_index -1 print(f查询: 「{query_text}」\n) print(正在与以下文本比较) for i, text in enumerate(text_list): print(f {i1}. {text}) print(\n相似度分析) for i, candidate_text in enumerate(text_list): cand_embedding get_text_embedding(candidate_text) if cand_embedding is None: continue score calculate_cosine_similarity(query_embedding, cand_embedding) print(f 与文本{i1}的相似度: {score:.4f}) if score best_score: best_score score best_index i if best_index ! -1: print(f\n✨ 最相似的文本是第 {best_index 1} 条得分: {best_score:.4f}) print(f 内容: {text_list[best_index]}) return (best_index, best_score, text_list[best_index]) else: print(\n未找到相似文本。) return None # 测试简易智能问答匹配 if __name__ __main__: print(\n 智能问答匹配测试 \n) # 假设我们有一个简单的知识库 knowledge_base [ Python是一种高级编程语言以简洁易读著称。, 机器学习是人工智能的一个分支让计算机从数据中学习。, 北京是中国的首都是一座历史悠久的城市。, 深度学习利用神经网络模型处理复杂数据如图像和语音。 ] # 用户提问 user_question 有什么技术能让电脑自己从经验中学习 find_most_similar(user_question, knowledge_base)这个例子模拟了一个极简的问答系统。你问一个问题程序会在“知识库”里寻找语义最接近的答案。虽然简单但这正是许多智能客服和问答系统的核心原理之一。4. 进阶探索从相似度到文本摘要文本向量不仅能比较还能聚类、分类。我们再来尝试一个稍微进阶点的想法给一段长文本生成摘要。一个朴素的方法是找出长文中最能代表整体内容的几个核心句子。思路是将长文本分割成句子。为每个句子获取向量。计算整个文本的平均向量可以理解为“中心思想”。找出与这个“中心思想”向量最相似的几个句子作为摘要。def generate_simple_summary(long_text, num_sentences2): 生成文本摘要基于嵌入向量的简易方法。 参数: long_text (str): 长文本。 num_sentences (int): 摘要中包含的句子数量。 返回: str: 生成的摘要。 # 简单的句子分割按句号、问号、感叹号分割实际应用可用更专业的工具 sentences [s.strip() for s in long_text.replace(。, 。|).replace(, |).replace(, |).split(|) if s.strip()] if len(sentences) num_sentences: print(文本过短无需摘要。) return long_text print(f原文共 {len(sentences)} 句。正在生成摘要...\n) # 获取每个句子的向量 sentence_embeddings [] valid_sentences [] for sent in sentences: emb get_text_embedding(sent) if emb is not None: sentence_embeddings.append(emb) valid_sentences.append(sent) else: print(f警告无法获取句子「{sent[:20]}...」的向量已跳过。) if not sentence_embeddings: print(无法获取任何句子向量。) return # 计算所有句子向量的平均向量中心向量 center_embedding np.mean(sentence_embeddings, axis0) # 计算每个句子与中心向量的相似度 similarities [] for emb in sentence_embeddings: sim calculate_cosine_similarity(center_embedding, emb) similarities.append(sim) # 获取相似度最高的几个句子的索引 top_indices np.argsort(similarities)[-num_sentences:] # argsort返回的是升序索引取最后几个 top_indices sorted(top_indices) # 按原文顺序排序 # 组合成摘要 summary_sentences [valid_sentences[i] for i in top_indices] summary 。.join(summary_sentences) 。 print(生成的摘要) print(f 「{summary}」\n) return summary # 测试摘要生成 if __name__ __main__: print(\n 文本摘要生成测试 \n) sample_text 人工智能是当前科技领域最受关注的方向之一。机器学习作为人工智能的核心技术通过算法让计算机从数据中学习规律。 深度学习是机器学习的一个分支它使用深层神经网络模型在图像识别、语音处理等领域取得了突破性进展。 自然语言处理则是让计算机理解、解释和生成人类语言的技术广泛应用于智能客服、机器翻译等领域。 这些技术的发展正在深刻地改变我们的生活和工作方式。 summary generate_simple_summary(sample_text, num_sentences2)这个方法虽然简单但能直观地展示如何利用文本向量来理解内容结构并提取关键信息。对于刚入门的你来说能看到一个想法从代码变成现实是最有成就感的事。5. 让结果更直观简单可视化数字得分有时候不够直观。我们可以用Python的matplotlib库画个简单的图让相似度对比一目了然。首先安装绘图库pip install matplotlib然后我们可以修改之前的比较函数让它能画图import matplotlib.pyplot as plt def visualize_similarity(text_pairs): 计算多对文本的相似度并用柱状图可视化。 参数: text_pairs (list of tuples): 包含多个(文本A, 文本B)的元组列表。 labels [] scores [] print(开始计算并可视化文本相似度...\n) for i, (text1, text2) in enumerate(text_pairs): # 简化标签用于图表显示 label fPair {i1} labels.append(label) score compare_two_texts(text1, text2) if score is not None: scores.append(score) else: scores.append(0) # 如果出错记为0 # 创建柱状图 plt.figure(figsize(10, 6)) bars plt.bar(labels, scores, colorskyblue) # 在柱子上方显示具体数值 for bar, score in zip(bars, scores): height bar.get_height() plt.text(bar.get_x() bar.get_width()/2., height 0.01, f{score:.3f}, hacenter, vabottom, fontsize9) plt.axhline(y0.5, colorred, linestyle--, alpha0.5, label相似度阈值 (0.5)) plt.ylim(0, 1.1) # 相似度范围在0-1之间 plt.ylabel(余弦相似度得分) plt.title(文本对相似度对比) plt.legend() plt.grid(axisy, alpha0.3) plt.tight_layout() # 为每个柱子添加简短的文本提示鼠标悬停看全文 full_texts [] for i, (t1, t2) in enumerate(text_pairs): short_t1 (t1[:15] ...) if len(t1) 15 else t1 short_t2 (t2[:15] ...) if len(t2) 15 else t2 full_texts.append(fPair {i1}:\nA: {t1}\nB: {t2}) # 这里只是一个简单打印更复杂的交互式提示需要其他库如Plotly print(\n各文本对详情) for i, desc in enumerate(full_texts): print(f\n{labels[i]}:) print(desc) plt.show() # 运行可视化 if __name__ __main__: print(\n 相似度可视化 \n) pairs_to_compare [ (我爱编程, 编程是我的爱好), (今天天气不错, 明天可能会下雨), (这家餐厅很好吃, 数学是一门基础学科), (深度学习需要GPU, 训练模型对硬件要求高), ] visualize_similarity(pairs_to_compare)运行这段代码会弹出一个窗口显示柱状图。红色虚线可以作为一个参考阈值高于它通常认为文本是相关的。图表让结果对比变得非常清晰。6. 回顾与展望跟着走完这一趟你应该已经成功调用gte-base-zh模型API计算了文本相似度甚至尝试了简单的摘要生成和结果可视化。整个过程就像搭积木从最简单的HTTP请求开始一步步构建出有用的小功能。你可能注意到了我们用的摘要方法比较基础。工业级的摘要系统要复杂得多会考虑句子位置、关键词、连贯性等等。但我们的实验完美地展示了文本向量的核心用途将文字转化为计算机可以计算的数学形式。这是现代NLP自然语言处理应用的基石。接下来你可以尝试很多方向。比如用这个技术给你的个人文档做个智能搜索工具或者分析社交媒体上评论的情感倾向需要情感分类模型配合。在星图镜像广场你还能找到更多专精于不同任务的模型比如对话、翻译、代码生成等。把它们像乐高一样组合起来能创造出非常有趣的应用。最重要的是你亲手用Python把想法变成了现实。保持这份好奇心去探索和构建更多东西吧。编程和AI的世界大门已经为你打开了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。