nlp_structbert_sentence-similarity_chinese-large赋能微信小程序：实现文本查重功能

nlp_structbert_sentence-similarity_chinese-large赋能微信小程序实现文本查重功能最近和一位做在线教育的朋友聊天他提到一个挺头疼的问题批改学生作文时经常发现不同学生提交的作业内容高度相似甚至有大段雷同。人工一篇篇去比对不仅耗时耗力还容易有疏漏。他问我有没有什么技术手段能帮上忙这让我想起了之前接触过的一个中文文本相似度模型——nlp_structbert_sentence-similarity_chinese-large。这个模型在判断两段中文文本的语义相似度上表现相当不错。于是一个想法冒了出来能不能把这个模型的能力通过一个简单的后端服务封装起来然后让他的微信小程序直接调用实现一个轻量、高效的作文查重功能说干就干。这篇文章我就来分享一下我们是如何把这个想法落地的。整个过程不复杂核心就是三步搭建模型服务、开发后端API、最后让小程序前端能方便地调用。如果你也在为类似的内容查重、文本比对需求寻找解决方案希望接下来的内容能给你一些直接的参考。1. 为什么选择这个模型先看看它能做什么在动手之前我们得先搞清楚手里的“工具”到底怎么样。nlp_structbert_sentence-similarity_chinese-large这个名字有点长我们不妨拆开看。“StructBERT”是它的基础架构你可以理解为一种特别擅长理解中文句子结构和语义的神经网络模型。而“sentence-similarity”和“chinese-large”则指明了它的专长和规模专门用于计算句子级别的相似度针对中文优化并且是一个参数较多、能力较强的“大”版本。它最核心的能力就是给你两段中文文本它能计算出一个介于0到1之间的相似度分数。分数越接近1说明两段话在意思上越相似越接近0则说明差异越大。比如“今天天气真好”和“阳光明媚的一天” —— 模型可能会给出一个很高的分数比如0.95。“今天天气真好”和“我喜欢吃苹果” —— 分数就会非常低比如0.05。这种基于语义的理解比单纯比较词语是否重复比如“的”、“了”这些词重复率很高但没意义要智能得多。对于学生作文查重来说这正好能解决核心问题判断文章的核心思想和表达方式是否雷同而不仅仅是字面重复。2. 搭建模型服务让模型随时待命模型本身只是一个“大脑”我们需要给它提供一个可以随时接收指令、进行计算并返回结果的“工作环境”。这里我们选择用基于Python的轻量级Web框架FastAPI来搭建这个服务因为它简单、快速特别适合构建API。首先我们需要一个能运行Python和深度学习框架的环境。假设你已经准备好了Python环境那么安装必要的库就是第一步pip install fastapi uvicorn transformers torch接下来我们创建一个简单的服务脚本比如叫similarity_service.pyfrom fastapi import FastAPI, HTTPException from pydantic import BaseModel from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F import numpy as np import asyncio from concurrent.futures import ThreadPoolExecutor # 初始化FastAPI应用 app FastAPI(title文本相似度计算服务) # 定义请求体的数据模型 class SimilarityRequest(BaseModel): text1: str text2: str # 全局加载模型和分词器避免每次请求重复加载 print(正在加载模型请稍候...) MODEL_NAME IDEA-CCNL/Erlangshen-SimCSE-110M-Chinese # 实际可替换为StructBERT相似度模型路径 tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model AutoModel.from_pretrained(MODEL_NAME) model.eval() # 设置为评估模式 print(模型加载完毕) # 用于在单独线程中运行模型计算的执行器避免阻塞主事件循环 executor ThreadPoolExecutor(max_workers2) def compute_similarity(text1: str, text2: str) - float: 计算两段文本的语义相似度。 # 对文本进行编码 inputs tokenizer([text1, text2], paddingTrue, truncationTrue, return_tensorspt, max_length128) # 不计算梯度加快推理速度 with torch.no_grad(): outputs model(**inputs) embeddings outputs.last_hidden_state[:, 0, :] # 取[CLS]位置的输出作为句子向量 # 对向量进行归一化 embeddings F.normalize(embressions, p2, dim1) # 计算余弦相似度 cosine_sim torch.mm(embressions[0:1], embeddings[1:2].T).item() # 将相似度值规整到[0,1]区间 similarity_score max(0.0, min(1.0, (cosine_sim 1) / 2)) return round(similarity_score, 4) app.post(/api/similarity) async def calculate_similarity(request: SimilarityRequest): 接收两段文本返回它们的相似度分数。 try: # 将耗时的模型计算任务放到线程池中执行保持API的异步响应性 loop asyncio.get_event_loop() score await loop.run_in_executor(executor, compute_similarity, request.text1, request.text2) return { code: 200, message: success, data: { similarity: score, text1: request.text1[:50] ... if len(request.text1) 50 else request.text1, # 返回截断预览 text2: request.text2[:50] ... if len(request.text2) 50 else request.text2 } } except Exception as e: raise HTTPException(status_code500, detailf计算相似度时出错: {str(e)}) app.get(/health) async def health_check(): 健康检查端点 return {status: healthy} if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)这段代码做了几件关键事定义API接口创建了一个/api/similarity的POST接口它期待接收包含text1和text2的JSON数据。加载模型服务启动时一次性加载好模型和分词器后续所有请求都复用它们效率很高。异步处理使用ThreadPoolExecutor将模型计算任务放到单独线程中。这样即使模型计算需要一点时间也不会阻塞API服务处理其他请求这对于小程序后端需要同时处理多个用户请求的场景很重要。返回标准化结果接口返回一个结构化的JSON包含相似度分数和原文片段方便前端解析。启动服务只需要一行命令python similarity_service.py服务就会在本地8000端口运行起来。你可以用curl或者Postman测试一下curl -X POST http://localhost:8000/api/similarity \ -H Content-Type: application/json \ -d {text1: 人工智能正在改变世界, text2: AI技术深刻影响着人类社会}3. 构建小程序后端连接前端与模型模型服务跑起来了但它还不能直接被微信小程序调用因为小程序有严格的域名要求。我们需要一个“中间人”——小程序后端。这个后端负责接收小程序发来的作文文本去调用刚才搭建的模型服务然后把结果整理好再返回给小程序。我们继续用FastAPI来构建这个后端它主要增加两个功能1) 提供小程序能调用的安全API2) 管理多篇作文的批量比对。假设我们有一个简单的需求老师上传一篇新的学生作文后端需要将这篇作文与之前数据库里的所有历史作文进行比对找出相似度超过某个阈值比如0.8的疑似雷同作文。下面是后端核心逻辑的示例# app_backend.py 的一部分 from fastapi import FastAPI, UploadFile, File, HTTPException, Depends from pydantic import BaseModel import requests import json from typing import List, Optional # 假设我们有一个数据库操作模块 # from .database import get_essay_db, EssayRecord app_backend FastAPI(title作文查重后端服务) # 配置模型微服务的地址 MODEL_SERVICE_URL http://localhost:8000/api/similarity class CheckResult(BaseModel): essay_id: str # 历史作文ID similarity: float # 相似度分数 preview: str # 历史作文片段 async def call_model_service(text1: str, text2: str) - float: 调用模型微服务获取相似度 try: payload {text1: text1, text2: text2} # 设置一个较短的超时时间避免前端长时间等待 response requests.post(MODEL_SERVICE_URL, jsonpayload, timeout10.0) response.raise_for_status() result response.json() if result[code] 200: return result[data][similarity] else: raise Exception(f模型服务返回错误: {result.get(message)}) except requests.exceptions.Timeout: raise HTTPException(status_code504, detail模型服务响应超时) except Exception as e: raise HTTPException(status_code500, detailf调用模型服务失败: {str(e)}) app_backend.post(/api/essay/check) async def check_essay_similarity( new_essay_content: str File(..., description新上传的作文内容), threshold: float 0.8 ): 查重接口将新作文与历史库比对。 # 1. 从数据库获取所有历史作文 (这里用伪代码表示) # history_essays await get_all_history_essays() # 为了示例我们模拟一些历史数据 history_essays [ {id: 001, content: 我的梦想是成为一名科学家探索宇宙的奥秘...}, {id: 002, content: 春天来了万物复苏公园里开满了鲜花...}, {id: 003, content: 人工智能的发展给生活带来了便利但也需警惕其风险...}, ] if not history_essays: return {code: 200, message: 历史作文库为空无需查重, data: []} results: List[CheckResult] [] # 2. 遍历历史作文批量调用模型服务进行比对 for essay in history_essays: try: score await call_model_service(new_essay_content, essay[content]) if score threshold: # 只记录超过阈值的 results.append(CheckResult( essay_idessay[id], similarityscore, previewessay[content][:100] ... # 提供预览 )) except HTTPException: # 记录错误或跳过 continue # 3. 按相似度从高到低排序 results.sort(keylambda x: x.similarity, reverseTrue) return { code: 200, message: 查重完成, data: { checked_count: len(history_essays), high_similarity_count: len(results), results: results } }这个后端接口/api/essay/check设计得很直白接收一篇新作文和数据库里的老作文一篇篇地用模型去比然后把相似度高的挑出来排好序返回给小程序。这里为了演示历史数据是模拟的实际应用中你需要连接真实的数据库。4. 小程序前端简单直观的交互体验后端准备好了小程序前端就相对简单了。核心是提供一个页面让老师能上传或粘贴作文内容触发查重然后清晰直观地查看结果。微信小程序的前端代码主要涉及三个文件.wxml页面结构、.wxss样式、.js逻辑。我们关注核心的交互逻辑。在页面的.js文件中我们会定义一个上传和查重的函数// pages/check/check.js Page({ data: { essayContent: , // 输入的作文内容 isChecking: false, // 是否正在查重 result: null, // 查重结果 }, // 作文内容输入 onEssayInput(e) { this.setData({ essayContent: e.detail.value }); }, // 触发查重 async startCheck() { const that this; const content this.data.essayContent.trim(); if (!content) { wx.showToast({ title: 请输入作文内容, icon: none }); return; } this.setData({ isChecking: true, result: null }); wx.showLoading({ title: 正在查重中... }); try { // 调用我们刚刚开发的后端API const resp await wx.request({ url: https://your-backend-domain.com/api/essay/check, // 替换为你的后端地址 method: POST, header: { Content-Type: application/json }, data: { new_essay_content: content, threshold: 0.8 // 可以做成前端可调节的选项 }, timeout: 15000 // 15秒超时 }); wx.hideLoading(); if (resp.statusCode 200 resp.data.code 200) { that.setData({ result: resp.data.data, isChecking: false }); wx.showToast({ title: 查重完成, icon: success }); } else { throw new Error(resp.data.message || 请求失败); } } catch (error) { wx.hideLoading(); this.setData({ isChecking: false }); console.error(查重失败:, error); wx.showToast({ title: 查重失败: ${error.message || 网络错误}, icon: none, duration: 3000 }); } }, })而在.wxml文件中我们设计一个简单的界面!-- pages/check/check.wxml -- view classcontainer view classinput-section textarea placeholder请粘贴或输入需要查重的作文内容... maxlength-1 value{{essayContent}} bindinputonEssayInput classessay-textarea / view classword-count字数{{essayContent.length}}/view /view button typeprimary bindtapstartCheck loading{{isChecking}} disabled{{isChecking || !essayContent}} classcheck-button {{isChecking ? 查重中... : 开始查重}} /button view wx:if{{result}} classresult-section view classresult-header text查重报告/text text classsummary共比对 {{result.checked_count}} 篇发现 {{result.high_similarity_count}} 篇疑似雷同/text /view view wx:if{{result.high_similarity_count 0}} classwarning ⚠️ 发现高度相似作文请重点关注 /view view wx:else classsafe ✅ 未发现高度相似作文。 /view block wx:for{{result.results}} wx:keyessay_id view classsimilar-item view classitem-header text历史作文ID: {{item.essay_id}}/text text classsimilarity-score相似度: {{(item.similarity * 100).toFixed(1)}}%/text /view view classpreview相似内容预览{{item.preview}}/view /view /block /view /view这样一个具备基本查重功能的小程序页面就完成了。老师输入作文点击按钮等待片刻就能看到一份清晰的报告知道这篇作文和之前哪些文章“撞了车”相似度有多高。5. 让服务更可靠一些实用的优化思路基本的跑通之后我们还可以从几个方面让它变得更健壮、更好用性能与异步我们之前在后端用了线程池来避免阻塞。如果作文库很大一篇篇比对太慢可以考虑“批量比对”接口或者引入消息队列如Celery Redis将比对任务异步化先快速响应“已提交查重”等结果出来了再通知小程序。结果缓存对于历史作文之间的相似度如果它们是不变的可以预先计算并缓存起来。当新作文进来时只需要计算新作文与每篇历史作文的相似度而不是重新计算所有历史作文两两之间的相似度。服务监控与降级给模型服务和小程序后端加上健康检查就像我们代码里的/health接口。如果模型服务挂了后端API能够感知并返回一个友好的错误提示或者切换到一个简单的基于关键词的降级查重方案。前端体验优化上传作文时可以显示进度对于长作文可以分片上传和处理结果展示可以更丰富比如用颜色深浅表示相似度等级支持点击查看全文对比等。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。