当前位置： 首页 > article >正文

本地部署Embedding模型API服务的实战教程

article 2026/4/1 21:07:53

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 下载模型
  • 3. 运行代码
    • 3.1 启动模型服务
    • 3.2 调用代码

1. 前言

  之前通过多篇文章系统介绍了本地部署大模型API服务的实战教程，其中部分文章如下：

  • DeepSeek 2.5本地部署的实战教程
  • Qwen2.5 本地部署的实战教程
  • GLM-4本地部署的实战教程

  但在实际部署RAG

相关文章：

本地部署Embedding模型API服务的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…...

编程日记 2026/2/23 14:48:21

IP段转CIDR：原理Java实现

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2026/3/23 17:13:01

[STM32]从零开始的STM32 DEBUG问题讲解及解决办法

一、前言 最近也是重装了一次keil，想着也是重装了，也是去官网下载了一个5.41的最新版，在安装和配置编译器和别的版本keil都没太大的区别，但是在调试时，遇到问题了，在我Debug的System Viewer窗口中没有GPIO&…...

编程日记 2026/3/19 5:27:57

MySQL当中的Lock

1. 总览锁的类型 锁的类型： 锁类型 符号/缩写 描述 全局锁 FTWRL 锁定整个数据库（FLUSH TABLES WITH READ LOCK），用于全库备份。 表级锁 - 表锁 S/X LOCK TABLES ... READ（共享锁）或 WRITE&#…...

编程日记 2026/3/22 17:25:47

electron-builder打包时github包下载失败【解决办法】

各位朋友们，在使用electron开发时，选择了electron-builder作为编译打包工具时，是否经常遇到无法从github上下载依赖包问题，如下报错： Get "https://github.com/electron/electron/releases/download/v6.1.12/ele…...

编程日记 2026/4/1 3:40:05

【免费】YOLO[笑容]目标检测全过程（yolo环境配置+labelimg数据集标注+目标检测训练测试）

一、yolo环境配置 这篇帖子是我试过的，非常全，很详细【cudaanacondapytorchyolo(ultralytics)】 yolo环境配置 二、labelimg数据集标注 可以参考下面的帖子，不过可能会出现闪退的问题，安装我的流程来吧 2.1 labelimg安装 label…...

编程日记 2026/3/25 21:37:17

服务器禁止操作汇总（Server Prohibits 0peration Summary）

服务器禁止操作汇总 一、禁忌操作TOP10 1. 直接断电关机 💥 血泪案例：某物流公司运维拔电源强制关机，导致数据库事务中断，20万订单状态丢失。 📌 技术解析： • 直接断电可能引发： ✅ 文件系统…...

编程日记 2026/2/15 14:31:34

UE5 Slate类的基础创建

创建一个slate类的基础代码 #pragma onceclass SCustomDetailPlane : public SCompoundWidget {SLATE_BEGIN_ARGS(SCustomDetailPlane){}SLATE_END_ARGS()public:SCustomDetailPlane();~SCustomDetailPlane();void Construct(const FArguments& InArgs);};***************…...

编程日记 2025/4/18 1:59:37

springboot2.7.18升级springboot3.3.0遇到的坑

druid的警告，警告如下： 运行警告2025-02-28T09:20:31.28508:00 WARN 18800 --- [ restartedMain] trationDelegate$BeanPostProcessorChecker : Bean com.alibaba.druid.spring.boot3.autoconfigure.stat.DruidSpringAopConfiguration of type [com.a…...

编程日记 2025/3/22 17:22:38

服务器IPMI用户名、密码批量检查

背景 大规模服务器部署的时候，少不了较多的网管和监测平台，这些平台会去监控服务器的性能、硬件等指标参数，为了便于管理和控制，则需要给服务器IPMI带外管理添加较多的用户，这就需要对较多的服务器检查所对应的IPMI用…...

编程日记 2026/3/20 8:06:21

JAVA面试_进阶部分_netty面试题

1.BIO、NIO 和 AIO 的区别？ BIO：一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。 伪异步 IO：将请求连接放入线程池，一对多，但线程还是很宝贵的资源。 NIO&#x…...

编程日记 2025/3/23 3:29:10

小红书湖仓架构的跃迁之路

作者：李鹏霖(丁典)，小红书-研发工程师，StarRocks Contributor & Apache Impala Committer 本文整理自小红书工程师在 StarRocks 年度峰会上的分享，介绍了小红书自助分析平台中，StarRocks 与 Iceberg 结合后&#x…...

编程日记 2026/3/30 16:17:19

C++-第十七章：包装器

目录 第一节：std::function 第二节：std::bind 2-1.基本介绍 2-2.调整顺序(不常用) 2-3.调整个数 2-4.std::bind与std::function 下期预告： C中有3种可调用对象：函数指针、仿函数对象、lambda函数，经过包装器包装后屏…...

编程日记 2026/3/20 4:40:45

如何判断邮件列表中邮箱地址的有效性？

判断邮件列表中邮箱地址的有效性，对于提高邮件送达率、避免资源浪费和维护发件人信誉至关重要。以下是一些实用的判断方法： 一、使用专业的邮箱验证工具 市面上有许多专业的邮箱验证工具，如 Geeksend邮箱验证工具 等。这些工具通过与邮件服…...

编程日记 2026/2/15 4:05:31

翻译: 深入分析LLMs like ChatGPT 二

监督微调（SFT） 使用人工标注的对话数据集（如1M条"用户-助手"对话）继续训练模型。 标注员遵循指导原则编写理想回答，使模型学习助手的回应风格。 示例对话格式： [系统] 你是一个有帮助的AI助手……...

编程日记 2026/3/21 23:55:35

conda怎么迁移之前下载的环境包，把python从3.9升级到3.10

克隆旧环境（保留旧环境作为备份） conda create -n cloned_env --clone old_env 在克隆环境中直接升级 Python conda activate cloned_env conda install python3.10 升级 Python 后出现 所有包导入失败 的问题，通常是因为依赖包与新 Pyth…...

编程日记 2026/3/31 7:26:57

k8s之pod的调度之污点与容忍污点，什么是污点？ 如何容忍污点

在 Kubernetes 中，污点（Taint） 和 容忍（Toleration） 是用于控制 Pod 调度到特定节点的重要机制。污点允许节点拒绝某些 Pod 的调度，而容忍则允许 Pod 忽略节点的污点，从而调度到特定节点上。 1.…...

编程日记 2026/3/24 1:22:46

Linux切换Python版本

1、更新apt sudo apt update2、查询python安装路径 which python 或者which python33、查询安装版本 # 查看所有以 "python" 开头的命令（包括版本号） ls -l 安装路径* 例如 ls -l /usr/bin/python*4、修改软连接 udo unlink /usr/bin/pyt…...

编程日记 2026/3/19 15:02:23

TCP的三次握手与四次挥手：建立与终止连接的关键步骤

引言 ‌TCP（传输控制协议）工作在OSI模型的传输层‌。OSI模型将计算机网络功能划分为七个层级，从底层到顶层依次是：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。传输层负责在网络节点之间提供可靠的端到端通信&a…...

编程日记 2026/4/1 15:16:20

2025计算机考研复试资料（附：网课＋历年复试真题+140所高校真题+机试）

目录 2025 计算机考研复试经验全攻略，附超全资源🎁 （一）网课资源 （二）历年复试真题 （三）140 所高校真题 二、专业知识复习篇 （一）复试专业课程 二&…...

编程日记 2026/3/29 8:32:10

Milvus高性能向量数据库与大模型结合

Milvus | 高性能向量数据库，为规模而构建Milvus 是一个为 GenAI 应用构建的开源向量数据库。使用 pip 安装，执行高速搜索，并扩展到数十亿个向量。https://milvus.io/zh Milvus 是什么？ Milvus 是一种高性能、高扩展性的向量数据…...

编程日记 2026/3/29 2:35:12

【Groovy】流程控制

1 选择结构 Groovy 中选择结构主要包含 if -else、switch 语句，并且可以返回结果。 1.1 if-else def score 85 if (score > 90) {println("优秀") } else if (score > 80) {println("良好") } else if (score > 60) {println("…...

编程日记 2026/3/11 13:32:01

腾讯游戏完成架构调整 IEG新设五大产品事业部

易采游戏网2月28日独家消息：继1月份腾讯天美工作室群完成内部组织架构调整后，腾讯旗下互动娱乐事业群（IEG）再次宣布对组织架构进行优化调整。此次调整的核心在于新设立了五大产品事业部，包括体育产品部、音舞产品部、V…...

编程日记 2026/3/31 23:01:40

达梦数据库系列之安装及Mysql数据迁移

达梦数据库系列之安装及Mysql数据迁移 1. 达梦数据库1.1 简介1.2 Docker安装达梦1.2.1 默认密码查询1.2.2 docker启动指定密码 1.3 达梦数据库连接工具1.3.1 快捷键 2 Mysql数据库迁移至达梦2.1 使用SQLark进行数据迁移 1. 达梦数据库 1.1 简介 DM8是达梦公司在总结DM系列产品…...

编程日记 2026/3/23 22:59:23

什么是 MGX:MetaGPT

什么是 MGX:MetaGPT MetaGPT是由思码逸（OpenDILab）团队开发的一款专注于生成式AI驱动的软件开发框架，MGX可能是其衍生或升级的相关成果，它创新性地将大语言模型引入软件开发流程，模拟人类软件团队的协作方式，能让用户通过自然语言描述需求，即可自动生成完整的软件项目，…...

编程日记 2026/2/25 0:15:34

java jar包内的jar包如何打补丁

问题描述： 主包：hisca.jar，解压后 BOOT-INFO/lib下有其他jar包 因为一个小bug，需要修改这个hisca包下BOOT-INF/lib下的子jar包service-hisca-impl-1.0.0.jar中的一个service类及xml文件 操作步骤： 1、主包jar -xvf …...

编程日记 2026/3/24 23:27:44

一个借助ai分析市场交易数据的流程方法

回答和代码借助 AI 生成，仅供参考，不构成任何专业建议。 如有投资损失请自负盈亏。 一个提取比特币的不同周期数据，并进行文本的初步分析的程序。 用途：把文本提供给ai，进行深度思考，从而达到一个相对比较…...

编程日记 2026/3/8 9:57:23

安装electron 提示RequestError: certificate has expired

最近需要开发electron，遇到了一个生产问题，使用了很多办法都不生效。 现在记录下具体情况 一执行 yarn add electron 就开始报错 [2/4] 🚚 Fetching packages... [3/4] 🔗 Linking dependencies... [4/4] 🔨 B…...

编程日记 2026/2/23 2:49:39

Flutter状态管理框架GetX最新版详解与实践指南

一、GetX框架概述 GetX是Flutter生态中轻量级、高性能的全能开发框架，集成了状态管理、路由导航、依赖注入等核心功能，同时提供国际化、主题切换等实用工具。其优势在于代码简洁性（减少模板代码约70%）和高性能（基于观…...

编程日记 2026/3/12 10:53:01

详细对比所有开源许可及其不同版本

qwen 以下是基于知识库内容对常见开源许可证及其不同版本的详细对比，重点突出版本间差异和核心条款变化： 1. GPL（GNU General Public License） 版本: v2 vs v3 GPLv2（1991）: 要求衍生代码开源&#xff0c…...

编程日记 2026/2/7 19:09:03