当前位置： 首页 > news >正文

本地部署Embedding模型API服务的实战教程

news 2025/11/19 16:10:33

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 下载模型
  • 3. 运行代码
    • 3.1 启动模型服务
    • 3.2 调用代码

1. 前言

  之前通过多篇文章系统介绍了本地部署大模型API服务的实战教程，其中部分文章如下：

  • DeepSeek 2.5本地部署的实战教程
  • Qwen2.5 本地部署的实战教程
  • GLM-4本地部署的实战教程

  但在实际部署RAG

相关文章：

本地部署Embedding模型API服务的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…...

编程日记 2025/3/1 9:41:01

数据结构：二叉树的链式结构及相关算法详解

目录 一.链式结构的实现 1.二叉树结点基本结构，初始化与销毁： 二.链式结构二叉树的几种遍历算法 1.几种算法的简单区分： 2.前序遍历： 3.中序遍历： 4.后序遍历： 5.层序遍历（广度优先遍历B…...

编程日记 2025/3/1 9:39:59

10.【线性代数】—— 四个基本子空间

十、 四个基本子空间 1. 列空间 C ( A ) C(A) C(A) in R m R^m Rm2. 零空间 N ( A ) N(A) N(A) in R n R^n Rn3. 行空间 C ( A T ) C(A^T) C(AT) in R n R^n Rn4. 左零空间 N ( A T ) N(A^T) N(AT) in R m R^m Rm综述5. 新的向量空间 讨论矩阵 A m ∗ n A_{m*n} Am∗n​…...

编程日记 2025/3/1 9:37:56

计算机黑皮书191本分享pdf

“黑皮书”通常指的是由机械工业出版社出版的计算机科学丛书。这些书籍的封面通常是黑色的，因此得名“黑皮书”。这些书籍涵盖了计算机科学的各个领域，包括操作系统、计算机网络、软件工程、编译原理、数据库等。 获取链接：链接:https://pan…...

编程日记 2025/3/1 9:36:54

MySQL Connector/J下载

MySQL Connector/J下载 下载mysql驱动jar包。 官网：https://downloads.mysql.com/archives/c-j/ 我下载的是8.0.33，下载的时候要注意与MySQL的版本对应。...

编程日记 2025/3/1 9:29:46

AIGC生图产品PM必须知道的Lora训练知识！

hihi，其实以前在方向AIGC生图技术原理和常见应用里面已经多次提到Lora的概念了，但是没有单独拿出来讲过，今天就耐心来一下！ 🔥 一口气摸透AIGC文生图产品SD（Stable Diffusion）！ 一、…...

编程日记 2025/3/1 9:26:41

【Swift 算法实战】城市天际线问题解法

网罗开发 （小红书、快手、视频号同名） 大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等…...

编程日记 2025/3/1 9:25:39

易错点abc

在同一个输入流上重复创建Scanner实例可能会导致一些问题，包括但不限于输入流的混乱。尤其是在处理标准输入（System.in）时，重复创建Scanner对象通常不是最佳实践，因为这可能导致某些输入数据丢失或者顺序出错。 为什么…...

编程日记 2025/3/1 9:24:38

C++ 正则表达式分组捕获入门指南

在 C 中，正则表达式（regex）是一种用于匹配字符串模式的强大工具。正则表达式不仅能帮助你查找符合特定模式的字符，还能捕获匹配的子字符串（即分组捕获）。这篇文章将介绍 C 正则表达式中的分组捕获机制&…...

编程日记 2025/3/1 9:22:34

AI人工智能机器学习之降维和数据压缩

1、概要 本篇学习AI人工智能机器学习之降维和数据压缩，以主成分分析（PCA, Principal Component Analysis）为例，从代码层面讲述机器学习中的降维和数据压缩。 2、降维和数据压缩 - 简介 在机器学习和数据分析中，降维&…...

编程日记 2025/3/1 9:20:29

17 款电脑压缩工具详解及下载指南（2025 年最新版）

在数字时代，文件压缩是日常工作与生活中不可或缺的操作。无论是视频剪辑师压缩视频以便上传，还是普通用户节省存储空间，一款优质的压缩软件都能极大提升效率。本文将详细介绍 17 款热门电脑压缩软件，涵盖它们的特点、下载地址及适用场景，助你找到最适合自己的工具。 一、…...

编程日记 2025/3/1 9:18:23

DeepSeek开源周Day5压轴登场：3FS与Smallpond，能否终结AI数据瓶颈之争？

2025年2月28日，DeepSeek开源周迎来了第五天，也是本次活动的收官之日。自2月24日启动以来，DeepSeek团队以每天一个开源项目的节奏，陆续向全球开发者展示了他们在人工智能基础设施领域的最新成果。今天，他们发布了Fire-F…...

编程日记 2025/3/1 9:15:18

ROS2软件调用架构和机制解析：Publisher创建

术语 DDS (Data Distribution Service): 用于实时系统的数据分发服务标准，是ROS 2底层通信的基础RMW (ROS Middleware): ROS中间件接口，提供与具体DDS实现无关的抽象APIQoS (Quality of Service): 服务质量策略，控制通信的可靠性、历史记录、…...

编程日记 2025/3/1 9:12:15

【落羽的落羽 C++】C++入门基础·其之一

文章目录 一、C简介1. C的发展历史2. C参考文档 二、namespace命名空间1. C语言的一个缺陷2. namespace3. 命名空间的使用3.1 命名空间成员访问3.2 using展开 一、C简介 1. C的发展历史 C起源于1979年的贝尔实验室，Bjarne Stroustrup（本贾尼博士&#…...

编程日记 2025/3/1 9:11:12

docker使用代理的简单配置

1准备代理服务器 准备代理服务器，例如192.168.120.168:52209 配置docker.service文件 查看service文件的位置 systemctl status docker 编辑service文件 vim /usr/lib/systemd/system/docker.service 添加代理配置 ... [Service] Environment"HTTP_PROXY…...

编程日记 2025/3/1 9:10:11

每日一题-设计食物评分系统，哈希表的有效使用

本题出自LeetCode2353.设计食物评分系统，连着一星期都是设计类的题目哈 题目 设计一个支持下述操作的食物评分系统： 修改 系统中列出的某种食物的评分。返回系统中某一类烹饪方式下评分最高的食物。 实现 FoodRatings 类： FoodRatings(Strin…...

编程日记 2025/3/1 9:08:09

大模型应用：多轮对话(prompt工程)

概述 在与大型语言模型（如ChatGPT）交互的过程中，我们常常体验到与智能助手进行连贯多轮对话的便利性。那么，当我们开启一个新的聊天时，系统是如何管理聊天上下文的呢？ 一、初始上下文的建立 1. 创建新会…...

编程日记 2025/3/1 9:04:00

WSDM24-因果推荐|因果去偏的可解释推荐系统

1 动机 可解释推荐系统（ERS）通过提供透明的推荐解释，提高用户信任度和系统的说服力，如下图所示，然而： 1：现有工作主要关注推荐算法的去偏（流行度偏差），但未显…...

编程日记 2025/3/1 9:01:58

VScode在Windows11中配置MSVC

因为MSVC编译器在vs当中，所以我们首先要安装vs的一部分组件。如果只是需要MSVC的话，工作负荷一个都不需要勾选，在单个组件里面搜索MSVC和windows11 SDK，其中一个是编译器，一个是头文件然后右下角安装即可。搜索Develop…...

编程日记 2025/3/1 8:55:50

数据库基础二（数据库安装配置）

打开MySQL官网进行安装包的下载 https://www.mysql.com/ 接着找到适用于windows的版本 下载版本 直接点击下载即可 接下来对应的内容分别是： 1：安装所有 MySQL 数据库需要的产品； 2：仅使用 MySQL 数据库的服务器； 3&a…...

编程日记 2025/3/1 8:54:49

SkyWalking 10.2.0 SWCK 配置过程

SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外，K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案，全安装在K8S群集中。 具体可参…...

编程新知 2025/8/23 5:51:08

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​，覆盖应用全生命周期测试需求，主要提供五大核心能力： ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2025/11/16 21:47:30

【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密

在实际项目中，用户注册、登录、修改密码等操作，都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输，在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...

编程新知 2025/10/30 6:37:10

AtCoder 第409​场初级竞赛 A~E题解

A Conflict 【题目链接】 原题链接&#xff1a;A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串&#xff0c;只有在同时为 o 时输出 Yes 并结束程序&#xff0c;否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...

编程新知 2025/7/23 9:09:08

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中&#xff0c;将 long long 类型转换为 QString 可以通过以下两种常用方法实现&#xff1a; 方法 1&#xff1a;使用 QString::number() 直接调用 QString 的静态方法 number()&#xff0c;将数值转换为字符串&#xff1a; long long value 1234567890123456789LL; …...

编程新知 2025/11/17 3:24:52

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2025/11/18 9:02:11

中医有效性探讨

文章目录 西医是如何发展到以生物化学为药理基础的现代医学&#xff1f;传统医学奠基期&#xff08;远古 - 17 世纪&#xff09;近代医学转型期&#xff08;17 世纪 - 19 世纪末&#xff09;​现代医学成熟期&#xff08;20世纪至今&#xff09; 中医的源远流长和一脉相承远古至…...

编程新知 2025/11/16 21:57:01

Yolov8 目标检测蒸馏学习记录

yolov8系列模型蒸馏基本流程&#xff0c;代码下载&#xff1a;这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中&#xff0c;**知识蒸馏&#xff08;Knowledge Distillation&#xff09;**被广泛应用&#xff0c;作为提升模型…...

编程新知 2025/11/16 23:01:10

C#中的CLR属性、依赖属性与附加属性

CLR属性的主要特征 封装性&#xff1a; 隐藏字段的实现细节 提供对字段的受控访问 访问控制&#xff1a; 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性&#xff1a; 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑&#xff1a; 可以…...

编程新知 2025/10/7 0:47:59

LabVIEW双光子成像系统技术

双光子成像技术的核心特性 双光子成像通过双低能量光子协同激发机制&#xff0c;展现出显著的技术优势&#xff1a; 深层组织穿透能力&#xff1a;适用于活体组织深度成像 高分辨率观测性能&#xff1a;满足微观结构的精细研究需求 低光毒性特点&#xff1a;减少对样本的损伤…...

编程新知 2025/11/16 22:43:19