当前位置： 首页 > news >正文

本地部署Embedding模型API服务的实战教程

news 2026/2/9 0:17:30

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 下载模型
  • 3. 运行代码
    • 3.1 启动模型服务
    • 3.2 调用代码

1. 前言

  之前通过多篇文章系统介绍了本地部署大模型API服务的实战教程，其中部分文章如下：

  • DeepSeek 2.5本地部署的实战教程
  • Qwen2.5 本地部署的实战教程
  • GLM-4本地部署的实战教程

  但在实际部署RAG

相关文章：

本地部署Embedding模型API服务的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…...

编程日记 2025/3/1 9:41:01

数据结构：二叉树的链式结构及相关算法详解

目录 一.链式结构的实现 1.二叉树结点基本结构，初始化与销毁： 二.链式结构二叉树的几种遍历算法 1.几种算法的简单区分： 2.前序遍历： 3.中序遍历： 4.后序遍历： 5.层序遍历（广度优先遍历B…...

编程日记 2025/3/1 9:39:59

10.【线性代数】—— 四个基本子空间

十、 四个基本子空间 1. 列空间 C ( A ) C(A) C(A) in R m R^m Rm2. 零空间 N ( A ) N(A) N(A) in R n R^n Rn3. 行空间 C ( A T ) C(A^T) C(AT) in R n R^n Rn4. 左零空间 N ( A T ) N(A^T) N(AT) in R m R^m Rm综述5. 新的向量空间 讨论矩阵 A m ∗ n A_{m*n} Am∗n​…...

编程日记 2025/3/1 9:37:56

计算机黑皮书191本分享pdf

“黑皮书”通常指的是由机械工业出版社出版的计算机科学丛书。这些书籍的封面通常是黑色的，因此得名“黑皮书”。这些书籍涵盖了计算机科学的各个领域，包括操作系统、计算机网络、软件工程、编译原理、数据库等。 获取链接：链接:https://pan…...

编程日记 2025/3/1 9:36:54

MySQL Connector/J下载

MySQL Connector/J下载 下载mysql驱动jar包。 官网：https://downloads.mysql.com/archives/c-j/ 我下载的是8.0.33，下载的时候要注意与MySQL的版本对应。...

编程日记 2025/3/1 9:29:46

AIGC生图产品PM必须知道的Lora训练知识！

hihi，其实以前在方向AIGC生图技术原理和常见应用里面已经多次提到Lora的概念了，但是没有单独拿出来讲过，今天就耐心来一下！ 🔥 一口气摸透AIGC文生图产品SD（Stable Diffusion）！ 一、…...

编程日记 2025/3/1 9:26:41

【Swift 算法实战】城市天际线问题解法

网罗开发 （小红书、快手、视频号同名） 大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等…...

编程日记 2025/3/1 9:25:39

易错点abc

在同一个输入流上重复创建Scanner实例可能会导致一些问题，包括但不限于输入流的混乱。尤其是在处理标准输入（System.in）时，重复创建Scanner对象通常不是最佳实践，因为这可能导致某些输入数据丢失或者顺序出错。 为什么…...

编程日记 2025/3/1 9:24:38

C++ 正则表达式分组捕获入门指南

在 C 中，正则表达式（regex）是一种用于匹配字符串模式的强大工具。正则表达式不仅能帮助你查找符合特定模式的字符，还能捕获匹配的子字符串（即分组捕获）。这篇文章将介绍 C 正则表达式中的分组捕获机制&…...

编程日记 2025/3/1 9:22:34

AI人工智能机器学习之降维和数据压缩

1、概要 本篇学习AI人工智能机器学习之降维和数据压缩，以主成分分析（PCA, Principal Component Analysis）为例，从代码层面讲述机器学习中的降维和数据压缩。 2、降维和数据压缩 - 简介 在机器学习和数据分析中，降维&…...

编程日记 2025/3/1 9:20:29

17 款电脑压缩工具详解及下载指南（2025 年最新版）

在数字时代，文件压缩是日常工作与生活中不可或缺的操作。无论是视频剪辑师压缩视频以便上传，还是普通用户节省存储空间，一款优质的压缩软件都能极大提升效率。本文将详细介绍 17 款热门电脑压缩软件，涵盖它们的特点、下载地址及适用场景，助你找到最适合自己的工具。 一、…...

编程日记 2025/3/1 9:18:23

DeepSeek开源周Day5压轴登场：3FS与Smallpond，能否终结AI数据瓶颈之争？

2025年2月28日，DeepSeek开源周迎来了第五天，也是本次活动的收官之日。自2月24日启动以来，DeepSeek团队以每天一个开源项目的节奏，陆续向全球开发者展示了他们在人工智能基础设施领域的最新成果。今天，他们发布了Fire-F…...

编程日记 2025/3/1 9:15:18

ROS2软件调用架构和机制解析：Publisher创建

术语 DDS (Data Distribution Service): 用于实时系统的数据分发服务标准，是ROS 2底层通信的基础RMW (ROS Middleware): ROS中间件接口，提供与具体DDS实现无关的抽象APIQoS (Quality of Service): 服务质量策略，控制通信的可靠性、历史记录、…...

编程日记 2025/3/1 9:12:15

【落羽的落羽 C++】C++入门基础·其之一

文章目录 一、C简介1. C的发展历史2. C参考文档 二、namespace命名空间1. C语言的一个缺陷2. namespace3. 命名空间的使用3.1 命名空间成员访问3.2 using展开 一、C简介 1. C的发展历史 C起源于1979年的贝尔实验室，Bjarne Stroustrup（本贾尼博士&#…...

编程日记 2025/3/1 9:11:12

docker使用代理的简单配置

1准备代理服务器 准备代理服务器，例如192.168.120.168:52209 配置docker.service文件 查看service文件的位置 systemctl status docker 编辑service文件 vim /usr/lib/systemd/system/docker.service 添加代理配置 ... [Service] Environment"HTTP_PROXY…...

编程日记 2025/3/1 9:10:11

每日一题-设计食物评分系统，哈希表的有效使用

本题出自LeetCode2353.设计食物评分系统，连着一星期都是设计类的题目哈 题目 设计一个支持下述操作的食物评分系统： 修改 系统中列出的某种食物的评分。返回系统中某一类烹饪方式下评分最高的食物。 实现 FoodRatings 类： FoodRatings(Strin…...

编程日记 2025/3/1 9:08:09

大模型应用：多轮对话(prompt工程)

概述 在与大型语言模型（如ChatGPT）交互的过程中，我们常常体验到与智能助手进行连贯多轮对话的便利性。那么，当我们开启一个新的聊天时，系统是如何管理聊天上下文的呢？ 一、初始上下文的建立 1. 创建新会…...

编程日记 2025/3/1 9:04:00

WSDM24-因果推荐|因果去偏的可解释推荐系统

1 动机 可解释推荐系统（ERS）通过提供透明的推荐解释，提高用户信任度和系统的说服力，如下图所示，然而： 1：现有工作主要关注推荐算法的去偏（流行度偏差），但未显…...

编程日记 2025/3/1 9:01:58

VScode在Windows11中配置MSVC

因为MSVC编译器在vs当中，所以我们首先要安装vs的一部分组件。如果只是需要MSVC的话，工作负荷一个都不需要勾选，在单个组件里面搜索MSVC和windows11 SDK，其中一个是编译器，一个是头文件然后右下角安装即可。搜索Develop…...

编程日记 2025/3/1 8:55:50

数据库基础二（数据库安装配置）

打开MySQL官网进行安装包的下载 https://www.mysql.com/ 接着找到适用于windows的版本 下载版本 直接点击下载即可 接下来对应的内容分别是： 1：安装所有 MySQL 数据库需要的产品； 2：仅使用 MySQL 数据库的服务器； 3&a…...

编程日记 2025/3/1 8:54:49

[特殊字符] 智能合约中的数据是如何在区块链中保持一致的？

🧠 智能合约中的数据是如何在区块链中保持一致的？ 为什么所有区块链节点都能得出相同结果？合约调用这么复杂，状态真能保持一致吗？本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里&#xf…...

编程新知 2025/10/25 17:23:41

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2026/1/31 6:04:01

CocosCreator 之 JavaScript/TypeScript和Java的相互交互

引擎版本&#xff1a; 3.8.1 语言&#xff1a; JavaScript/TypeScript、C、Java 环境&#xff1a;Window 参考&#xff1a;Java原生反射机制 您好&#xff0c;我是鹤九日&#xff01; 回顾 在上篇文章中&#xff1a;CocosCreator Android项目接入UnityAds 广告SDK。 我们简单讲…...

编程新知 2026/1/30 12:10:19

工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配

AI3D视觉的工业赋能者 迁移科技成立于2017年&#xff0c;作为行业领先的3D工业相机及视觉系统供应商&#xff0c;累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成&#xff0c;通过稳定、易用、高回报的AI3D视觉系统&#xff0c;为汽车、新能源、金属制造等行…...

编程新知 2025/11/25 4:59:47

DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”

目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...

编程新知 2025/9/24 13:35:36

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2026/2/8 21:57:26

Docker 本地安装 mysql 数据库

Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker &#xff1b;并安装。 基础操作不再赘述。 打开 macOS 终端&#xff0c;开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...

编程新知 2026/2/6 21:43:26

mac：大模型系列测试

0 MAC 前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何&#xff0c;是否支持微调、推理速度等能力。下面进入正文。 1 mac 与 unsloth 按照下面的进行安装以及测试&#xff0c;是可以跑通文章里面的代码。训练速度也是很快的。 注意…...

编程新知 2026/2/4 0:46:21

FFmpeg avformat_open_input函数分析

函数内部的总体流程如下&#xff1a; avformat_open_input 精简后的代码如下&#xff1a; int avformat_open_input(AVFormatContext **ps, const char *filename,ff_const59 AVInputFormat *fmt, AVDictionary **options) {AVFormatContext *s *ps;int i, ret 0;AVDictio…...

编程新知 2026/2/6 5:56:22

【WebSocket】SpringBoot项目中使用WebSocket

1. 导入坐标 如果springboot父工程没有加入websocket的起步依赖&#xff0c;添加它的坐标的时候需要带上版本号。 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dep…...

编程新知 2025/9/20 3:28:39