当前位置： 首页 > news >正文

本地部署Embedding模型API服务的实战教程

news 2025/8/24 4:54:48

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. 配置环境
    • 2.1 安装虚拟环境
    • 2.2 安装依赖库
    • 2.3 下载模型
  • 3. 运行代码
    • 3.1 启动模型服务
    • 3.2 调用代码

1. 前言

  之前通过多篇文章系统介绍了本地部署大模型API服务的实战教程，其中部分文章如下：

  • DeepSeek 2.5本地部署的实战教程
  • Qwen2.5 本地部署的实战教程
  • GLM-4本地部署的实战教程

  但在实际部署RAG

相关文章：

本地部署Embedding模型API服务的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…...

编程日记 2025/3/1 9:41:01

数据结构：二叉树的链式结构及相关算法详解

目录 一.链式结构的实现 1.二叉树结点基本结构，初始化与销毁： 二.链式结构二叉树的几种遍历算法 1.几种算法的简单区分： 2.前序遍历： 3.中序遍历： 4.后序遍历： 5.层序遍历（广度优先遍历B…...

编程日记 2025/3/1 9:39:59

10.【线性代数】—— 四个基本子空间

十、 四个基本子空间 1. 列空间 C ( A ) C(A) C(A) in R m R^m Rm2. 零空间 N ( A ) N(A) N(A) in R n R^n Rn3. 行空间 C ( A T ) C(A^T) C(AT) in R n R^n Rn4. 左零空间 N ( A T ) N(A^T) N(AT) in R m R^m Rm综述5. 新的向量空间 讨论矩阵 A m ∗ n A_{m*n} Am∗n​…...

编程日记 2025/3/1 9:37:56

计算机黑皮书191本分享pdf

“黑皮书”通常指的是由机械工业出版社出版的计算机科学丛书。这些书籍的封面通常是黑色的，因此得名“黑皮书”。这些书籍涵盖了计算机科学的各个领域，包括操作系统、计算机网络、软件工程、编译原理、数据库等。 获取链接：链接:https://pan…...

编程日记 2025/3/1 9:36:54

MySQL Connector/J下载

MySQL Connector/J下载 下载mysql驱动jar包。 官网：https://downloads.mysql.com/archives/c-j/ 我下载的是8.0.33，下载的时候要注意与MySQL的版本对应。...

编程日记 2025/3/1 9:29:46

AIGC生图产品PM必须知道的Lora训练知识！

hihi，其实以前在方向AIGC生图技术原理和常见应用里面已经多次提到Lora的概念了，但是没有单独拿出来讲过，今天就耐心来一下！ 🔥 一口气摸透AIGC文生图产品SD（Stable Diffusion）！ 一、…...

编程日记 2025/3/1 9:26:41

【Swift 算法实战】城市天际线问题解法

网罗开发 （小红书、快手、视频号同名） 大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等…...

编程日记 2025/3/1 9:25:39

易错点abc

在同一个输入流上重复创建Scanner实例可能会导致一些问题，包括但不限于输入流的混乱。尤其是在处理标准输入（System.in）时，重复创建Scanner对象通常不是最佳实践，因为这可能导致某些输入数据丢失或者顺序出错。 为什么…...

编程日记 2025/3/1 9:24:38

C++ 正则表达式分组捕获入门指南

在 C 中，正则表达式（regex）是一种用于匹配字符串模式的强大工具。正则表达式不仅能帮助你查找符合特定模式的字符，还能捕获匹配的子字符串（即分组捕获）。这篇文章将介绍 C 正则表达式中的分组捕获机制&…...

编程日记 2025/3/1 9:22:34

AI人工智能机器学习之降维和数据压缩

1、概要 本篇学习AI人工智能机器学习之降维和数据压缩，以主成分分析（PCA, Principal Component Analysis）为例，从代码层面讲述机器学习中的降维和数据压缩。 2、降维和数据压缩 - 简介 在机器学习和数据分析中，降维&…...

编程日记 2025/3/1 9:20:29

17 款电脑压缩工具详解及下载指南（2025 年最新版）

在数字时代，文件压缩是日常工作与生活中不可或缺的操作。无论是视频剪辑师压缩视频以便上传，还是普通用户节省存储空间，一款优质的压缩软件都能极大提升效率。本文将详细介绍 17 款热门电脑压缩软件，涵盖它们的特点、下载地址及适用场景，助你找到最适合自己的工具。 一、…...

编程日记 2025/3/1 9:18:23

DeepSeek开源周Day5压轴登场：3FS与Smallpond，能否终结AI数据瓶颈之争？

2025年2月28日，DeepSeek开源周迎来了第五天，也是本次活动的收官之日。自2月24日启动以来，DeepSeek团队以每天一个开源项目的节奏，陆续向全球开发者展示了他们在人工智能基础设施领域的最新成果。今天，他们发布了Fire-F…...

编程日记 2025/3/1 9:15:18

ROS2软件调用架构和机制解析：Publisher创建

术语 DDS (Data Distribution Service): 用于实时系统的数据分发服务标准，是ROS 2底层通信的基础RMW (ROS Middleware): ROS中间件接口，提供与具体DDS实现无关的抽象APIQoS (Quality of Service): 服务质量策略，控制通信的可靠性、历史记录、…...

编程日记 2025/3/1 9:12:15

【落羽的落羽 C++】C++入门基础·其之一

文章目录 一、C简介1. C的发展历史2. C参考文档 二、namespace命名空间1. C语言的一个缺陷2. namespace3. 命名空间的使用3.1 命名空间成员访问3.2 using展开 一、C简介 1. C的发展历史 C起源于1979年的贝尔实验室，Bjarne Stroustrup（本贾尼博士&#…...

编程日记 2025/3/1 9:11:12

docker使用代理的简单配置

1准备代理服务器 准备代理服务器，例如192.168.120.168:52209 配置docker.service文件 查看service文件的位置 systemctl status docker 编辑service文件 vim /usr/lib/systemd/system/docker.service 添加代理配置 ... [Service] Environment"HTTP_PROXY…...

编程日记 2025/3/1 9:10:11

每日一题-设计食物评分系统，哈希表的有效使用

本题出自LeetCode2353.设计食物评分系统，连着一星期都是设计类的题目哈 题目 设计一个支持下述操作的食物评分系统： 修改 系统中列出的某种食物的评分。返回系统中某一类烹饪方式下评分最高的食物。 实现 FoodRatings 类： FoodRatings(Strin…...

编程日记 2025/3/1 9:08:09

大模型应用：多轮对话(prompt工程)

概述 在与大型语言模型（如ChatGPT）交互的过程中，我们常常体验到与智能助手进行连贯多轮对话的便利性。那么，当我们开启一个新的聊天时，系统是如何管理聊天上下文的呢？ 一、初始上下文的建立 1. 创建新会…...

编程日记 2025/3/1 9:04:00

WSDM24-因果推荐|因果去偏的可解释推荐系统

1 动机 可解释推荐系统（ERS）通过提供透明的推荐解释，提高用户信任度和系统的说服力，如下图所示，然而： 1：现有工作主要关注推荐算法的去偏（流行度偏差），但未显…...

编程日记 2025/3/1 9:01:58

VScode在Windows11中配置MSVC

因为MSVC编译器在vs当中，所以我们首先要安装vs的一部分组件。如果只是需要MSVC的话，工作负荷一个都不需要勾选，在单个组件里面搜索MSVC和windows11 SDK，其中一个是编译器，一个是头文件然后右下角安装即可。搜索Develop…...

编程日记 2025/3/1 8:55:50

数据库基础二（数据库安装配置）

打开MySQL官网进行安装包的下载 https://www.mysql.com/ 接着找到适用于windows的版本 下载版本 直接点击下载即可 接下来对应的内容分别是： 1：安装所有 MySQL 数据库需要的产品； 2：仅使用 MySQL 数据库的服务器； 3&a…...

编程日记 2025/3/1 8:54:49

浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）

✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义（Task Definition&…...

编程新知 2025/8/23 9:15:45

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分： 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析： CTR…...

编程新知 2025/7/17 12:52:44

docker详细操作--未完待续

docker介绍 docker官网: Docker：加速容器应用程序开发 harbor官网：Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台，用于将应用程序及其依赖项（如库、运行时环…...

编程新知 2025/8/5 7:03:32

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/7/6 9:38:37

Java - Mysql数据类型对应

Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...

编程新知 2025/7/12 22:48:51

CocosCreator 之 JavaScript/TypeScript和Java的相互交互

引擎版本： 3.8.1 语言： JavaScript/TypeScript、C、Java 环境：Window 参考：Java原生反射机制 您好，我是鹤九日！ 回顾 在上篇文章中：CocosCreator Android项目接入UnityAds 广告SDK。 我们简单讲…...

编程新知 2025/8/19 15:38:50

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 （部分有免费额度&#x…...

编程新知 2025/8/18 21:18:55

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架，允许使用简单的变成模型跨计算机对大型集群进行分布式处理（1.海量的数据存储 2.海量数据的计算）Hadoop核心组件 hdfs（分布式文件存储系统）&a…...

编程新知 2025/8/21 6:30:09

网站指纹识别

网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...

编程新知 2025/8/22 4:32:31

SQL慢可能是触发了ring buffer

简介 最近在进行 postgresql 性能排查的时候，发现 PG 在某一个时间并行执行的 SQL 变得特别慢。最后通过监控监观察到并行发起得时间 buffers_alloc 就急速上升，且低水位伴随在整个慢 SQL，一直是 buferIO 的等待事件，此时也没有其他会话的争抢。SQL 虽然不是高效 SQL ，但…...

编程新知 2025/7/27 0:38:54