当前位置： 首页 > article >正文

从零实现本地大模型RAG部署

article 2026/2/4 0:44:07

1. RAG概念

RAG（Retrieval-Augmented Generation）即检索增强生成，是一种结合信息检索与大型语言模型（大模型）的技术。从外部知识库（如文档、数据库或网页）中实时检索相关信息，并将其作为输入提供给 大模型，从而增强模型生成答案的能力，具体是指在大模型生成回答之前，先从知识库中查找相关的知识内容，增强信息生成过程中的知识库中的内容，从而提升生成的质量和准确性，这一过程分为三个阶段：

检索：使用向量数据库和近似最近邻（ANN）算法快速定位与查询相关的文本片段。
融合：将检索到的信息处理后与原始查询结合，形成扩展的上下文。
生成：大模型 基于融合后的上下文生成最终答案，减少“幻觉”现象。

2. RAGFlow 部署

RAGFlow是一个基于深度文档理解的开源RAG引擎。它为任何规模的企业提供了一个简化的RAG工作流程，结合LLM（大型语言模型）提供真实的问答功能，并得到各种复杂格式数据的充分引用。

2.1 源码加载

# 网盘地址: https://pan.baidu.com/s/1m0nUnq5po4zpnIWPvU_obw?pwd=zhen
git clone git@github.com:infiniflow/ragflow.git

在这里插入图片描述

2.2 修改配置版本

$ cd ragflow/docker
# 修改配置文件安装v0.17.2，默认是v0.17.2-slim
nano .env
RAGFlow 镜像标签镜像大小 (GB)具备嵌入模型是否稳定版
v0.17.2≈9✔️是
v0.17.2-slim≈2❌是
nightly≈9✔️否
nightly-slim≈2❌否

在这里插入图片描述

2.3 docker执行安装

cd 
# 仅使用CPU 执行任务:
# docker compose -f docker-compose.yml up -d
# 使用 GPU 加速:
docker compose -f docker-compose-gpu.yml up -d

在这里插入图片描述
在这里插入图片描述

3. 运行效果

http://localhost:80

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

相关文章：

从零实现本地大模型RAG部署

1. RAG概念 RAG（Retrieval-Augmented Generation）即检索增强生成，是一种结合信息检索与大型语言模型（大模型）的技术。从外部知识库（如文档、数据库或网页）中实时检索相关信息，并将其…...

编程日记 2026/1/29 11:45:41

使用 Python 连接 PostgreSQL 数据库，从 `mimic - III` 数据库中筛选数据并导出特定的数据图表

要使用 Python 连接 PostgreSQL 数据库，从 mimic - III 数据库中筛选数据并导出特定的数据图表，你可以按照以下步骤操作： 安装所需的库：psycopg2 用于连接 PostgreSQL 数据库，pandas 用于数据处理，matplot…...

编程日记 2025/8/12 19:05:35

【Linux系统篇】：探索文件系统原理--硬件磁盘、文件系统与链接的“三体宇宙”

✨感谢您阅读本篇文章，文章内容是个人学习笔记的整理，如果哪里有误的话还请您指正噢✨ ✨ 个人主页：余辉zmh–CSDN博客 ✨ 文章所属专栏：Linux篇–CSDN博客 文章目录 一.认识硬件--磁盘物理存储结构1.存储介质类型2.物理存储单元3…...

编程日记 2026/1/31 12:19:42

Tracing the thoughts of a large language model 简单理解

Tracing the thoughts of a large language model 这篇论文通过电路追踪方法（Circuit Tracing）揭示了大型语言模型Claude 3.5 Haiku的内部机制，其核心原理可归纳为以下几个方面： 1. 方法论核心：归因图与替换模型 替换模型（Replacement Model） 使用跨层转码器（CLT）将原…...

编程日记 2026/1/30 4:21:27

OpenCV边缘检测技术详解：原理、实现与应用

概述 边缘检测是计算机视觉和图像处理中最基本也是最重要的技术之一，它通过检测图像中亮度或颜色急剧变化的区域来识别物体的边界。边缘通常对应着场景中物体的物理边界、表面方向的变化或深度不连续处。 分类 OpenCV提供了多种边缘检测算法，下面我们介…...

编程日记 2026/1/29 7:10:13

Java学习——day22(Java反射基础入门)

文章目录 1.反射的定义2. 认识反射的关键API2.1 Class2.2 Field2.3 Method2.4 Constructor 3. 示例代码讲解与分析4. 编写反射示例代码的步骤4.1 定义测试类4.2 编写主程序，使用反射获取信息4.3 通过反射创建对象并调用方法 5. 总结6.今日生词 Java反射笔记 1.反射的…...

编程日记 2026/1/26 14:15:13

BN 层做预测的时候, 方差均值怎么算

✅ 一、Batch Normalization（BN）回顾 BN 层在训练和推理阶段的行为是不一样的，核心区别就在于： 训练时用 mini-batch 里的均值方差，预测时用全局的“滑动平均”均值方差。 🧪 二、训练阶段（Trai…...

编程日记 2026/2/1 17:24:27

JS 其他事件类型

页面加载 事件 window.addEvent() window.addEventListener(load,function(){const btn document.querySelector(button)btn.addEventListener(click,function(){alert(按钮)})})也可以给其他标签加该事件 HTML加载事件 找html标签 也可以给页面直接赋值...

编程日记 2026/2/3 22:39:04

AI Agent设计模式五：Orchestrator

概念 ：中央任务调度中枢 ✅ 优点：全局资源协调，确保任务执行顺序❌ 缺点：单点故障风险，可能成为性能瓶颈 import operator import osfrom langchain.schema import SystemMessage, HumanMessage from langchain_opena…...

编程日记 2026/1/31 8:51:05

在Hive中，将数据从一个表查询并插入到另一个表

1. 确认目标表结构 确保目标表已存在且结构与查询结果匹配。若不存在，需先创建： CREATE TABLE target_table ( id INT, name STRING ) PARTITIONED BY (dt STRING) STORED AS ORC; 2. 选择插入方式 覆盖插入（替换现有数据&#xff0…...

编程日记 2026/1/24 1:56:15

Android Fresco 框架缓存模块源码深度剖析(二)

Android Fresco 框架缓存模块源码深度剖析 一、引言 本人掘金号，欢迎点击关注：https://juejin.cn/user/4406498335701950 在 Android 应用开发中，图片加载和处理是常见且重要的功能。频繁的图片加载不仅会消耗大量的网络流量，还…...

编程日记 2026/1/31 2:59:00

MySQL基础 [三] - 数据类型

目录 数据类型分类 ​编辑 数值类型 tinyint bit 浮点类型 float decimal 字符串类型 char varchar varchar和char的比较和选择 日期和时间类型 enum和set enum类型 set类型 enum和set的类型查找 数据类型分类 数值类型 tinyint TINYINT[(M)] [UNSIGNED]是 …...

编程日记 2026/2/3 13:51:38

不用训练，集成多个大模型产生更优秀的输出

论文标题 Collab: Controlled Decoding using Mixture of Agents for LLM Alignment 论文地址 https://arxiv.org/pdf/2503.21720 作者背景 JP摩根，马里兰大学帕克分校，普林斯顿大学 动机 大模型对齐（alignment）的主要目的…...

编程日记 2026/1/29 9:02:39

随笔1 认识编译命令

1.认识编译命令 1.1 解释gcc编译命令: gcc test1.cpp -o test1 pkg-config --cflags --libs opencv 命令解析： gcc：GNU C/C 编译器，用于编译C/C代码。 test1.cpp：源代码文件。 -o test1：指定输出的可执行文件名为t…...

编程日记 2026/1/28 2:16:59

【数据结构】并查集应用

修改数组 题目：检查ai是否出现过，出现过就不断1，使成为第一个没有出现过的。这样得到一个不重复数组。 祖先是该数字能使用的最小数字，当使用完后，祖先把这个格子占了，下次再来，就得使用后一个…...

编程日记 2026/1/10 14:34:05

python基础-16-处理csv文件和json数据

文章目录 【README】【16】处理csv文件和json数据【16.1】csv模块【16.1.1】reader对象【16.1.2】在for循环中， 从reader对象读取数据【16.1.3】writer对象【16.1.5】DictReader与DictWriter对象 【16.4】json模块【16.4.1】使用loads()函数读取json字符串并转为jso…...

编程日记 2025/12/19 10:24:06

MySQL Explain 分析 SQL 执行计划

MySQL Explain 分析 SQL 执行计划 在优化 SQL 查询性能时，了解查询的执行计划至关重要。MySQL 提供的 EXPLAIN 工具能够帮助我们深入了解查询语句的执行过程、索引使用情况以及潜在的性能瓶颈。本文将详细介绍如何使用 EXPLAIN 分析 SQL 执行计划，并探讨…...

编程日记 2025/7/25 16:12:59

Hyperlane 框架路由功能详解：静态与动态路由全掌握

Hyperlane 框架路由功能详解：静态与动态路由全掌握 Hyperlane 框架提供了强大而灵活的路由功能，支持静态路由和动态路由两种模式，让开发者能够轻松构建各种复杂的 Web 应用。本文将详细介绍这两种路由的使用方法。 静态路由：简单…...

编程日记 2026/1/31 9:33:45

理解进程和线程的概念

在操作系统中，进程和线程都是执行的基本单位，但它们在性质和管理方面有所不同 进程 定义: 进程是一个正在运行的程序的实例，是操作系统资源分配的基本单位。特点: 独立性：每个进程有其独立的内存空间、数据栈和其他辅助数据。重…...

编程日记 2025/8/6 2:46:01

铰链损失函数 Hinge Loss和Keras 实现

一、说明 在为了了解 Keras 深度学习框架的来龙去脉，本文介绍铰链损失函数，然后使用 Keras 实现它们以进行练习并了解它们的行为方式。在这篇博客中，您将首先找到两个损失函数的简要介绍，以确保您在我们继续实现它们之前直观地理解…...

编程日记 2026/2/3 4:35:07

瑞数信息发布《BOTS自动化威胁报告》，揭示AI时代网络安全新挑战

近日，瑞数信息正式发布《BOTS自动化威胁报告》，力求通过全景式观察和安全威胁的深度分析，为企业在AI时代下抵御自动化攻击提供安全防护策略，从而降低网络安全事件带来的影响，进一步增强业务韧性和可持续性。 威胁一&am…...

编程日记 2026/1/31 4:32:53

树莓派llama.cpp部署DeepSeek-R1-Distill-Qwen-1.5B

树莓派的性能太低了，我们需要对模型进行量化才能使用，所以现在的方案是，在windows上将模型格式和量化处理好，然后再将模型文件传输到树莓派上。而完成上面的操作就需要部署llama.cpp。 三、环境的准备 这里要求大家准备…...

编程日记 2025/12/16 11:43:30

小菜Go：Ubuntu下Go语言开发环境搭建

前置要求Ubuntu环境搭建 文章推荐 此处推荐一个比较好的文章，基本按部就班就欧克~ 安装虚拟机（VMware）保姆级教程（附安装包）_vmware虚拟机-CSDN博客 安装可能遇到的问题 虚拟机安装遇到的问题如：Exception…...

编程日记 2026/1/3 6:20:35

FLV格式：流媒体视频的经典选择

FLV格式：流媒体视频的经典选择 FLV（Flash Video）格式曾经是流媒体视频的主力军，在互联网视频的早期时代广泛应用于视频网站和多媒体平台。凭借其高效的压缩和较小的文件体积，FLV成为了许多视频内容创作者和平台的首选…...

编程日记 2026/1/26 22:36:12

需求分析-用例图绘制、流程图绘制

第一，引论 需求分析是开发的第一步，也是我个人认为最重要的一步。 技术难题的克服，甚至在我心里，还要排在需求分析后面。 如果需求分析做好了，数据库就更容易建立，数据库建好了，业务逻辑写起…...

编程日记 2026/2/1 22:19:51

Windows安装 PHP 8 和mysql9，win下使用phpcustom安装php8.4.5和mysql9

百度搜索官网并下载phpcustom，然后启动环境，点击网站管理 里面就有php8最新版，可以点mysql设置切mysql9最新版，如果你用最新版无法使用，说明你的php程序不支持最新版的mysql MySQL 9.0 引入了一些新的 SQL 模式和语法变…...

编程日记 2026/1/26 17:22:58

http://noi.openjudge.cn/_2.5基本算法之搜索_1804:小游戏

文章目录 题目深搜代码宽搜代码深搜数据演示图总结 题目 1804:小游戏 总时间限制: 1000ms 内存限制: 65536kB 描述 一天早上，你起床的时候想：“我编程序这么牛，为什么不能靠这个赚点小钱呢？”因此你决定编写一个小游戏。 游戏在一…...

编程日记 2026/1/31 3:52:48

手写JSX实现虚拟DOM

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》、《前端求职突破计划》 🍚 蓝桥云课签约作者、…...

编程日记 2026/1/28 4:39:43

Spring Boot 中的 Bean

2025/4/6 向全栈工程师迈进&#xff01; 一、Bean的扫描 在之前&#xff0c;对于Bean的扫描&#xff0c;我们可以在XML文件中书写标签&#xff0c;来指定要扫描的包路径&#xff0c;如下所示,可以实通过如下标签的方式&#xff1a; <context:component-scan base-package&…...

编程日记 2026/1/31 11:24:41

C++17更新内容汇总

C17 是 C14 的进一步改进版本&#xff0c;它引入了许多增强特性&#xff0c;优化了语法&#xff0c;并提升了编译期计算能力。以下是 C17 的主要更新内容&#xff1a; 1. 结构化绑定&#xff08;Structured Bindings&#xff09; 允许同时解构多个变量&#xff0c;从 std::tup…...

编程日记 2025/11/24 22:49:50