当前位置： 首页 > news >正文

Langchain-chatchat源码部署及测试实验

news 2026/5/31 2:31:47

       一年多前接触到Langchain-chatchat的0.2版本，对0.2版本进行了本地部署和大量更新，但0.2版本对最新的大模型支持不够好，部署框架支持也不好且不太稳定，特别是多模态大模型，因此本次主要介绍0.3版本的源码部署，希望对大家有所帮助。Langchain-chatchat从0.3版本开始，支持更多的部署框架，如xinference、Ollama和FastChat，较多的是xinference框架，因此本文也是基于该框架进行模型部署。开始时参考了提供的开发指南进行部署，感觉步骤较多且麻烦，因此我就采用直接修改源码方式进行部署，作者提供的前端没有用，主要使用的是libs下面的后端接口和默认基于Streamlit提供的前端测试功能。另外，我更新完善了本地知识库加载的多种文件格式解析模块，增加了验证和路由过滤模块、返回数据格式等等，这里不详细介绍。

一、源码下载

直接去github上找Langchain-chatchat，进行下载，最后下载master线。

二、服务器环境准备

我的环境是Linux Redhat7.5，配置两种gpu显卡，合计96G
安装conda和python3.10环境
上述两步可参考相关文档，相对简单，这里不细说。

三、虚拟环境准备

conda create -n xinferenc

相关文章：

Langchain-chatchat源码部署及测试实验

一年多前接触到Langchain-chatchat的0.2版本，对0.2版本进行了本地部署和大量更新，但0.2版本对最新的大模型支持不够好，部署框架支持也不好且不太稳定，特别是多模态大模型，因此本次主要介绍0.3版本的源码部署，希望对大家有所帮助。Langchain-chatchat从0.3版本开始，支持更…...

编程日记 2024/9/21 12:32:39

【Linux】线程（第十六篇）

目录 线程 1.线程基本概述： 2.线程类型： 3.线程间的共享资源与非共享资源 4.线程原语 1.线程创建函数 2.获取当前线程id的函数 3.回收线程资源 4.将线程设置为分离态 5.结束线程 6.退出线程 线程 1.线程基本概述： 是操作系统能够…...

编程日记 2024/9/21 12:31:38

2024华为杯研赛E题保姆级教程思路分析

E题题目：高速公路应急车道紧急启用模型 今年的E题设计到图像/视频处理，实际上，E题的难度相对来说较低，大家不用畏惧视频的处理，被这个吓到。实际上，这个不难，解决了视频的处理问题，…...

编程日记 2024/9/21 12:28:30

国内可以使用的ChatGPT服务【9月持续更新】

首先基础知识还是要介绍得~ 一、模型知识： GPT-4o：最新的版本模型，支持视觉等多模态，OpenAI 文档中已经更新了 GPT-4o 的介绍：128k 上下文，训练截止 2023 年 10 月（作为对比，GPT-4…...

编程日记 2024/9/21 12:27:28

Linux环境Docker安装Mongodb

Linux环境Docker安装Mongodb 环境要求拉取指定版本镜像创建映射目录（相当于数据存放于容器外，容器被删除不会影响数据）启动容器 进入mongo命令行为指定db创建新用户查看mongodb的容器id进入命令行查看所有db切换db为指定db创建新用户使用新账…...

编程日记 2024/9/21 12:25:27

PyTorch 池化层详解

在深度学习中，池化层（Pooling Layer）是卷积神经网络（CNN）中的关键组成部分。池化层的主要功能是对特征图进行降维和减少计算量，同时增强模型的鲁棒性。本文将详细介绍池化层的作用、种类、实现方法&#xf…...

编程日记 2024/9/21 12:24:26

Intel架构的基本知识

1.字节序 CPU的字节序分为LittleEndian和BigEndian。 所谓Endian，就是多字节数据在内存中的排列方式。 例如，假设有一个整数0x11223344： LittleEndian的排列方式是，从内存的低地址开始，依次存放 0x44 0x33 0x22 0x11； BigEndian的排列方式是，从内存的低地址开始，依…...

编程日记 2024/9/21 12:22:24

Element Plus 中Input输入框

通过鼠标或键盘输入字符 input为受控组件，他总会显示Vue绑定值，正常情况下，input的输入事件会正常被响应，他的处理程序应该更新组件的绑定值（或使用v-model）。否则，输入框的值将不会改变 不支…...

编程日记 2024/9/21 12:21:23

大模型中常见 loss 函数

loss 函数 首先，Loss 是允许不降到 0 的，模型计算的 loss 最终结果可以接近 0。 可以成为 loss 函数的条件## 常用 loss 以下函数调用基于 Pytorch，头文件导入： import torch.nn as nn 均方差（MSE） nn.…...

编程日记 2024/9/21 12:18:19

（十六）Ubuntu 20.04 下搭建PX4+MATLAB 仿真环境（HITL）

在文章（十五）Ubuntu 20.04 下搭建PX4MATLAB 仿真环境我们学习了如何配置仿真环境，在本节，主要进行HITL的仿真环境搭建。 根据（十五）Ubuntu 20.04 下搭建PX4MATLAB 仿真环境完成配置到如下界面：…...

编程日记 2024/9/21 12:16:16

Matlab simulink建模与仿真 第十七章（补充离散库和补充数学库）

参考视频：simulink1.1simulink简介_哔哩哔哩_bilibili 一、补充离散库和补充数学库中的模块概览 1、补充离散库 注：每个版本的补充离散库不一定相同，也不是每个版本的库都有如上所有模块。 2、补充数学库 二、离散直接传递函数Ⅱ模块 1、…...

编程日记 2024/9/21 12:15:16

Android Glide：让图片加载从未如此简单

在 Android 开发中，图片加载一直是一个关键环节。无论是从网络还是本地加载图片，都需要考虑到性能、内存管理和用户体验等多个方面。而在这方面，Glide 成为了众多开发者的首选库之一。本文将带你深入了解 Glide 的强大之处，并介绍如何在项目中快速集成和使用 Glide。 为什…...

编程日记 2024/9/21 12:14:14

YOLOv9改进策略【注意力机制篇】| 2024 SCSA-CBAM 空间和通道的协同注意模块

一、本文介绍 本文记录的是基于SCSA-CBAM注意力模块的YOLOv9目标检测改进方法研究。现有注意力方法在空间-通道协同方面未充分挖掘其潜力，缺乏对多语义信息的充分利用来引导特征和缓解语义差异。SCSA-CBAM注意力模块构建一个空间-通道协同机制，使空间注意力引导通道注意力增…...

编程日记 2024/9/21 12:11:12

Obsidian 全部笔记共享配置文件，obsidian仓库-文件夹配置统一化

obsidian仓库-文件夹配置统一化 在每次新建obsidian仓库(vaults)时，仓库的主题和快捷键等都需要重新设置，这是因为每次创建新的仓库时 新仓库的配置文件都是默认配置但是如果通过复制粘贴旧配置文件来达到新仓库的配置和旧仓库一致的话，无法…...

编程日记 2024/9/21 12:09:10

c++可视化打印树

#include <iostream> #include <string>// 定义节点结构体 struct Node {std::string data;Node* left;Node* right;Node(const std::string& data) : data(data), left(nullptr), right(nullptr) {} };// 递归打印树 void printTree(Node* root, std::string …...

编程日记 2024/9/21 12:08:09

ElementUI 快速入门：使用 Vue 脚手架搭建项目

文章目录 一 . ElementUI 的基本安装1.1 通过 Vue 脚手架创建项目1.2 在 vue 脚手架中安装 ElementUI1.3 编写页面 ElementUI 是 Vue.js 的强大 UI 框架&#xff0c;让前端界面开发变得简单高效。本教程将带你从安装到实战&#xff0c;快速掌握 ElementUI 的核心技巧。 核心内容…...

编程日记 2024/9/21 12:04:04

算法打卡：第十一章 图论part02

今日收获&#xff1a;岛屿数量&#xff08;深搜&#xff09;&#xff0c;岛屿数量&#xff08;广搜&#xff09;&#xff0c;岛屿的最大面积 1. 岛屿数量&#xff08;深搜&#xff09; 题目链接&#xff1a;99. 岛屿数量 思路&#xff1a;二维遍历数组&#xff0c;先判断当前…...

编程日记 2024/9/21 12:03:03

广度优先搜索算法及其matlab程序详解

#################本文为学习《图论算法及其MATLAB实现》的学习笔记################# 算法用途 广度优先搜索算法的应用 算法思想 广度优先搜索算法的步骤: ①,标号,令。 ②当所有标号为 的、与顶点 相关联的边的端点都已标号时,则停止;否则,把与 相关联的边的未标号的…...

编程日记 2024/9/21 12:02:01

力扣 438找到字符串中所有字母异位词

https://leetcode.cn/problems/find-all-anagrams-in-a-string/ 题目描述 题目分析 异位词所表示的空间 P \text{P} P 即一字符串的所有排列,记 s i \bold{s_i} si​为以 s [ i ] s[i] s[i]开头的长度为 plen \text{plen} plen的 s s s子串 故本题可理解为求解 A n s Ans Ans…...

编程日记 2024/9/21 12:01:00

图像滤波---各项异性扩散滤波使用笔记及代码

图像滤波---各项异性扩散滤波使用笔记及代码 一、文章内容介绍二、各项异性扩散滤波和各项同性滤波1、各项同性滤波2、各项异性扩散滤波3、各项异性和各项同性的对比 三、各项异性扩散滤波的原理介绍四、各项异性扩散滤波公式五、公式中的参数使用说明1、扩散速率 λ \lambda λ…...

编程日记 2024/9/21 11:58:58

本地柴油发电机组排行2023年最新榜单

柴油发电机是通过燃烧柴油驱动发动机&#xff0c;进而发电的设备&#xff0c;广泛应用于电力中断或无电网地区。1. 柴油发电机的核心工作原理是什么&#xff1f;柴油发电机是一种将化学能转化为电能的设备&#xff0c;其核心是柴油发动机与交流发电机的组合。当柴油在发动机内燃…...

编程新知 2026/5/26 3:05:52

从电磁炉到户外电源：拆解单相SVPWM如何让你的逆变器更安静、更高效

从电磁炉到户外电源&#xff1a;单相SVPWM如何实现静音与高效的双重突破当你深夜用电磁炉煮面时&#xff0c;是否曾被突然的蜂鸣声吓一跳&#xff1f;或是发现户外电源给设备充电时&#xff0c;散热风扇的噪音盖过了山林鸟鸣&#xff1f;这些常见问题背后&#xff0c;隐藏着一个…...

编程新知 2026/5/26 2:31:36

用数字逻辑门复刻柏林钟：从二进制编码到硬件实现

1. 项目概述&#xff1a;用数字电路复刻“柏林钟”作为一个在柏林长大的孩子&#xff0c;我从小就对库达姆大街上的那座“柏林钟”着迷。它不像传统时钟那样用指针或数字告诉你时间&#xff0c;而是通过几排不同颜色的发光方块&#xff0c;以一种近乎艺术的方式呈现时间。这种独…...

编程新知 2026/5/26 2:23:31

Simulink中Repeating Sequence锯齿波显示恒为0解决方案

锯齿波设置如图1时&#xff0c;其示波器显示恒为0&#xff08;如图2&#xff09;。图1图2于是新建模型&#xff0c;只添加Repeating Sequence模块&#xff0c;采用原始设置发现可以正常输出锯齿波&#xff0c;于是调整时间参数&#xff0c;发现当时间设置为≥[0 0.06]时可以正常…...

编程新知 2026/5/26 1:13:04

潮州东方轻奢风全屋高定找哪家

开篇引言根据《2026年中国全屋定制行业发展报告》&#xff0c;潮州市全屋定制市场规模同比增长38%&#xff0c;其中全屋高端定制细分市场同比增长52%。目前&#xff0c;潮州市家庭全屋定制需求占比72%&#xff0c;高端定制需求占比45%。为了帮助潮州市消费者选择合规、靠谱、差…...

编程新知 2026/5/26 1:04:50

搞定这 5 个全栈电商项目，面试别再用 Todo-List 凑数了

找独立开发练手项目或者写简历项目时&#xff0c;最忌讳两件事&#xff1a;一是太简单&#xff08;纯前端 Mock 数据&#xff0c;点两下就没了&#xff09;&#xff0c;二是太假&#xff08;一上来就硬套微服务、消息队列、高并发&#xff0c;结果自己根本Hold不住&#xff09;…...

编程新知 2026/5/26 0:20:09

转行网络安全运维：从0到1的可落地指南

转行网络安全运维&#xff1a;从0到1的可落地指南 一、 「3个核心技能&#xff1a;从零起步也能会」 网上学习资料多到爆炸&#xff0c;不用纠结“哪个最好”&#xff0c;记住一句话&#xff1a;**能学会、能上手的就是好的**&#xff01;不管是免费视频还是付费课&#xff0c…...

编程新知 2026/5/25 23:59:47

告别硬编码！在UE5.1里用蓝图动态配置MySQL连接参数（控件蓝图实战）

动态配置MySQL连接&#xff1a;UE5.1控件蓝图的工程化实践在游戏开发中&#xff0c;数据库连接往往是项目架构中不可或缺的一环。传统硬编码方式虽然简单直接&#xff0c;却带来了维护困难、安全性差、灵活性低等一系列问题。本文将深入探讨如何在UE5.1中构建一个完全动态化的M…...

编程新知 2026/5/25 22:26:31

天文时序数据分析：机器学习评估、半监督学习与无监督方法实战

1. 项目概述&#xff1a;当机器学习遇见星空 处理海量的天文时序数据&#xff0c;比如来自Kepler、TESS这些“巡天巨眼”的光变曲线&#xff0c;早已不是靠人眼一张张图去翻的时代了。数据量太大&#xff0c;噪声复杂&#xff0c;信号微弱&#xff0c;传统方法常常力不从心。这…...

编程新知 2026/5/25 19:09:10

NHSE终极教程：5分钟掌握动物森友会存档编辑技巧

NHSE终极教程&#xff1a;5分钟掌握动物森友会存档编辑技巧 【免费下载链接】NHSE Animal Crossing: New Horizons save editor 项目地址: https://gitcode.com/gh_mirrors/nh/NHSE 还在为《集合啦&#xff01;动物森友会》的收集烦恼吗&#xff1f;想快速打造梦想岛屿却…...

编程新知 2026/5/25 17:57:41