langchain ChatGPT AI私有知识库
企业知识库
原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt，
输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户
什么是langchain?
langchain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。
AI私有知识库
一种利用langchain思想实现的基于本地知识库的问答应用
详细流程实现：
文档的处理：
- 本地文档 进行加载获取到text文字内容
- 将获取的text进行切割分段（一般是采用文字500字切割，且上下文档有关联100字）
- 分段segment进行向量化存储到向量存储中
query查询的处理
- 对提问的问题query进行向量化embedding
- 查询向量存储匹配的文档（一般有相似度的查询与设置，比较好用）
- 查询的文档与问题、历史记录等组成prompt
- prompt（一般会设置中文化且设置回答等限制）请求LLM大模型
- 最终返回结果给用户
最后最终方案
本人和公司都是Java系的开发，但langchain是python的框架，最后采用了如下的方案：…
麻蛋，还得给它改python代码 （头皮发麻）Azure AI 是微软的一个python开源解决方案,但我们是Java体系，便只使用azure AI LLM大模型的功能，和向量embedding的存储，提问查询功能，其他的功能都采用Java来实现，如对象存储、文档加载、文档切割、格式转化等等
相关文章：
langchain ChatGPT AI私有知识库
企业知识库 原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt， 输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户 什么是langchain? langchain是一个强大的…...
API接口常用数据格式Json，Json的定义和XML的区别
现在程序员还有谁不知道 JSON 吗？无论对于前端还是后端，JSON 都是一种常见的数据格式。那么 JSON 到底是什么呢？ JSON 的定义 JSON （JavaScript Object Notation） ，是一种轻量级的数据交换格式。它的使用…...
密码学学习笔记(二十一)：SHA-256与HMAC、NMAC、KMAC
SHA-256 SHA-2是广泛应用的哈希函数，并且有不同的版本，这篇博客主要介绍SHA-256。 SHA-256算法满足了哈希函数的三个安全属性： 抗第一原像性 - 无法根据哈希函数的输出恢复其对应的输入。抗第二原像性 - 给定一个输入和它的哈希值…...
操作系统-笔记-第四章-文件管理
目录 四、第四章——文件管理 1、文件管理——基础概念 （1）文件结构 （2）操作系统提供的接口 （3）总结 2、文件的逻辑结构 （1）有结构文件（类似SQL表文件）…...
【MiniGUI】文字颜色实现透明度变化
在MiniGUi中，输出文字时有时候希望文字带有透明度信息， 即文字能够透出下面的图像来。 很自然地想到，设置颜色时，将颜色设置为带有透明度的颜色： SelectFont(hdc, mg_font);SetTextColor(hdc, RGBA2Pixel(HDC_SCREEN, …...
css中元素加定位之后到一定距离元素会变小
css中元素加定位之后到一定距离元素会变小 主要原因：元素没有加宽高 .swiperWrapper .active{bottom: 380px;left: 215px;z-index: 10; } .swiperWrapper .next{bottom: 170px;left: 7%;z-index: 20; } .swiperWrapper .prev{bottom: 360px;left: 0%;z-index: 30;…...
Java 语言实现冒泡排序
Java 语言实现冒泡排序 介绍 冒泡排序是一种简单直观的排序算法，它重复地比较相邻的两个元素，如果顺序错误就交换它们，直到没有需要交换的元素为止。冒泡排序的思路是通过每一轮的比较将最大（或最小）的元素逐渐“冒泡…...
面向对象单选题
下列选项中不属于面向对象的特征的是（B） A、封装性 B、安全性 C、继承性 D、多态性 在Java中,关于继承，类只支持（A） A、单继承 B、多继承 C、两个都可以 D、两个都不可以 用于定义成员的访问控制权的一组关键字…...
微服务-Fegin
在之前我们两服务之间调用的时候用的是restTemplate,但是这个方式调用存在很多的问题 String url "http://userservice/user/" order.getUserId(); 代码可读性差，编码体验不统一参数复杂的url难以维护 所以我们大力推出我们今天的主角--Fegin Feign是…...
[oneAPI] 使用字符级 RNN 生成名称
[oneAPI] 使用字符级 RNN 生成名称 oneAPI特殊写法使用字符级 RNN 生成名称Intel Optimization for PyTorch数据下载加载数据并对数据进行处理创建网络训练过程准备训练训练网络 结果 参考资料 比赛：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517…...
【ROS】参数服务器--理论模型与参数操作(C++)
一、概念介绍 参数服务器在ROS中主要用于实现不同节点之间的数据共享。参数服务器相当于是独立于所有节点的一个公共容器，可以将数据存储在该容器中，被不同的节点调用，当然不同的节点也可以往其中存储数据。 作用：存储一些多节点…...
[oneAPI] 基于BERT预训练模型的英文文本蕴含任务
[oneAPI] 基于BERT预训练模型的英文文本蕴含任务 Intel DevCloud for oneAPI 和 Intel Optimization for PyTorch基于BERT预训练模型的英文文本蕴含任务语料介绍数据集构建 模型训练 结果参考资料 比赛：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0…...
【洛谷】P1163 银行贷款
原题链接：https://www.luogu.com.cn/problem/P1163 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 这题需要注意的是利率按月累计这句话，也就是相当于“利滚利”。 我们定义sum变量表示贷款原值，money表示每月支付…...
Java版工程行业管理系统源码-专业的工程管理软件-提供一站式服务 em
鸿鹄工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离构建工程项目管理系统 1. 项目背景 一、随着公司的快速发展，企业人员和经营规模不断壮大。为了提高工程管理效率、减轻劳动强度、提高信息处理速度和准确性，公司对内部工…...
kafka--技术文档--基本docker中安装＜单机＞-linux
安装zookeeper 阿丹小科普： Kafka在0.11.0.0版本之后不再依赖Zookeeper，而是使用基于Raft协议的Kafka自身的仲裁机制来替代Zookeeper。具体来说，Kafka 2.8.0版本是第一个不需要Zookeeper就可以运行Kafka的版本，这被称为Kafka Raf…...
回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）
回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图） 目录 回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）效果一览…...
Linux系统安全——NAT（SNAT、DNAT）
目录 NAT SNAT SNAT实际操作 DNAT DNAT实际操作 NAT NAT: network address translation，支持PREROUTING，INPUT，OUTPUT，POSTROUTING四个链 请求报文：修改源/目标IP， 响应报文：修改源/目标…...
uniapp项目添加人脸识别功能，可用作登录，付款，流程审批前的安全校验
本案例使用了hbuilder插件商城中的活体检验插件，可自行前往作者处下载查看， 效果图如下 此插件需要在manifest.json中勾选 实现流程 1：前往hbuilder插件市场下载插件 2：在页面中导入import face from "/uni_modules/mcc-…...
SpringBoot面试题
Spring Boot的启动流程主要分为以下几个步骤： 加载Spring Boot配置文件，初始化Spring Boot环境和核心组件，如ApplicationContext上下文环境、自动装配机制等。 执行SpringApplication.run()方法，执行所有Spring Boot自动配置的Be…...
Git相关命令
SSH密钥文件 Github里面S设置SH公钥有两者选择方式 账号下的每个仓库都设置一个公钥，因为GitHub官方要求每个仓库的公钥都不能相同，所以每个账号都要搞一个密钥（很麻烦）给账号分配一个公钥，然后这个公钥就可以在这个…...
[特殊字符] 智能合约中的数据是如何在区块链中保持一致的？
🧠 智能合约中的数据是如何在区块链中保持一致的？ 为什么所有区块链节点都能得出相同结果？合约调用这么复杂，状态真能保持一致吗？本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里…...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
React 第五十五节 Router 中 useAsyncError的使用详解
前言 useAsyncError 是 React Router v6.4 引入的一个钩子，用于处理异步操作（如数据加载）中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误：捕获在 loader 或 action 中发生的异步错误替…...
Leetcode 3576. Transform Array to All Equal Elements
Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接：3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到…...
《Playwright：微软的自动化测试工具详解》
Playwright 简介:声明内容来自网络，将内容拼接整理出来的文档 Playwright 是微软开发的自动化测试工具，支持 Chrome、Firefox、Safari 等主流浏览器，提供多语言 API（Python、JavaScript、Java、.NET）。它的特点包括&a…...
Linux云原生安全：零信任架构与机密计算
Linux云原生安全：零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言：云原生安全的范式革命 随着云原生技术的普及，安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测，到2025年，零信任架构将成为超…...
12.找到字符串中所有字母异位词
🧠 题目解析 题目描述： 给定两个字符串 s 和 p，找出 s 中所有 p 的字母异位词的起始索引。 返回的答案以数组形式表示。 字母异位词定义： 若两个字符串包含的字符种类和出现次数完全相同，顺序无所谓，则互为…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...
在WSL2的Ubuntu镜像中安装Docker
Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包： for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...
mac：大模型系列测试
0 MAC 前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何，是否支持微调、推理速度等能力。下面进入正文。 1 mac 与 unsloth 按照下面的进行安装以及测试，是可以跑通文章里面的代码。训练速度也是很快的。 注意…...