当前位置： 首页 > news >正文

如何用个人数据Milvus Cloud知识库构建 RAG 聊天机器人？（上）

news 2025/7/16 5:35:59

生成式人工智能时代，开发者可以借助大语言模型（LLM）开发更智能的应用程序。然而，由于有限的知识，LLM 非常容易出现幻觉。检索增强生成（RAG）https://zilliz.com/use-cases/llm-retrieval-augmented-generation 通过为 LLM 补充外部知识，有效地解决了这一问题。


在 Chat Towards Data Science 博客系列中，我们将详细介绍如何使用个人的数据知识库构建 RAG 聊天机器人。本文是该系列的第一部分，将为大家介绍如何创建一个用于 Towards Data Science https://towardsdatascience.com/ 网站的聊天机器人，如何利用网页抓取数据、创建存储在 Milvus Cloud   上的知识库。

01.

使用 BeautifulSoup4 抓取网页数据

所有机器学习（ML）项目的第一步都是收集所需的数据。本项目中，我们使用网页抓取技术来收集知识库数据。用 requests
 库获取网页并使用 BeautifulSoup4.从网页中提取信息、解析 HTML 信息并提取段落。

  • 导入 Beautif

相关文章：

如何用个人数据Milvus Cloud知识库构建 RAG 聊天机器人？（上）

生成式人工智能时代，开发者可以借助大语言模型（LLM）开发更智能的应用程序。然而，由于有限的知识，LLM 非常容易出现幻觉。检索增强生成（RAG）https://zilliz.com/use-cases/llm-retrieval-augmented-generation 通过为 LLM 补充外部知识，有效地解决了这一问题。 在 Chat …...

编程日记 2023/10/29 5:47:29

2023年江西省“振兴杯”工业互联网安全技术技能大赛暨全国大赛江西选拔赛 Write UP

文章目录 一、协议分析 - modbus二、协议分析 - 异常的流量三、协议分析 - S7Error四、协议分析 - OmronAttack五、组态编程 - 工程的秘密六、组态编程 - 工程的秘密七、组态编程 - 简单的计算八、组态编程 - 交通灯九、组态编程 - 有趣的转盘十、应急处置 - 登录日志分析十一、…...

编程日记 2023/10/29 5:46:27

PostMan 之 Mock 接口测试

在测试的时候经常会碰到后端开发工程师的接口还没有开发完成，但是测试任务已经分配过来。没有接口怎么测试呢？ 测试人员可以通过 mock server 自己去造一个接口来访问。mock server 可用于模拟真实的接口。收到请求时，它会根据配置返回对应的…...

编程日记 2023/10/29 5:45:26

LuatOS-SOC接口文档(air780E)--libgnss - NMEA数据处理

示例 -- 提醒: 本库输出的坐标,均为 WGS84 坐标系 -- 如需要在国内地图使用, 要转换成对应地图的坐标系, 例如 GCJ02 BD09 -- 相关链接: https://lbsyun.baidu.com/index.php?titlecoordinate -- 相关链接: https://www.openluat.com/GPS-Offset.html-- 方案1, 经lua层进行数…...

编程日记 2023/10/29 5:44:25

基于华为云 IoT 物联网平台实现家居环境实时监控

01 智能家居环境监测 智能家居环境监测采用 Ruff 开发板作为主控，串口线连接温湿度传感器 DHT11 和空气质量传感器 SDS011，每5分钟采集一次数据，通过 MQTT 协议发送到华为云 IoT 物联网平台，并基于数据分析服务实时计算出整个家庭…...

编程日记 2023/10/29 5:43:23

【开源框架】Glide的图片加载流程

本篇文章从Glide 4.11源码入手，简单的分析整个图片请求的流程，本着 ”只见树林，不见树木“ 的原则，宏观请求流程，不细究实现细节（细节留坑埋点，之后慢慢写） 引入依赖 以下的所有分…...

编程日记 2023/10/29 5:42:22

win10下Mariadb绿色版安装步骤

使用绿色版的mariadb数据库管理软件，免费开源，可以用来替换MySQL。首先从mariadb官网下载绿色版本的压缩包。解压后、配置好即可以使用。 把他解压缩到C:\mariadb\之下。打开powershell： Cd c:\mariadb\bin .\mysql_install_db.exe 这一…...

编程日记 2023/10/29 5:41:19

wiresharak捕获DNS

DNS解析： 过滤项输入dns： dns查询报文 应答报文： 事务id相同，flag里 QR字段1，表示响应，answers rrs变成了2. 并且响应报文多了Answers 再具体一点，得到解析出的ip地址（最底下的add…...

编程日记 2023/10/29 5:40:18

vue源码分析（一）——源码目录说明

文章目录 一、如何下载源码（可忽略）（1）打开地址（2）复制链接（3）git clone 链接 二、源码目录说明1.可以根据你下载的源码通过package.json文件查看vue版本2.源码目录说明 一、如何下载…...

编程日记 2023/10/29 5:39:17

【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络

笔记为自我总结整理的学习笔记，若有错误欢迎指出哟~ 笔记链接 【深度学习】吴恩达课程笔记(一)——深度学习概论、神经网络基础 吴恩达课程笔记——浅层神经网络、深层神经网络 四、浅层神经网络1.双层神经网络表示2.双层神经网络的前向传播第一层前向传播第二层前…...

编程日记 2023/10/29 5:38:14

UI自动化概念 + Web自动化测试框架介绍

1.UI自动化测试概念:我们先明确什么是UI UI，即(User Interface简称UI用户界面)是系统和用户之间进行交互和信息交换的媒介 UI自动化测试: Web自动化测试和移动自动化测试都属于UI自动化测试，UI自动化测试就是借助自动化工具对程序UI层进行自动化的测试 …...

编程日记 2023/10/29 5:37:13

在 macOS 上的多个 PHP 版本之间切换

文章目录 前言一、前提条件1.引入库需要安装 Xcode 2.安装多个PHP版本2.PHP版本切换 开源替代品 前言 不同项目使用php版本可能不同，需要安装不同版本php 一、前提条件 1.引入库 需要安装 Xcode 命令行工具和Homebrew xcode-select --install检查brew是否已安…...

编程日记 2023/10/29 5:36:12

地址解析协议ARP

地址解析协议（Address Resolution Protocol，ARP），用于根据本网内目的主机或默认网关的IP地址获取其MAC地址。 ARP的基本思想：在每一台主机中设置专用内存区域，称为ARP高速缓存（也称为ARP表&…...

编程日记 2023/10/29 5:35:10

Go学习第十三章——Gin入门与路由

Go web框架——Gin入门与路由 1 Gin框架介绍1.1 基础介绍1.2 安装Gin1.3 快速使用 2 路由2.1 基本路由GET请求POST请求 2.2 路由参数2.3 路由分组基本分组带中间件的分组 2.4 重定向 1 Gin框架介绍 github链接：https://github.com/gin-gonic/gin 中文文档&#xf…...

编程日记 2023/10/29 5:33:08

[减脂期食谱] 自制千岛酱

[减脂期食谱] 自制千岛酱 成品如下： 最中间的那个，算比较居中的颜色吧，其实自己家做原版的千岛酱还是比较简单的，它的底就是蛋黄酱(蛋黄油乳化的酱)，随后里面的材料比较自由，维基百科是这么介绍的&#xf…...

编程日记 2023/10/29 5:32:06

Android 系统架构

目录 Android 系统架构 1. Android 应用层 2. Android应用框架层 2.1 Activity Manager （活动管理器） 2.2 Window Manager （窗口管理器） 2.3 Content Provider (内容提供器) 2.4 View System（视图系统&a…...

编程日记 2023/10/29 5:31:04

【Docker】Python Flask + Redis 练习

一、构建flask镜像 1.准备文件 创建app.py,内容如下 from flask import Flask from redis import Redis app Flask(__name__) redis Redis(hostos.environ.get(REDIS_HOST,127.0.0.1),port6379)app.route(/) def hello():redis.incr(hits)return f"Hello Container W…...

编程日记 2023/10/29 5:30:03

shell_52.Linux测试与其他网络主机的连通性脚本

实战演练 本节将展示一个实用脚本，该脚本在处理用户输入的同时，使用 ping 命令或 ping6 命令来测试与其他网络主机的连通性。 ping 命令或 ping6 命令可以快速测试网络主机是否可用。这个命令很有用，经常作为首选工具。如果只是检查单个主机&…...

编程日记 2023/10/29 5:29:02

OpenCV C++ 图像处理实战 ——《缺陷检测》

OpenCV C++ 图像处理实战 ——《缺陷检测》 一、结果演示二、缺陷检测算法2.1、多元模板图像2.2、训练差异模型三、图像配准3.1 功能源码3.1 功能效果四、多元模板图像4.1 功能源码五、缺陷检测5.1 功能源码六、源码测试图像下载总结一、结果演示...

编程日记 2023/10/29 5:28:00

Python操作MySQL基础使用

Python操作MySQL基础使用 链接数据库并查询数据 import pymysql# 链接数据库 conn pymysql.connect(host10.5.6.250,port3306,userroot,password******** )# 查看MySQL版本信息 print(conn.get_server_info()) # 5.5.27# 获取到游标对象 cursor conn.cursor()# 选择数据库…...

编程日记 2023/10/29 5:26:59

【Python】 -- 趣味代码 - 小恐龙游戏

文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...

编程新知 2025/7/15 21:41:19

DeepSeek 赋能智慧能源：微电网优化调度的智能革新路径

目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...

编程新知 2025/6/15 19:07:20

【论文阅读28】-CNN-BiLSTM-Attention-（2024）

本文把滑坡位移序列拆开、筛优质因子，再用 CNN-BiLSTM-Attention 来动态预测每个子序列，最后重构出总位移，预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵（S…...

编程新知 2025/7/15 18:27:19

rnn判断string中第一次出现a的下标

# coding:utf8 import torch import torch.nn as nn import numpy as np import random import json""" 基于pytorch的网络编写 实现一个RNN网络完成多分类任务 判断字符 a 第一次出现在字符串中的位置 """class TorchModel(nn.Module):def __in…...

编程新知 2025/7/9 4:55:48

华硕a豆14 Air香氛版，美学与科技的馨香融合

在快节奏的现代生活中，我们渴望一个能激发创想、愉悦感官的工作与生活伙伴，它不仅是冰冷的科技工具，更能触动我们内心深处的细腻情感。正是在这样的期许下，华硕a豆14 Air香氛版翩然而至，它以一种前所未有的方式&#x…...

编程新知 2025/7/15 20:54:44

【Go语言基础【13】】函数、闭包、方法

文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数（函数作为参数、返回值） 三、匿名函数与闭包1. 匿名函数（Lambda函…...

编程新知 2025/6/16 16:17:22

【笔记】WSL 中 Rust 安装与测试完整记录

#工作记录 WSL 中 Rust 安装与测试完整记录 1. 运行环境 系统：Ubuntu 24.04 LTS (WSL2)架构：x86_64 (GNU/Linux)Rust 版本：rustc 1.87.0 (2025-05-09)Cargo 版本：cargo 1.87.0 (2025-05-06) 2. 安装 Rust 2.1 使用 Rust 官方安…...

编程新知 2025/7/15 7:10:54

【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点： 多级缓存，先查本地缓存，再查Redis，最后才查数据库热点数据重建逻辑使用分布式锁，二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...

编程新知 2025/7/14 7:07:20

uniapp手机号一键登录保姆级教程（包含前端和后端）

目录 前置条件创建uniapp项目并关联uniClound云空间开启一键登录模块并开通一键登录服务编写云函数并上传部署获取手机号流程(第一种) 前端直接调用云函数获取手机号（第三种）后台调用云函数获取手机号 错误码常见问题 前置条件 手机安装有sim卡手机开启…...

编程新知 2025/7/14 20:24:06

破解路内监管盲区：免布线低位视频桩重塑停车管理新标准

城市路内停车管理常因行道树遮挡、高位设备盲区等问题，导致车牌识别率低、逃费率高，传统模式在复杂路段束手无策。免布线低位视频桩凭借超低视角部署与智能算法，正成为破局关键。该设备安装于车位侧方0.5-0.7米高度，直接规避树枝遮…...

编程新知 2025/7/15 7:03:22