Milvus 核心组件(3)--- MinIO详解
目录
背景
MinIO 安装
docker desktop 安装
Ubuntu UI 在 docker 中的安装
Minio 下载及安装
启动minio
docker image 保存
启动 minio web 网页
下一次启动
MinIO基本概念
基本概述
主要特性
应用场景
MinIO 使用
连接server
创建bucket
查询bucket
上传文件到 bucket
一般用法
高阶用法
查询object
获取object 数据
MinIO存储对象版本分析
存储分析
获取某个版本的object data
高阶用法
与 etcd 结合使用
结合内容
分布式系统的需求
高可用性和容错性
易于部署和管理
安全性和性能
结合过程
Milvus的结合逻辑
主逻辑
相对于Chroma的特性
背景
任何软件,我比较喜欢从三个方向去理解吸收其精髓,分别是核心设计及思想,如何应用,以及源码实现逻辑。这次focus 的重点是minIO,其实minIO非常独立,在接触milvus 之前,我没有大规模应用过它。但仔细研究,你会发现他非常优秀,特别是在有特殊条件的分布式系统上。理解minio的工作原理,对后续设计及思维沉淀都大有裨益。Milvus 在2.4x 上无一例外的启用了MinIO 作为数据存储。前几节核心思想里面已经讲了 etcd 存储的是 meta data 以及相关的的DML 与 DDL 操作。etcd 的特性及存储在 Milvus核心组件(2)---- etcd 详解-CSDN博客 已经讲的很清楚了,不明白的可以看下这篇。今天主要是focus 在 MinIO 上,对设计思想及使用做详细阐述及分析。首先,如果你使用的是 Milvus 2.2x 或以下版本,与etcd 不同,实际上,milvus 不一定需要启动 MinIO 进行存储,尽管Milvus 官网上宣称 基于Milvus standalone 版本会采用 MinIO 进行存储,但在 2.2x 及以下版本其实并不是这样。所以我们还是从MinIO 本身的特性开始分析为什么 Milvus 会选中它作为 data 存储,以及他是怎么配合 etcd 及 类似 Pluster 或Kafka
相关文章:
Milvus 核心组件(3)--- MinIO详解
目录 背景 MinIO 安装 docker desktop 安装 Ubuntu UI 在 docker 中的安装 Minio 下载及安装 启动minio docker image 保存 启动 minio web 网页 下一次启动 MinIO基本概念 基本概述 主要特性 应用场景 MinIO 使用 连接server 创建bucket 查询bucket 上传文件…...
[数据集][目标检测]婴儿车检测数据集VOC+YOLO格式1073张5类别
数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):1073 标注数量(xml文件个数):1073 标注数量(txt文件个数):1073 标注…...
JAVASE进阶day14(网络编程续TCP,日志)
TCP 三次握手 四次挥手 package com.lu.day14.tcp;import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.Socket;public class Client {public static void main(String[] args) {try(Socket socket new Socket("192.…...
机器学习(五) -- 无监督学习(1) --聚类1
系列文章目录及链接 上篇:机器学习(五) -- 监督学习(7) --SVM2 下篇:机器学习(五) -- 无监督学习(1) --聚类2 前言 tips:标题前有“***”的内容…...
leetcode 116. 填充每个节点的下一个右侧节点指针
leetcode 116. 填充每个节点的下一个右侧节点指针 题目 给定一个 完美二叉树 ,其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下: struct Node { int val; Node *left; Node *right; Node *next; } 填充它的每个 next …...
[C++]优先级队列
1 .了解优先级队列 优先级队列是一种容器适配器,根据一些严格的弱排序标准,专门设计使其第一个元素始终是它所包含的元素中最大的元素。 此上下文类似于堆,其中可以随时插入元素,并且只能检索最大堆元素(优先级队列中顶…...
学习大数据DAY22 Linux 基 本 指 令 3与 在 Linux 系 统 中 配 置MySQL 和 Oracle
目录 网络配置类 ps 显示系统执行的进程 kill systemctl 服务管理 配置静态 ip 常见错误---虚拟机重启网卡失败或者网卡丢失 mysql 操作 上机练习 6---安装 mysql---参考《mysql 安装》文档 解锁 scott 重启后的步骤 上机练习 7---安装 oracle---参考《oracle 安装》…...
scp 服务器复制命令
步骤如下: 终端执行如下命令 #ssh-keygen -t rsa 2. 密钥生成后会在 /root/.ssh/ 文件夹下产生两个文件 id_rsa id_rsa.pub 将 id_rsa.pub 文件复制到 152.136.121.24 执行如下命令 scp /root/.ssh/id_rsa.pub root152.136.121.24:/root/.ssh/authorized_keys…...
PyQt5学习路线
后续会根据该文章的路线逐步发布对应的教程,订阅专栏不迷路🥰 本专栏纯干货🤩 学习Python的PyQt5库,可以遵循以下的学习路线: 1. Python基础 掌握Python语法:确保你熟悉Python的基本语法,包括…...
2024论文精读:利用大语言模型(GPT)增强上下文学习去做关系抽取任务
文章目录 1. 前置知识2. 文章通过什么来引出他要解决的问题3. 作者通过什么提出RE任务存在上面所提出的那几个问题3.1 问题一:ICL检索到的**示范**中实体个关系的相关性很低。3.2 问题二:示范中缺乏解释输入-标签映射导致ICL效果不佳。 4. 作者为了解决上…...
WEB 手柄 http通信,mcu端解析代码 2024/7/23 日志
WEB 手柄 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>WEB遥控器</title> </head> &l…...
cmake中的正则表达式
以下字符或者字符组合在cmake的正则表达式中的特殊含义: ^ 匹配输入的开始 $ 匹配输入的结束 . 匹配任意一个字符 \<char> 匹配一个字符,如.匹配字符.,\匹配字符\,\a匹配字符a [ ] 匹配在括号里面的任意字符࿰…...
05. Java 三大范式
1. 前言 在面向对象语言中涉及到诸多的设计模式,例如单例模式、适配器模式,设计模式的存在是为了让系统中的代码逻辑更加清晰,帮助开发者建立更加健壮的系统,同时满足易修改特性和易扩展特性。数据库设计时也存在类似设计模式的通…...
opencv 按键开启连续截图,并加载提示图片
背景图小图 键盘监听使用的是pynput 库 保存图片时使用了年月日时分秒命名 原图: from pynput import keyboard import cv2 import time# 键盘监听 def on_press(key):global jieglobal guanif key.char a:jie Trueelif key.char d:jie Falseelif key.char…...
Android-- 集成谷歌地图
引言 项目需求需要在谷歌地图: 地图展示,设备点聚合,设备站点,绘制点和区域等功能。 我只针对我涉及到的技术做一下总结,希望能帮到开始接触谷歌地图的伙伴们。 集成步骤 1、在项目的modle的build.gradle中添加依赖如…...
Jvm是如何处理异常的
异常抛出 当Java程序运行时遇到无法处理的情况时,会抛出一个异常(比如在一个方法中如果发生异常),这时会创建一个异常对象,并转交给JVM,该异常对象包含异常名称,异常描述以及异常发生时应用程序的状态。创建异常对象并转交给JVM的过程称为抛出异常。 异常捕捉 当JVM检测…...
recursion depth exceeded” error
有些时候不可以用jax.jit装饰器 参考资料:使用 JAX 后端在 Keras 3 中训练 GAN |由 Khawaja Abaid |中等 (medium.com)...
虚拟现实和增强现实技术系列—Expressive Talking Avatars
文章目录 1. 概述2. 背景介绍3. 数据集3.1 设计标准3.2 数据采集 4. 方法4.1 概述4.2 架构4.3 目标函数 5. 实验评测5.1 用户研究5.2 我们方法的结果5.3 比较与消融研究 1. 概述 支持远程协作者之间的交互和沟通。然而,明确的表达是出了名的难以创建,主…...
网站验证:确保网络安全与信任的重要步骤
网站验证:确保网络安全与信任的重要步骤 引言 在数字时代,网站验证是确保网络安全和建立用户信任的关键措施。随着网络诈骗和恶意软件的日益增多,验证网站的真实性和安全性变得尤为重要。本文将探讨网站验证的重要性、常见的验证方法以及如…...
C语言——字符串比较函数strcmp和strncmp
目录 strcmp 函数原型如下: 示例 注意事项 strcmp自实现代码: strncmp 函数 函数原型: 参数: 返回值: 特点: 两者之间的区别和联系 strcmp strcmp 是 C 语言标准库中的一个函数,用于…...
OpenUSD终极渲染器切换指南:Storm vs Prman性能深度对比
OpenUSD终极渲染器切换指南:Storm vs Prman性能深度对比 【免费下载链接】OpenUSD Universal Scene Description 项目地址: https://gitcode.com/GitHub_Trending/ope/OpenUSD OpenUSD(Universal Scene Description)作为强大的3D场景描…...
i.MX6ULL镜像制作避坑指南:为什么你的SD卡启动失败?从分区表到文件系统的深度解析
i.MX6ULL镜像制作避坑指南:为什么你的SD卡启动失败?从分区表到文件系统的深度解析 当你在深夜调试i.MX6ULL开发板,反复确认每个步骤都按教程操作,却依然遭遇SD卡启动失败时,那种挫败感每个嵌入式开发者都深有体会。本文…...
Sycamore与Leptos、Dioxus对比:如何选择最适合的Rust前端框架
Sycamore与Leptos、Dioxus对比:如何选择最适合的Rust前端框架 【免费下载链接】sycamore A library for creating reactive web apps in Rust and WebAssembly 项目地址: https://gitcode.com/gh_mirrors/sy/sycamore 在Rust前端开发领域,Sycamor…...
AI驱动的3D建模革命:PIFuHD开源工具让零基础用户轻松创建高精度数字人
AI驱动的3D建模革命:PIFuHD开源工具让零基础用户轻松创建高精度数字人 【免费下载链接】pifuhd High-Resolution 3D Human Digitization from A Single Image. 项目地址: https://gitcode.com/gh_mirrors/pi/pifuhd 在数字内容创作、游戏开发和AR/VR应用领域…...
GEE下载哨兵2号影像时,如何避开云层和无效数据?我的季度合成与质量筛选实战
GEE实战:哨兵2号影像季度合成与云层规避全流程解析 湿地生态监测中,云层干扰是每位研究者都绕不开的痛点。去年我在分析鄱阳湖湿地植被动态时,曾因云污染损失了整整两个季度的有效数据。本文将分享如何通过GEE平台,从数据筛选到季…...
Face Analysis WebUI体验:智能人脸检测的简单方法
Face Analysis WebUI体验:智能人脸检测的简单方法 1. 开箱即用的人脸分析工具 你是否曾经需要快速分析一张照片中的人脸信息,却被复杂的安装步骤和命令行操作劝退?Face Analysis WebUI正是为解决这个问题而生。这个基于InsightFace模型的可…...
三步解锁Bruno API测试工具的隐藏潜力
三步解锁Bruno API测试工具的隐藏潜力 【免费下载链接】bruno 开源的API探索与测试集成开发环境(作为Postman/Insomnia的轻量级替代方案) 项目地址: https://gitcode.com/GitHub_Trending/br/bruno Bruno作为Postman的开源替代品,以其…...
CameraFileCopy:手机摄像头传输文件的终极解决方案,让数据传输不再受限!
CameraFileCopy:手机摄像头传输文件的终极解决方案,让数据传输不再受限! 【免费下载链接】cfc Demo/test android app for libcimbar. Copy files over the cell phone camera! 项目地址: https://gitcode.com/gh_mirrors/cfc/cfc 你是…...
Multisim 13.0 仿真 LC 振荡器:从起振到稳定,手把手教你分析波形与频率稳定度
Multisim 13.0 仿真 LC 振荡器:从起振到稳定,手把手教你分析波形与频率稳定度 在电子工程领域,LC振荡器作为基础电路之一,其设计与分析能力是每位硬件工程师的必修课。Multisim作为业界广泛使用的电路仿真软件,为我们…...
EPLAN新手必看:3分钟搞定自定义工具栏,效率翻倍不是梦
EPLAN高效工作指南:从零开始打造你的专属工具栏 第一次打开EPLAN时,满屏的工具栏按钮是不是让你感到手足无措?作为一名电气设计工程师,我完全理解这种感受。记得我刚接触EPLAN时,常常在密密麻麻的图标中迷失方向&…...
