当前位置： 首页 > news >正文

分布式对象存储

news 2026/2/9 22:33:14

参考《分布式对象存储----原理、架构以及Go语言实现》（作者：胡世杰）

对象存储简介

数据的管理方式

以对象的方式管理数据，一个对象包括：对象的数据、对象的元数据、对象的全局唯一标识符

访问数据的方式

在这里插入图片描述

可扩展的分布式系统

接口和数据存储分离的架构

在这里插入图片描述

  1. 接口实现对象的存取

  2. 接口通过 RabbitMQ 消息队列进行通讯

    1. 向某个 exchange 进行一对多的消息群发

      1. apiServices exchange 每一台接口服务节点都会接收到任意一台数据服务节点的心跳

      2. dataServices exchange 所有数据服务节点绑定该 exchange 并接收来着接口服务的定位消息，拥有对象的数据服务节点会使用消息单发通知该接口服务节点

        当发送一条信息给 dataServices exchange 时，定位成功后，将会创建一个反馈信息的临时队列，临时队列将在一定时间后关闭

    2. 向某个消息队列进行一对一的消息单发

REST接口

  • GET 提供一个 locate接口 在这里插入图片描述

    客户端通过GET方法发送对象定位请求，接口服务节点收到请求后会向数据服务层群发一个定位信息，然后等待反馈。如果存在则返回该数据服务节点的地址

RabbitMQ 消息设计

数据服务心跳信息

在这里插入图片描述

接口服务的定位信息及反馈

在这里插入图片描述

对象PUT流程

在这里插入图片描述

在这里插入图片描述

对象GET流程

在这里插入图片描述

元数据服务

散列值与散列函数

在这里插入图片描述

在这里插入图片描述

计算散列值的算法推荐

书上的例子为 SHA-256 更高级别的有SHA-512

加入元数据服务的框架

书中建议是使用ElasticSearch

我们项目选择的是MySQL对元数据进行存储

REST接口

  • GET新增一个参数version

在这里插入图片描述

表示对象数据的版本默认状态下是最新版本

  • PUT需提供一个名为 Digest 的 HTTP 请求头，和一个名为 Content-Length 请求头

在这里插入图片描述

  • DELETE只需要删除元数据而数据节点继续保存数据，知道所有元数据都被删除

在这里插入图片描述

  • 查询指定对象的所有版本

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

ES接口（MySQL）

对象PUT流程

在这里插入图片描述

对象GET流程

在这里插入图片描述

数据校验与去重

需要数据校验的原因

在这里插入图片描述

给数据加入缓存功能

在数据服务层再加入一个缓存服务

数据服务的REST接口

  • 以POST方法访问数据服务temp接口在URL中指定数据对象的散列值，并提供一个名为size的HTTP请求头，用于指定对象的大小。这会在数据服务中创建一个临时对象，该接口返回一个随机生成的uuid用于标记临时对象

在这里插入图片描述

  • 将对象内容发到数据服务temp接口，并写入临时对象

在这里插入图片描述

  • 根据对比散列值的结果进行操作

在这里插入图片描述

对象PUT流程

在这里插入图片描述

数据冗余与即使修复

对象存储的数据冗余策略

在这里插入图片描述

断点续传

数据压缩

数据维护

相关文章：

分布式对象存储

参考《分布式对象存储----原理、架构以及Go语言实现》（作者：胡世杰） 对象存储简介 数据的管理方式 以对象的方式管理数据，一个对象包括：对象的数据、对象的元数据、对象的全局唯一标识符 访问数据的方式 可扩展的分…...

编程日记 2023/10/13 15:47:10

跨境独立站代购中国电商平台商品PHP多语言多货币

跨境独立站代购中国电商平台商品是指代购者在海外建立自己的独立电商平台，代理中国主流电商平台（如淘宝、京东等）的商品进行销售和代购。这种模式的优势在于代购者可以自主选择产品和价格策略，同时还能提供更专业和优质的服务。 …...

编程日记 2023/10/13 15:46:09

Python接口自动化 —— Json 数据处理实战（详解）

简介 上一篇说了关于json数据处理，是为了断言方便，这篇就带各位小伙伴实战一下。首先捋一下思路，然后根据思路一步一步的去实现和实战，不要一开始就盲目的动手和无头苍蝇一样到处乱撞，撞得头破血流后而放弃了。不仅什么…...

编程日记 2023/10/13 15:43:02

微信页面公众号页面 安全键盘收起后页面空白

微信浏览器打开H5页面和公众号页面，输入密码时调起安全键盘，键盘收起后 键盘下方页面留白 解决办法： 1、（简单）只有在调起安全键盘（输入密码）的时候会出现这种情况，将input属性改为n…...

编程日记 2023/10/13 15:40:59

数据结构 - 二叉树

递归实现前中后序遍历 #include<stdio.h> #include<stdlib.h>#define TElemType inttypedef struct BiTNode{TElemType data;struct BiTNode *lchild,*rchild; }BiTNode,*BiTree; BiTNode root;void visit(TElemType& e){printf("%d",e); }void Pre…...

编程日记 2023/10/13 15:39:58

【Overload游戏引擎细节分析】从视图投影矩阵提取视锥体及overload对视锥体的封装

overoad代码中包含一段有意思的代码&#xff0c;可以从视图投影矩阵逆推出摄像机的视锥体&#xff0c;本文来分析一下原理 一、平面的方程 视锥体是用平面来表示的&#xff0c;所以先看看平面的数学表达。 平面方程可以由其法线N&#xff08;A, B, C&#xff09;和一个点Q(x0,…...

编程日记 2023/10/13 15:37:56

Linux 安全 - LSM hook点

文章目录 一、LSM file system hooks1.1 LSM super_block hooks1.2 LSM file hooks1.3 LSM inode hooks 二、LSM Task hooks三、LSM IPC hooks四、LSM Network hooks五、LSM Module & System hooks 一、LSM file system hooks 在VFS&#xff08;虚拟文件系统&#xff09;层…...

编程日记 2023/10/13 15:35:55

【iOS逆向与安全】越狱检测与过检测附ida伪代码

首先在网上查找一些检测代码 放入项目运行&#xff0c;用 ida 打开后 F5 得到下面的 __int64 __usercall sub_10001B3F0<X0>(__int64 a1, __int64 a2, __int64 a3, __int64 a4, __int64 a5, __int64 a6, __int64 a7, __int64 a8, __int64 a9, __int64 a10, __int64 a11…...

编程日记 2023/10/13 15:34:53

Android Studio gradle手动下载配置

项目同步时&#xff0c;有时候会遇到Android Studio第一步下载gradle就是连接失败的问题。 这种情况&#xff0c;我们可以手动去gradle官网下载好gradle文件&#xff0c;放置在Android Studio的缓存目录下&#xff0c;这样AS在同步代码时就会自动解压下载好的文件。 步骤如下&…...

编程日记 2023/10/13 15:33:52

ChatGPT Prompting开发实战（十三）

一&#xff0e; 如何评估prompts是否包含有害内容 用户在与ChatGPT交互时提供的prompts可能会包括有害内容&#xff0c;这时可以通过调用OpenAI提供的API来进行判断&#xff0c;接下来给出示例&#xff0c;通过调用模型“gpt-3.5-turbo”来演示这个过程。 prompt示例如下&…...

编程日记 2023/10/13 15:32:51

银河麒麟 ARM 架构 离线安装Docker

1. 下载对应的安装包 进入此地址下载对应的docker 离线安装包 下载地址 将文件上传到服务器 解压此文件 tar zxf docker-18.09.1.tgz将 docker 相关命令拷贝到 /usr/bin&#xff0c;方便直接运行命令 cp docker/* /usr/bin/启动Docker守护程序 dockerd &验证是否安装成…...

编程日记 2023/10/13 15:31:49

虹科科技 | 探索CAN通信世界：PCAN-Explorer 6软件的功能与应用

CAN&#xff08;Controller Area Network&#xff09;总线是一种广泛应用于汽车和工业领域的通信协议&#xff0c;用于实时数据传输和设备之间的通信。而虹科的PCAN-Explorer 6软件是一款功能强大的CAN总线分析工具&#xff0c;为开发人员提供了丰富的功能和灵活性。本文将重点…...

编程日记 2023/10/13 15:30:48

SELECT COUNT(*)会不会导致全表扫描引起慢查询

SELECT COUNT(*)会不会导致全表扫描引起慢查询呢&#xff1f; SELECT COUNT(*) FROM SomeTable 网上有一种说法&#xff0c;针对无 where_clause 的 COUNT(*)&#xff0c;MySQL 是有优化的&#xff0c;优化器会选择成本最小的辅助索引查询计数&#xff0c;其实反而性能最高&…...

编程日记 2023/10/13 15:29:48

英国物联网初创公司【FourJaw】完成180万英镑融资

来源&#xff1a;猛兽财经 作者&#xff1a;猛兽财经 猛兽财经获悉&#xff0c;总部位于英国谢菲尔德的物联网初创公司【FourJaw】今日宣布已完成180万英镑融资。 本轮融资完成后&#xff0c;FourJaw的总融资金额已达400万英镑&#xff0c;本轮融资的投资机构包括&#xff1a;…...

编程日记 2023/10/13 15:26:44

许战海战略文库|无增长则衰亡：中小型制造企业增长困境

竞争环境不是匀速变化&#xff0c;而是加速变化。企业的衰退与进化、兴衰更迭在不断发生&#xff0c;这成为一种不可避免的现实。事实上&#xff0c;在产业链竞争中增长困境不分企业大小&#xff0c;而是一种普遍存在的问题&#xff0c;许多收入在1亿至10亿美元间的制造企业也同…...

编程日记 2023/10/13 15:25:42

广州华锐互动：候车室智能数字孪生系统实现交通信息可视化

随着科技的不断发展&#xff0c;数字化技术在各个领域得到了广泛的应用。智慧车站作为一种新型的交通服务模式&#xff0c;通过运用先进的数字化技术&#xff0c;为乘客提供了更加便捷、舒适的出行体验。 将智慧车站与数字孪生大屏结合&#xff0c;可以将实际现实世界的实体车站…...

编程日记 2023/10/13 15:24:41

智慧工地：助力数字建造、智慧建造、安全建造、绿色建造

智慧工地管理系统融合计算机技术、物联网、视频处理、大数据、云计算等&#xff0c;为工程项目管理提供先进的技术手段&#xff0c;构建施工现场智能监控系统&#xff0c;有效弥补传统监理中的缺陷&#xff0c;对人、机、料、法、环境的管理由原来的被动监督变成全方位的主动管…...

编程日记 2023/10/13 15:23:40

增强基于Cortex-M3的MCU以处理480 Mbps高速USB

通用串行总线&#xff08;USB&#xff09;完全取代了PC上的UART&#xff0c;PS2和IEEE-1284并行接口&#xff0c;现在已在嵌入式开发应用程序中得到广泛认可。嵌入式开发系统使用的大多数I / O设备&#xff08;键盘&#xff0c;扫描仪&#xff0c;鼠标&#xff09;都是基于USB的…...

编程日记 2023/10/13 15:21:38

山海鲸汽车需求调研系统：智慧决策的关键一步

随着社会的发展和科技的进步&#xff0c;汽车行业也迎来了新的挑战和机遇。如何更好地满足用户需求、提高产品竞争力成为了汽车制造商们关注的焦点。在这个背景下&#xff0c;山海鲸汽车需求调研互动系统应运而生&#xff0c;为汽车行业赋予了智慧决策的力量。 智慧决策的核心&…...

编程日记 2023/10/13 15:20:37

视频缩放的概念整理-步长数组

最近在读ffmpeg的代码时候&#xff0c;这个接口不是很能看懂int sws_scale(struct SwsContext *c, const uint8_t *const srcSlice[], const int srcStride[], int srcSliceY, int srcSliceH, uint8_t *const dst[], const int dstStride[]); 多方请教后&#xff0c;记录结果如…...

编程日记 2023/10/13 15:19:36

Cursor实现用excel数据填充word模版的方法

cursor主页&#xff1a;https://www.cursor.com/ 任务目标&#xff1a;把excel格式的数据里的单元格&#xff0c;按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 直接给一个excel文件和最终呈现的word文件的示例&#xff0c;…...

编程新知 2025/8/23 5:46:26

基于大模型的 UI 自动化系统

基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...

编程新知 2025/10/22 11:16:20

脑机新手指南（八）：OpenBCI_GUI：从环境搭建到数据可视化（下）

一、数据处理与分析实战 &#xff08;一&#xff09;实时滤波与参数调整 基础滤波操作 60Hz 工频滤波&#xff1a;勾选界面右侧 “60Hz” 复选框&#xff0c;可有效抑制电网干扰&#xff08;适用于北美地区&#xff0c;欧洲用户可调整为 50Hz&#xff09;。 平滑处理&…...

编程新知 2025/11/19 22:56:53

汽车生产虚拟实训中的技能提升与生产优化​

在制造业蓬勃发展的大背景下&#xff0c;虚拟教学实训宛如一颗璀璨的新星&#xff0c;正发挥着不可或缺且日益凸显的关键作用&#xff0c;源源不断地为企业的稳健前行与创新发展注入磅礴强大的动力。就以汽车制造企业这一极具代表性的行业主体为例&#xff0c;汽车生产线上各类…...

编程新知 2026/1/27 7:46:36

【单片机期末】单片机系统设计

主要内容&#xff1a;系统状态机&#xff0c;系统时基&#xff0c;系统需求分析&#xff0c;系统构建&#xff0c;系统状态流图 一、题目要求 二、绘制系统状态流图 题目&#xff1a;根据上述描述绘制系统状态流图&#xff0c;注明状态转移条件及方向。 三、利用定时器产生时…...

编程新知 2026/1/31 12:27:36

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/12/10 20:45:02

【python异步多线程】异步多线程爬虫代码示例

claude生成的python多线程、异步代码示例&#xff0c;模拟20个网页的爬取&#xff0c;每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程&#xff1a;允许程序同时执行多个任务&#xff0c;提高IO密集型任务&#xff08;如网络请求&#xff09;的效率…...

编程新知 2025/12/16 18:04:55

【Veristand】Veristand环境安装教程-Linux RT / Windows

首先声明&#xff0c;此教程是针对Simulink编译模型并导入Veristand中编写的&#xff0c;同时需要注意的是老用户编译可能用的是Veristand Model Framework&#xff0c;那个是历史版本&#xff0c;且NI不会再维护&#xff0c;新版本编译支持为VeriStand Model Generation Suppo…...

编程新知 2026/2/5 20:04:55

热烈祝贺埃文科技正式加入可信数据空间发展联盟

2025年4月29日&#xff0c;在福州举办的第八届数字中国建设峰会“可信数据空间分论坛”上&#xff0c;可信数据空间发展联盟正式宣告成立。国家数据局党组书记、局长刘烈宏出席并致辞&#xff0c;强调该联盟是推进全国一体化数据市场建设的关键抓手。 郑州埃文科技有限公司&am…...

编程新知 2026/2/7 20:23:55

RushDB开源程序 是现代应用程序和 AI 的即时数据库。建立在 Neo4j 之上

一、软件介绍 文末提供程序和源码下载 RushDB 改变了您处理图形数据的方式 — 不需要 Schema&#xff0c;不需要复杂的查询&#xff0c;只需推送数据即可。 二、Key Features ✨ 主要特点 Instant Setup: Be productive in seconds, not days 即时设置 &#xff1a;在几秒钟…...

编程新知 2026/2/5 4:20:19