当前位置： 首页 > news >正文

带你认识储存以及数据库新技术演进

news 2026/4/23 6:44:23

01经典案例

1.0 潜在问题

02存储&数据库简介

2.1 存储器层级架构

2.1 数据怎么从应用到存储介质

2.1 RAID技术

2.2 数据库

数据库分为 关系型数据库 和 非关系型数据库

2.2.2 非关系型

2.2.1 关系型

2.3 数据库 vs 经典存储-结构化数据管理

2.3.1 数据库 vs 经典存储-事务能力

2.3.2 数据库 vs 经典存储-复杂查询能力

2.4 数据库使用方式

3.主流产品剖析

3.1 单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

3.1.1 单机存储-本地文件系统

3.1.2 单机存储——kry-value存储

写入友好，牺牲读性能；

LSMTree的数据结构分为两部分(Memory内存)(Disk磁盘)

3.2 分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

3.2.1 分布式文件存储系统-HDFS

POSIX：可移植操作系统接口（Portable Operating System Interface of UNIX）

3.2.2 分布式对象存储系统-Ceph

3.3 单机关系型数据库

单机数据库=单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

左边是内存数据结构；右边是磁盘数据结构

Redo Log 操作日志；Rempdata/Others 临时数据；

3.4 单机非关系型数据库

3.5 从单机到分布式数据库

3.5.1 分布式数据库-解决容量问题

单点数据库下面 挂载的磁盘数量总是有限的
分布式 存储池子 解决

3.5.2 分布式数据库-解决弹性问题

扩缩容的弹性问题同样由存储池解决

3.5.3 分布式数据库-解决性价比问题

3.5.4 MoreToDo

更多问题

4.0 新技术演进

4.2 SDPK

Bypass OS kernel的佼佼者
把io链路操作放到用户态，避免内核态的系统性能损耗

4.3 AI&Storage

4.4 高性能硬件

5 总结

相关文章：

带你认识储存以及数据库新技术演进

01经典案例 1.0 潜在问题 02存储&数据库简介 2.1 存储器层级架构 2.1 数据怎么从应用到存储介质 2.1 RAID技术 2.2 数据库 数据库分为 关系型数据库 和 非关系型数据库 2.2.2 非关系型 2.2.1 关系型 2.3 数据库 vs 经典存储-结构化数据管理 2.3.1 数据库 vs 经典存储-事务能…...

编程日记 2023/8/12 22:49:29

腾讯云服务器镜像操作系统大全_Linux_Windows清单

腾讯云CVM服务器的公共镜像是由腾讯云官方提供的镜像，公共镜像包含基础操作系统和腾讯云提供的初始化组件，公共镜像分为Windows和Linux两大类操作系统，如TencentOS Server、Windows Server、OpenCloudOS、CentOS Stream、CentOS、Ubuntu、Deb…...

编程日记 2023/8/12 22:48:28

基于k8s job设计与实现CI/CD系统

方案一：Jenkinsk8sCICD 方案二：kanikok8s jobCICD CICD 基于K8s Job设计流水线 CI方案 工具镜像 云原生镜像打包工具 kaniko的使用 与Jenkins对比 可用性与易用性...

编程日记 2023/8/12 22:47:27

⌈算法进阶⌋图论::并查集——快速理解到熟练运用

目录 一、原理 1. 初始化Init 2. 查询 find 3. 合并 union 二、代码模板 三、练习 1、 990.等式方程的可满足性🟢 2、 1061. 按字典序排列最小的等效字符串🟢 3、721.账户合并 🟡 4、 839.相似字符串组🟡 5、 2812.找出最安全…...

编程日记 2023/8/12 22:46:26

【ROS】fsd_algorithm架构学习与源码分析（致敬）

😏★,:.☆(￣▽￣)/$:.★ 😏 这篇文章主要介绍fsd_algorithm架构学习与源码分析。 无专精则不能成，无涉猎则不能通。——梁启超 欢迎来到我的博客，一起学习，共同进步。 喜欢的朋友可以关注一下&am…...

编程日记 2023/8/12 22:45:25

PHP最简单自定义自己的框架定义常量自动生成目录（三）

1、框架入口增加模块定义&#xff0c;实现多模块功能 index.php 定义模块 <?php //定义当前请求模块 define("MODULE",index); require "./core/KJ.php"; 创建后台模块admin.php <?php define("MODULE",admin); require "./cor…...

编程日记 2023/8/12 22:44:24

栈和队列详解

目录 栈 栈的概念及结构&#xff1a; 栈的实现&#xff1a; 代码实现&#xff1a; Stack.h stack.c 队列&#xff1a; 概念及结构&#xff1a; 队列的实现&#xff1a; 代码实现&#xff1a; Queue.h Queue.c 拓展&#xff1a; 循环队列&#xff08;LeetCode题目链接&#xff0…...

编程日记 2023/8/12 22:43:23

数据结构 | 树的定义及实现

目录 一、树的术语及定义 二、树的实现 2.1 列表之列表 2.2 节点与引用 一、树的术语及定义 节点&#xff1a; 节点是树的基础部分。它可以有自己的名字&#xff0c;我们称作“键”。节点也可以带有附加信息&#xff0c;我们称作“有效载荷”。有效载荷信息对于很多树算法…...

编程日记 2023/8/12 22:42:22

Delphi7通过VB6之COM对象调用FreeBASIC写的DLL功能

VB6写ActiveX COM组件比较方便&#xff0c;不仅PowerBASIC与VB6兼容性好&#xff0c;Delphi7与VB6兼容性也不错&#xff0c;但二者与FreeBASIC兼容性在字符串处理上差距比较大&#xff0c;FreeBASIC是C化的语言&#xff0c;可直接使用C指令。下面还是以实现MKI/CVI, MKL/CVL, M…...

编程日记 2023/8/12 22:41:20

【Linux 网络】NAT技术——缓解IPv4地址不足

NAT技术 NAT 技术背景NAT IP转换过程NAPTNAT 技术的缺陷 NAT&#xff08;Network Address Translation&#xff0c;网络地址转换&#xff09;技术&#xff0c;是解决IP地址不足的主要手段&#xff0c;并且能够有效地避免来自网络外部的攻击&#xff0c;隐藏并保护网络内部的计算…...

编程日记 2023/8/12 22:40:19

Flink 两阶段提交（Two-Phase Commit）协议

Flink 两阶段提交&#xff08;Two-Phase Commit&#xff09;是指在 Apache Flink 流处理框架中&#xff0c;为了保证分布式事务的一致性而采用的一种协议。它通常用于在流处理应用中处理跨多个分布式数据源的事务性操作&#xff0c;确保所有参与者&#xff08;数据源或计算节点…...

编程日记 2023/8/12 22:39:18

【Docker晋升记】No.2 --- Docker工具安装使用、命令行选项及构建、共享和运行容器化应用程序

文章目录 前言&#x1f31f;一、Docker工具安装&#x1f31f;二、Docker命令行选项&#x1f30f;2.1.docker run命令选项&#xff1a;&#x1f30f;2.2.docker build命令选项&#xff1a;&#x1f30f;2.3.docker images命令选项&#xff1a;&#x1f30f;2.4.docker ps命令选项…...

编程日记 2023/8/12 22:38:16

[OnWork.Tools]系列 00-目录

OnWork.Tools系列文章目录 OnWork.Tools系列 01-简介_末叶的博客-CSDN博客OnWork.Tools系列 02-安装_末叶的博客-CSDN博客OnWork.Tools系列 03-软件设置_末叶的博客-CSDN博客OnWork.Tools系列 04-快捷启动_末叶的博客-CSDN博客OnWork.Tools系列 05-系统工具_末叶的博客-CSDN博…...

编程日记 2023/8/12 22:37:15

Cadvisor+InfluxDB+Grafan+Prometheus（详解）

目录 一、CadvisorInfluxDBGrafan案例概述 &#xff08;一&#xff09;Cadvisor Cadvisor 产品特点&#xff1a; &#xff08;二&#xff09;InfluxDB InfluxDB应用场景&#xff1a; InfluxDB主要功能&#xff1a; InfluxDB主要特点&#xff1a; &#xff08;三&#…...

编程日记 2023/8/12 22:36:13

AtcoderABC222场

A - Four DigitsA - Four Digits 题目大意 给定一个整数N&#xff0c;其范围在0到9999之间&#xff08;包含边界&#xff09;。在将N转换为四位数的字符串后&#xff0c;输出它。如果N的位数不足四位&#xff0c;则在前面添加必要数量的零。 思路分析 可以使用输出流的格式设…...

编程日记 2023/8/12 22:35:13

架构实践方法

一、识别复杂度 将主要的复杂度问题列出来&#xff0c;然后根据业务、技术、团队等综合情况进行排序&#xff0c;优先解决当前面临的最主要的复杂度问题。对于按照复杂度优先级解决的方式&#xff0c;存在一个普遍的担忧&#xff1a;如果按照优先级来解决复杂度&#xff0c;可…...

编程日记 2023/8/12 22:34:12

点淘的MCN机构申请详细入驻指南！

消费趋势的变化&#xff0c;来自消费人群的变化。 后疫情时代&#xff0c;经济复苏的反弹力度不足&#xff0c;人们开始怀疑我们正从前几年的消费升级&#xff0c;跌入消费降级的时代&#xff0c;但这并不能准确概括消费市场的变化。 仔细翻看各大奢侈品集团的财报&#xff0…...

编程日记 2023/8/12 22:33:10

事务和事务的隔离级别

1.4.事务和事务的隔离级别 1.4.1.为什么需要事务 事务是数据库管理系统&#xff08;DBMS&#xff09;执行过程中的一个逻辑单位&#xff08;不可再进行分割&#xff09;&#xff0c;由一个有限的数据库操作序列构成&#xff08;多个DML语句&#xff0c;select语句不包含事务&…...

编程日记 2023/8/12 22:32:09

每日一题 34在排序数组中查找元素的第一个和最后一个位置（二分查找）

题目 给你一个按照非递减顺序排列的整数数组 nums&#xff0c;和一个目标值 target。请你找出给定目标值在数组中的开始位置和结束位置。 如果数组中不存在目标值 target&#xff0c;返回 [-1, -1]。 你必须设计并实现时间复杂度为 O(log n) 的算法解决此问题。 示例 1&…...

编程日记 2023/8/12 22:31:08

Spring Boot Admin 环境搭建与基本使用

Spring Boot Admin 环境搭建与基本使用 一、Spring Boot Admin是什么二、提供了那些功能三、 使用Spring Boot Admin3.1搭建Spring Boot Admin服务pom文件yml配置文件启动类启动admin服务效果 3.2 common-apipom文件feignhystrix 3.3服务消费者pom文件yml配置文件启动类control…...

编程日记 2023/8/12 22:30:07

c++ trpc-cpp框架 c++如何使用腾讯trpc构建微服务

trpc-cpp服务启动失败的主因是main()中未调用trpc::Run()&#xff0c;导致框架初始化后立即退出&#xff1b;需在main末尾显式调用该函数以启动运行时、加载配置并阻塞等待信号。trpc-cpp 服务启动失败&#xff1a;main() 里漏了 trpc::Run()绝大多数新手卡在第一步——服务进程…...

编程新知 2026/4/23 5:19:05

从吉尔伯特单元到混频器：一个CMOS差动放大器的‘跨界’实战应用解析

从吉尔伯特单元到混频器&#xff1a;一个CMOS差动放大器的‘跨界’实战应用解析 在模拟集成电路设计的浩瀚海洋中&#xff0c;差动放大器犹如一艘稳健的航船&#xff0c;承载着信号处理的基础重任。而当这艘航船驶入射频通信的湍流海域时&#xff0c;它的形态开始发生奇妙的变化…...

编程新知 2026/4/23 4:39:17

统计学习与不确定性量化在AI可靠性中的应用

1. 统计学习&#xff1a;AI系统可靠性的理论基石在2014年的ImageNet竞赛中&#xff0c;一个看似简单的实验震惊了整个AI社区——研究者们发现&#xff0c;只需对输入图像添加人眼无法察觉的微小扰动&#xff0c;就能让当时最先进的图像分类模型产生完全错误的预测。这个现象后来…...

编程新知 2026/4/23 2:58:22

Stable Diffusion入门指南：从环境搭建到AI绘画实战

1. 从零开始理解AI绘画技术作为一名数字艺术创作者&#xff0c;我最初接触Stable Diffusion时完全被它的能力震撼了。这个开源模型能够根据文字描述生成令人惊叹的视觉作品&#xff0c;彻底改变了传统数字创作的流程。与Midjourney等闭源方案不同&#xff0c;Stable Diffusion给…...

编程新知 2026/4/23 1:20:29

蔚蓝档案自动化脚本：5步实现游戏日常任务全自动，解放双手专注策略

蔚蓝档案自动化脚本&#xff1a;5步实现游戏日常任务全自动&#xff0c;解放双手专注策略 【免费下载链接】blue_archive_auto_script 支持按轴凹总力战, 无缝制造三解, 用于实现蔚蓝档案自动化的程序( Steam已适配 ) 项目地址: https://gitcode.com/gh_mirrors/bl/blue_arch…...

编程新知 2026/4/23 1:16:37

嵌入式——认识电子元器件——电容系列

认识常用电子元器件——电容介绍核心作用滤波稳压/退耦隔直通交延时/充放电名词解释容量/额定容量额定耐压 / 耐压值ESR 等效串联电阻ESL 等效串联电感纹波电流漏电流介质损耗 / 损耗角正切 (tanδ)介质极板 / 电极封装安规电容自愈特性旁路电容 / 退耦电容滤波电容耦合电容去耦…...

编程新知 2026/4/23 1:14:28

边缘AI推理加速全链路拆解，从Docker镜像瘦身到GPU直通部署——K3s+Docker混合栈最佳实践

第一章&#xff1a;边缘AI推理加速全链路概览 边缘AI推理加速并非单一技术点的优化&#xff0c;而是一条横跨模型设计、编译部署、硬件适配与运行时调度的端到端技术链路。该链路从云端模型训练完成后的轻量化处理开始&#xff0c;贯穿模型转换、算子融合、内存布局重排、量化校…...

编程新知 2026/4/23 1:04:08

5分钟掌握PUBG压枪技巧：罗技鼠标宏终极指南

5分钟掌握PUBG压枪技巧&#xff1a;罗技鼠标宏终极指南 【免费下载链接】logitech-pubg PUBG no recoil script for Logitech gaming mouse / 绝地求生 罗技 鼠标宏 项目地址: https://gitcode.com/gh_mirrors/lo/logitech-pubg 还在为PUBG中难以控制的后坐力而烦恼吗&a…...

编程新知 2026/4/23 0:47:57

2026年03月CCF-GESP编程能力等级认证Python编程五级真题解析

本文收录于专栏《Python等级认证CCF-GESP真题解析》，专栏总目录：点这里，订阅后可阅读专栏内所有文章。 一、单选题（每题 2 分，共 30 分） 第 1 题 关于 Python 实现的单链表、双链表和循环链表，下列说法正确的是 ( )。 A. 在 Python 实现的单链表中，若已知任意结点对…...

编程新知 2026/4/23 0:29:22

40G ZR4光模块：长距互联的优选方案

数字经济飞速发展&#xff0c;5G骨干网建设、跨城数据中心互联、企业广域组网等场景持续扩容&#xff0c;对光传输提出了“高速率、长距离、高性价比”的核心需求。40G ZR4光模块凭借80km超远距传输能力&#xff0c;精准衔接10G与100G传输体系&#xff0c;成为长距互联的高性价…...

编程新知 2026/4/22 21:50:47