当前位置： 首页 > news >正文

数据库存储

news 2025/12/16 23:09:40

RAID

  • DSL ： Domain Spesic Language 专用领域语言
    在这里插入图片描述

单机存储

  • 一切皆Key-Value

本地文件系统

  • 一切皆文件
    在这里插入图片描述

在这里插入图片描述

Ceph - 分布式存储

在这里插入图片描述

关系型数据库通用组件

  • Query Engine ：解析query，生成查询计划
  • Txn Manager ：事务并发管理
  • Lock Manager ：锁相关的策略
  • Storage Manager ：组织内存 / 磁盘数据结构
  • Replication ：主从同步
  • 内存结构： B-Tree 、B±Tree 、LRU List
  • 磁盘数据结构：WriteAheadLog（ReadLog）、Page

在这里插入图片描述

分布式存储之容量问题

在这里插入图片描述

分布式存储之弹性问题

在这里插入图片描述

  • 性价比优化：

在这里插入图片描述

SQL

一条SQL的一生：

在这里插入图片描述

  1. 查询解析 : 将文本解析成结构化数据，即AST
  2. 查询优化： 优化器，根据AST生成最优的执行计划
  3. 查询执行
  4. 事务引擎：处理事务ACID
  5. 存储引擎：内存中的数据缓存文件、日志文件等

SQL引擎 – 规则引擎

词法分析 -> 语法分析 -> 语义分析

在这里插入图片描述

Optimizer

在这里插入图片描述

条件化简 & 表连接优化 & Scan优化

在这里插入图片描述

代价优化

在这里插入图片描述

火山引擎

在这里插入图片描述

梯次链式调用：解耦

一层一层的解析计数，计数返回递归返回
每个算子独立计算，相互之间没有耦合，逻辑结构简单
每一条数据要调用多个函数，CPU开销很大

  • 把Row优化成Batch， 批量计算

  • 把执行函数封装到一个函数里面

InnoDB

在这里插入图片描述

  • mysql中每个chunk的大小一般为128M，每个block对应一个page，一个chunk下面有8192个block

  • 避免内存碎片化

  • 分成多个instance，可以有效避免并发冲突

  • hash： page id % instance num 得到它属于哪个instance

  • 通过page id 去找 block
    在这里插入图片描述

LRU算法：把最近最常用的数据保留下来

  • 缺陷：
    扫描100G的表，而我们的buffer pool只有1G，因为扫描全表的数据量大，需要淘汰的缓存页多，导致在淘汰过程中，很有可能把需要的缓存页给淘汰了，新数据是低频的

  • 解决：冷热分离

    • LRU链表分为两部分，一部分冷数据（刚从磁盘读进来的数据），一部分热数据（经常访问的数据）。
    • 从磁盘读取的数据先放到冷数据表的头部，如果它1s后被访问，此页数据移动到热数据表的头部；否则不动
    • 淘汰时，先淘汰冷数据区

Page

  • 一个page大概16Kb左右

在这里插入图片描述

B+树索引

在这里插入图片描述

数据库的回滚 - Undo

在这里插入图片描述

  • undo是逻辑日志，记录的是数据的增量变化，保证事务的原子性和事务并发控制。

    • 可以适用于多版本控制MVCC，解决读写冲突和一致性的问题

  • MVCC的作用：

    • 读写互不阻塞
    • 降低死锁概率
    • 实现一致性读

  • Undo Log 在MVCC的作用

    • 每个事务有一个单增的事务ID
    • DB_ROLL_PTR 将数据行的所有快照记录通过链表的结构串联起来

Sharding - 分库分表

  • 解决大流量问题
  • 业务层进行水平拆分（Hash拆分）
    在这里插入图片描述

流量突增 - 扩容

流量突增 - 代理池

  • 连接太多了，Proxy就相当于连接的缓存
    在这里插入图片描述

高可用 & 稳定性

在这里插入图片描述

  • Binlog ：是mysql用来记录数据结构变更以及表数据修改的二进制日志，只会记录了表的变更操作，但是不会记录select和show这种查询操作
  • 数据恢复： 误删数据之后可以勇敢binilog来恢复数据
  • 主从复制：主库把binlog传给从库，读取binlog然后写数据，就能保证数据一致性
  • 审计：对二进制日志进行分析，判断是否对数据库进行注入功击

列式存储

数据存储要考虑一下问题：

并发处理
建立索引表
行存、列存、行列混合

数据查询：

读多写少
读少写多
分析型查询
点查模式

数据压缩

LZ4： 压缩重复项

  • 向前5个，重复4项
    在这里插入图片描述

Run-length encoding：

  • 重复数据直接压缩
    在这里插入图片描述
    差值encoding：
    在这里插入图片描述

延迟物化

将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以被用来做数据过滤

  • 推迟物化的发生
  • 直接在压缩列上做计算

向量化

SIMD：现代化多核CPU，一条指令执行多条数据（批处理）

用SIMD指令完成的代码设计和执行的逻辑就叫做向量化

在这里插入图片描述

索引表

  • B tree ：数据写入有序，叶子左小右大
  • B + tree： 叶子节点索引维护，key二分查找
  • LSM-tree： Log structrual tree 大吞吐量写入场景的数据结构

SSTable

  1. key顺序存储，成为segment
  2. 单表多个segement
  3. segemnt写入磁盘不可更改，新加的数据只能生成新segement
    在这里插入图片描述

Mentable

  • 在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree
  • 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘

在这里插入图片描述

相关文章：

数据库存储

RAID DSL ： Domain Spesic Language 专用领域语言 单机存储 一切皆Key-Value 本地文件系统 一切皆文件 Ceph - 分布式存储 关系型数据库通用组件 Query Engine ：解析query，生成查询计划Txn Manager ：事务并发管理Lock Man…...

编程日记 2023/2/17 17:40:39

hive学习笔记

一、Hive基本概念1.1 hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据tel up down 1383838438 1345 1567 138383…...

编程日记 2023/2/17 17:39:30

7大体系防作弊，牛客放大招了！严肃笔试客户端上线！

如果问起学生对在线笔试的印象，“不公平”和“不服气”占了半壁江山。学生认为很多企业的在线笔试系统并不完善。原因一，不能有效地规避部分学生的作弊行为；原因二，在线考试系统不稳定，bug频出，导致笔试发挥…...

编程日记 2023/2/17 17:38:23

R语言广义可加模型在空气环境污染方面的应用(1)

粉丝私信我希望复制一篇文章的图片，图片来源于文章：Wu C, Yan Y, Chen X, Gong J, Guo Y, Zhao Y, Yang N, Dai J, Zhang F, Xiang H. Short-term exposure to ambient air pollution and type 2 diabetes mortality: A population-based time series st…...

编程日记 2023/2/17 17:37:14

CSDN 编程竞赛二十九期题解

竞赛总览 CSDN 编程竞赛二十九期&#xff1a;比赛详情 (csdn.net) 竞赛题解 题目1、订班服 小A班级订班服了&#xff01;可是小A是个小糊涂鬼&#xff0c;整错了好多人的衣服的大小。小A只能自己掏钱包来补钱了。小A想知道自己至少需要买多少件衣服。 #include <cstdio…...

编程日记 2023/2/17 17:36:06

基于STM32采用CS创世 SD NAND(贴片SD卡)完成FATFS文件系统移植与测试

一、前言 在STM32项目开发中&#xff0c;经常会用到存储芯片存储数据。 比如&#xff1a;关机时保存机器运行过程中的状态数据&#xff0c;上电再从存储芯片里读取数据恢复&#xff1b;在存储芯片里也会存放很多资源文件。比如&#xff0c;开机音乐&#xff0c;界面上的菜单图…...

编程日记 2023/2/17 17:34:56

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示一、资源说明二、基本参数参数引脚说明三、驱动说明对应程序:四、部分代码说明1、接线引脚定义1.1、STC89C52RCAS608光学指纹模块1.2、STM32F103C8T6AS608光学指纹模块五、基础知识学习与相关资料下载六、视…...

编程日记 2023/2/17 17:33:49

map和set介绍及其底层模拟实现

致努力前行的人&#xff1a; 要努力&#xff0c;但不要着急&#xff0c;繁花锦簇&#xff0c;硕果累累都需要过程&#xff01; 目录 1.关联式容器 2.键值对 3.树形结构的关联式容器 3.1set的介绍 3.2set的使用 3.3multiset的使用 3.4map的使用 3.5multimap的使用 4.常见的面试题…...

编程日记 2023/2/17 17:32:39

实现一个比ant功能更丰富的Modal组件

普通的modal组件如下&#xff1a; 我们写的modal额外支持&#xff0c;后面没有蒙版&#xff0c;并且Modal框能够拖拽 还支持渲染在文档流里&#xff0c;上面的都是fixed布局&#xff0c;我们这个正常渲染到文档下面&#xff1a; render部分 <RenderDialog{...restState}visi…...

编程日记 2023/2/17 17:31:33

2023美赛F题思路数据代码分享

文章目录赛题思路2023年美国大学生数学建模竞赛选题&论文一、关于选题二、关于论文格式三、关于论文提交四、论文提交流程注意不要手滑美赛F题思路数据代码【最新】赛题思路 (赛题出来以后第一时间在CSDN分享) 最新进度在文章最下方卡片&#xff0c;加入获取一手资源 202…...

编程日记 2023/2/17 17:30:25

Flutter如何与Native（Android）进行交互

前言 上一篇文章《Flutter混合开发&#xff1a;Android中如何启动Flutter》中我们介绍了如何在Native&#xff08;Android项目&#xff09;中启动Flutter&#xff0c;展示Flutter页面。但是在开发过程中&#xff0c;很多时候并不是简单的展示一个页面即可&#xff0c;还会涉及…...

编程日记 2023/2/17 17:29:16

数据库主从复制和读写分离

主从数据库和数据库集群的一些问题 数据库集群和主从数据库最本质的区别&#xff0c;其实也就是data-sharing和nothing-sharing的区别。集群是共享存储的。主从复制中没有任何共享。每台机器都是独立且完整的系统。 什么是主从复制? 主从复制&#xff0c;是用来建立一个和主数…...

编程日记 2023/2/17 17:28:10

Java并发编程面试题——线程安全（原子性、可见性、有序性）

文章目录一、原子性高频问题1.1 Java中如何实现线程安全?1.2 CAS底层实现1.3 CAS的常见问题1.4 四种引用类型 ThreadLocal的问题&#xff1f;二、可见性高频问题2.1 Java的内存模型2.2 保证可见性的方式2.3 volatile修饰引用数据类型2.4 有了MESI协议&#xff0c;为啥还有vol…...

编程日记 2023/2/17 17:27:00

DialogFragment内存泄露问题能不能一次性改好

孽缘 自DialogFragment在Android3.0之后作为一种特殊的Fragment引入&#xff0c;官方建议使用DialogFragment代替Dialog或者AllertDialog来实现弹框的功能&#xff0c;因为它可以更好的管理Dialog的生命周期以及可以更好复用。 然而建议虽好&#xff0c;实用须谨慎&#xff0c…...

编程日记 2023/2/17 17:25:51

java学习--多线程

多线程 了解多线程 ​ 多线程是指从软件或者硬件上实现多个线程并发执行的技术。 ​ 具有多线程能力的计算机因有硬件支持而能够在同一时间执行多个线程&#xff0c;提升性能。 并发和并行 并行&#xff1a;在同一时刻&#xff0c;有多个指令在CPU上同时执行并发&#xff1…...

编程日记 2023/2/17 17:24:42

90后阿里P7技术专家晒出工资单：狠补了这个，真香...

最近一哥们跟我聊天装逼&#xff0c;说他最近从阿里跳槽了&#xff0c;我问他跳出来拿了多少&#xff1f;哥们表示很得意&#xff0c;说跳槽到新公司一个月后发了工资&#xff0c;月入5万多&#xff0c;表示很满足&#xff01;这样的高薪资着实让人羡慕&#xff0c;我猜这是税后…...

编程日记 2023/2/17 17:23:36

2023美赛C题：Wordle筛选算法

Wordle 规则介绍 Wordle 每天会更新一个5个字母的单词&#xff0c;在6次尝试中猜出单词就算成功。每个猜测必须是一个有效的单词&#xff08;不能是不能组成单词的字母排列&#xff09;。 每次猜测后&#xff0c;字母块的颜色会改变&#xff0c;颜色含义如下&#xff1a; 程…...

编程日记 2023/2/17 17:21:21

SpringBoot 集成 Kafka

SpringBoot 集成 Kafka1 安装 Kafka2 创建 Topic3 Java 创建 Topic4 SpringBoot 项目4.1 pom.xml4.2 application.yml4.3 KafkaApplication.java4.4 CustomizePartitioner.java4.5 KafkaInitialConfig.java4.6 SendMessageController.java5 测试1 安装 Kafka Docker 安装 Kafk…...

编程日记 2023/2/17 17:20:14

OpenCV 图像金字塔算子

本文是OpenCV图像视觉入门之路的第14篇文章&#xff0c;本文详细的介绍了图像金字塔算子的各种操作&#xff0c;例如&#xff1a;高斯金字塔算子 、拉普拉斯金字塔算子等操作。 高斯金字塔中的较高级别&#xff08;低分辨率&#xff09;是通过先用高斯核对图像进行卷积再删除偶…...

编程日记 2023/2/17 17:19:06

【自学Linux】Linux一切皆文件

Linux一切皆文件 Linux一切皆文件教程 Linux 中所有内容都是以文件的形式保存和管理的&#xff0c;即一切皆文件&#xff0c;普通文件是文件&#xff0c;目录是文件&#xff0c;硬件设备&#xff08;键盘、监视器、硬盘、打印机&#xff09;是文件&#xff0c;就连套接字&…...

编程日记 2023/2/17 17:18:01

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...

编程新知 2025/12/16 3:58:01

循环冗余码校验CRC码 算法步骤+详细实例计算

通信过程&#xff1a;&#xff08;白话解释&#xff09; 我们将原始待发送的消息称为 M M M&#xff0c;依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)&#xff08;意思就是 G &#xff08; x ) G&#xff08;x) G&#xff08;x) 是已知的&#xff09;&#xff0…...

编程新知 2025/12/15 8:24:11

ETLCloud可能遇到的问题有哪些？常见坑位解析

数据集成平台ETLCloud&#xff0c;主要用于支持数据的抽取&#xff08;Extract&#xff09;、转换&#xff08;Transform&#xff09;和加载&#xff08;Load&#xff09;过程。提供了一个简洁直观的界面&#xff0c;以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...

编程新知 2025/12/11 9:43:36

【配置 YOLOX 用于按目录分类的图片数据集】

现在的图标点选越来越多&#xff0c;如何一步解决&#xff0c;采用 YOLOX 目标检测模式则可以轻松解决 要在 YOLOX 中使用按目录分类的图片数据集&#xff08;每个目录代表一个类别&#xff0c;目录下是该类别的所有图片&#xff09;&#xff0c;你需要进行以下配置步骤&#x…...

编程新知 2025/12/16 15:30:27

精益数据分析（97/126）：邮件营销与用户参与度的关键指标优化指南

精益数据分析&#xff08;97/126&#xff09;&#xff1a;邮件营销与用户参与度的关键指标优化指南 在数字化营销时代&#xff0c;邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天&#xff0c;我们将深入解析邮件打开率、网站可用性、页面参与时…...

编程新知 2025/12/13 4:04:33

以光量子为例，详解量子获取方式

光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学&#xff08;silicon photonics&#xff09;的光波导&#xff08;optical waveguide&#xff09;芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中&#xff0c;光既是波又是粒子。光子本…...

编程新知 2025/12/13 17:01:29

C++实现分布式网络通信框架RPC(2)——rpc发布端

有了上篇文章的项目的基本知识的了解&#xff0c;现在我们就开始构建项目。 目录 一、构建工程目录 二、本地服务发布成RPC服务 2.1理解RPC发布 2.2实现 三、Mprpc框架的基础类设计 3.1框架的初始化类 MprpcApplication 代码实现 3.2读取配置文件类 MprpcConfig 代码实现…...

编程新知 2025/12/7 21:38:30

GraphQL 实战篇：Apollo Client 配置与缓存

GraphQL 实战篇&#xff1a;Apollo Client 配置与缓存 上一篇&#xff1a;GraphQL 入门篇&#xff1a;基础查询语法 依旧和上一篇的笔记一样&#xff0c;主实操&#xff0c;没啥过多的细节讲解&#xff0c;代码具体在&#xff1a; https://github.com/GoldenaArcher/graphql…...

编程新知 2025/12/5 23:45:56

数据库——redis

一、Redis 介绍 1. 概述 Redis&#xff08;Remote Dictionary Server&#xff09;是一个开源的、高性能的内存键值数据库系统&#xff0c;具有以下核心特点&#xff1a; 内存存储架构&#xff1a;数据主要存储在内存中&#xff0c;提供微秒级的读写响应 多数据结构支持&…...

编程新知 2025/11/17 12:44:07

Canal环境搭建并实现和ES数据同步

作者&#xff1a;田超凡 日期&#xff1a;2025年6月7日 Canal安装&#xff0c;启动端口11111、8082&#xff1a; 安装canal-deployer服务端&#xff1a; https://github.com/alibaba/canal/releases/1.1.7/canal.deployer-1.1.7.tar.gz cd /opt/homebrew/etc mkdir canal…...

编程新知 2025/12/13 23:45:58