当前位置： 首页 > news >正文

数据库存储

news 2026/2/9 6:41:54

RAID

  • DSL ： Domain Spesic Language 专用领域语言
    在这里插入图片描述

单机存储

  • 一切皆Key-Value

本地文件系统

  • 一切皆文件
    在这里插入图片描述

在这里插入图片描述

Ceph - 分布式存储

在这里插入图片描述

关系型数据库通用组件

  • Query Engine ：解析query，生成查询计划
  • Txn Manager ：事务并发管理
  • Lock Manager ：锁相关的策略
  • Storage Manager ：组织内存 / 磁盘数据结构
  • Replication ：主从同步
  • 内存结构： B-Tree 、B±Tree 、LRU List
  • 磁盘数据结构：WriteAheadLog（ReadLog）、Page

在这里插入图片描述

分布式存储之容量问题

在这里插入图片描述

分布式存储之弹性问题

在这里插入图片描述

  • 性价比优化：

在这里插入图片描述

SQL

一条SQL的一生：

在这里插入图片描述

  1. 查询解析 : 将文本解析成结构化数据，即AST
  2. 查询优化： 优化器，根据AST生成最优的执行计划
  3. 查询执行
  4. 事务引擎：处理事务ACID
  5. 存储引擎：内存中的数据缓存文件、日志文件等

SQL引擎 – 规则引擎

词法分析 -> 语法分析 -> 语义分析

在这里插入图片描述

Optimizer

在这里插入图片描述

条件化简 & 表连接优化 & Scan优化

在这里插入图片描述

代价优化

在这里插入图片描述

火山引擎

在这里插入图片描述

梯次链式调用：解耦

一层一层的解析计数，计数返回递归返回
每个算子独立计算，相互之间没有耦合，逻辑结构简单
每一条数据要调用多个函数，CPU开销很大

  • 把Row优化成Batch， 批量计算

  • 把执行函数封装到一个函数里面

InnoDB

在这里插入图片描述

  • mysql中每个chunk的大小一般为128M，每个block对应一个page，一个chunk下面有8192个block

  • 避免内存碎片化

  • 分成多个instance，可以有效避免并发冲突

  • hash： page id % instance num 得到它属于哪个instance

  • 通过page id 去找 block
    在这里插入图片描述

LRU算法：把最近最常用的数据保留下来

  • 缺陷：
    扫描100G的表，而我们的buffer pool只有1G，因为扫描全表的数据量大，需要淘汰的缓存页多，导致在淘汰过程中，很有可能把需要的缓存页给淘汰了，新数据是低频的

  • 解决：冷热分离

    • LRU链表分为两部分，一部分冷数据（刚从磁盘读进来的数据），一部分热数据（经常访问的数据）。
    • 从磁盘读取的数据先放到冷数据表的头部，如果它1s后被访问，此页数据移动到热数据表的头部；否则不动
    • 淘汰时，先淘汰冷数据区

Page

  • 一个page大概16Kb左右

在这里插入图片描述

B+树索引

在这里插入图片描述

数据库的回滚 - Undo

在这里插入图片描述

  • undo是逻辑日志，记录的是数据的增量变化，保证事务的原子性和事务并发控制。

    • 可以适用于多版本控制MVCC，解决读写冲突和一致性的问题

  • MVCC的作用：

    • 读写互不阻塞
    • 降低死锁概率
    • 实现一致性读

  • Undo Log 在MVCC的作用

    • 每个事务有一个单增的事务ID
    • DB_ROLL_PTR 将数据行的所有快照记录通过链表的结构串联起来

Sharding - 分库分表

  • 解决大流量问题
  • 业务层进行水平拆分（Hash拆分）
    在这里插入图片描述

流量突增 - 扩容

流量突增 - 代理池

  • 连接太多了，Proxy就相当于连接的缓存
    在这里插入图片描述

高可用 & 稳定性

在这里插入图片描述

  • Binlog ：是mysql用来记录数据结构变更以及表数据修改的二进制日志，只会记录了表的变更操作，但是不会记录select和show这种查询操作
  • 数据恢复： 误删数据之后可以勇敢binilog来恢复数据
  • 主从复制：主库把binlog传给从库，读取binlog然后写数据，就能保证数据一致性
  • 审计：对二进制日志进行分析，判断是否对数据库进行注入功击

列式存储

数据存储要考虑一下问题：

并发处理
建立索引表
行存、列存、行列混合

数据查询：

读多写少
读少写多
分析型查询
点查模式

数据压缩

LZ4： 压缩重复项

  • 向前5个，重复4项
    在这里插入图片描述

Run-length encoding：

  • 重复数据直接压缩
    在这里插入图片描述
    差值encoding：
    在这里插入图片描述

延迟物化

将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以被用来做数据过滤

  • 推迟物化的发生
  • 直接在压缩列上做计算

向量化

SIMD：现代化多核CPU，一条指令执行多条数据（批处理）

用SIMD指令完成的代码设计和执行的逻辑就叫做向量化

在这里插入图片描述

索引表

  • B tree ：数据写入有序，叶子左小右大
  • B + tree： 叶子节点索引维护，key二分查找
  • LSM-tree： Log structrual tree 大吞吐量写入场景的数据结构

SSTable

  1. key顺序存储，成为segment
  2. 单表多个segement
  3. segemnt写入磁盘不可更改，新加的数据只能生成新segement
    在这里插入图片描述

Mentable

  • 在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree
  • 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘

在这里插入图片描述

相关文章：

数据库存储

RAID DSL ： Domain Spesic Language 专用领域语言 单机存储 一切皆Key-Value 本地文件系统 一切皆文件 Ceph - 分布式存储 关系型数据库通用组件 Query Engine ：解析query，生成查询计划Txn Manager ：事务并发管理Lock Man…...

编程日记 2023/2/17 17:40:39

hive学习笔记

一、Hive基本概念1.1 hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据tel up down 1383838438 1345 1567 138383…...

编程日记 2023/2/17 17:39:30

7大体系防作弊，牛客放大招了！严肃笔试客户端上线！

如果问起学生对在线笔试的印象，“不公平”和“不服气”占了半壁江山。学生认为很多企业的在线笔试系统并不完善。原因一，不能有效地规避部分学生的作弊行为；原因二，在线考试系统不稳定，bug频出，导致笔试发挥…...

编程日记 2023/2/17 17:38:23

R语言广义可加模型在空气环境污染方面的应用(1)

粉丝私信我希望复制一篇文章的图片，图片来源于文章：Wu C, Yan Y, Chen X, Gong J, Guo Y, Zhao Y, Yang N, Dai J, Zhang F, Xiang H. Short-term exposure to ambient air pollution and type 2 diabetes mortality: A population-based time series st…...

编程日记 2023/2/17 17:37:14

CSDN 编程竞赛二十九期题解

竞赛总览 CSDN 编程竞赛二十九期&#xff1a;比赛详情 (csdn.net) 竞赛题解 题目1、订班服 小A班级订班服了&#xff01;可是小A是个小糊涂鬼&#xff0c;整错了好多人的衣服的大小。小A只能自己掏钱包来补钱了。小A想知道自己至少需要买多少件衣服。 #include <cstdio…...

编程日记 2023/2/17 17:36:06

基于STM32采用CS创世 SD NAND(贴片SD卡)完成FATFS文件系统移植与测试

一、前言 在STM32项目开发中&#xff0c;经常会用到存储芯片存储数据。 比如&#xff1a;关机时保存机器运行过程中的状态数据&#xff0c;上电再从存储芯片里读取数据恢复&#xff1b;在存储芯片里也会存放很多资源文件。比如&#xff0c;开机音乐&#xff0c;界面上的菜单图…...

编程日记 2023/2/17 17:34:56

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示一、资源说明二、基本参数参数引脚说明三、驱动说明对应程序:四、部分代码说明1、接线引脚定义1.1、STC89C52RCAS608光学指纹模块1.2、STM32F103C8T6AS608光学指纹模块五、基础知识学习与相关资料下载六、视…...

编程日记 2023/2/17 17:33:49

map和set介绍及其底层模拟实现

致努力前行的人&#xff1a; 要努力&#xff0c;但不要着急&#xff0c;繁花锦簇&#xff0c;硕果累累都需要过程&#xff01; 目录 1.关联式容器 2.键值对 3.树形结构的关联式容器 3.1set的介绍 3.2set的使用 3.3multiset的使用 3.4map的使用 3.5multimap的使用 4.常见的面试题…...

编程日记 2023/2/17 17:32:39

实现一个比ant功能更丰富的Modal组件

普通的modal组件如下&#xff1a; 我们写的modal额外支持&#xff0c;后面没有蒙版&#xff0c;并且Modal框能够拖拽 还支持渲染在文档流里&#xff0c;上面的都是fixed布局&#xff0c;我们这个正常渲染到文档下面&#xff1a; render部分 <RenderDialog{...restState}visi…...

编程日记 2023/2/17 17:31:33

2023美赛F题思路数据代码分享

文章目录赛题思路2023年美国大学生数学建模竞赛选题&论文一、关于选题二、关于论文格式三、关于论文提交四、论文提交流程注意不要手滑美赛F题思路数据代码【最新】赛题思路 (赛题出来以后第一时间在CSDN分享) 最新进度在文章最下方卡片&#xff0c;加入获取一手资源 202…...

编程日记 2023/2/17 17:30:25

Flutter如何与Native（Android）进行交互

前言 上一篇文章《Flutter混合开发&#xff1a;Android中如何启动Flutter》中我们介绍了如何在Native&#xff08;Android项目&#xff09;中启动Flutter&#xff0c;展示Flutter页面。但是在开发过程中&#xff0c;很多时候并不是简单的展示一个页面即可&#xff0c;还会涉及…...

编程日记 2023/2/17 17:29:16

数据库主从复制和读写分离

主从数据库和数据库集群的一些问题 数据库集群和主从数据库最本质的区别&#xff0c;其实也就是data-sharing和nothing-sharing的区别。集群是共享存储的。主从复制中没有任何共享。每台机器都是独立且完整的系统。 什么是主从复制? 主从复制&#xff0c;是用来建立一个和主数…...

编程日记 2023/2/17 17:28:10

Java并发编程面试题——线程安全（原子性、可见性、有序性）

文章目录一、原子性高频问题1.1 Java中如何实现线程安全?1.2 CAS底层实现1.3 CAS的常见问题1.4 四种引用类型 ThreadLocal的问题&#xff1f;二、可见性高频问题2.1 Java的内存模型2.2 保证可见性的方式2.3 volatile修饰引用数据类型2.4 有了MESI协议&#xff0c;为啥还有vol…...

编程日记 2023/2/17 17:27:00

DialogFragment内存泄露问题能不能一次性改好

孽缘 自DialogFragment在Android3.0之后作为一种特殊的Fragment引入&#xff0c;官方建议使用DialogFragment代替Dialog或者AllertDialog来实现弹框的功能&#xff0c;因为它可以更好的管理Dialog的生命周期以及可以更好复用。 然而建议虽好&#xff0c;实用须谨慎&#xff0c…...

编程日记 2023/2/17 17:25:51

java学习--多线程

多线程 了解多线程 ​ 多线程是指从软件或者硬件上实现多个线程并发执行的技术。 ​ 具有多线程能力的计算机因有硬件支持而能够在同一时间执行多个线程&#xff0c;提升性能。 并发和并行 并行&#xff1a;在同一时刻&#xff0c;有多个指令在CPU上同时执行并发&#xff1…...

编程日记 2023/2/17 17:24:42

90后阿里P7技术专家晒出工资单：狠补了这个，真香...

最近一哥们跟我聊天装逼&#xff0c;说他最近从阿里跳槽了&#xff0c;我问他跳出来拿了多少&#xff1f;哥们表示很得意&#xff0c;说跳槽到新公司一个月后发了工资&#xff0c;月入5万多&#xff0c;表示很满足&#xff01;这样的高薪资着实让人羡慕&#xff0c;我猜这是税后…...

编程日记 2023/2/17 17:23:36

2023美赛C题：Wordle筛选算法

Wordle 规则介绍 Wordle 每天会更新一个5个字母的单词&#xff0c;在6次尝试中猜出单词就算成功。每个猜测必须是一个有效的单词&#xff08;不能是不能组成单词的字母排列&#xff09;。 每次猜测后&#xff0c;字母块的颜色会改变&#xff0c;颜色含义如下&#xff1a; 程…...

编程日记 2023/2/17 17:21:21

SpringBoot 集成 Kafka

SpringBoot 集成 Kafka1 安装 Kafka2 创建 Topic3 Java 创建 Topic4 SpringBoot 项目4.1 pom.xml4.2 application.yml4.3 KafkaApplication.java4.4 CustomizePartitioner.java4.5 KafkaInitialConfig.java4.6 SendMessageController.java5 测试1 安装 Kafka Docker 安装 Kafk…...

编程日记 2023/2/17 17:20:14

OpenCV 图像金字塔算子

本文是OpenCV图像视觉入门之路的第14篇文章&#xff0c;本文详细的介绍了图像金字塔算子的各种操作&#xff0c;例如&#xff1a;高斯金字塔算子 、拉普拉斯金字塔算子等操作。 高斯金字塔中的较高级别&#xff08;低分辨率&#xff09;是通过先用高斯核对图像进行卷积再删除偶…...

编程日记 2023/2/17 17:19:06

【自学Linux】Linux一切皆文件

Linux一切皆文件 Linux一切皆文件教程 Linux 中所有内容都是以文件的形式保存和管理的&#xff0c;即一切皆文件&#xff0c;普通文件是文件&#xff0c;目录是文件&#xff0c;硬件设备&#xff08;键盘、监视器、硬盘、打印机&#xff09;是文件&#xff0c;就连套接字&…...

编程日记 2023/2/17 17:18:01

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...

编程新知 2026/2/8 15:03:04

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

编程新知 2025/10/16 13:22:06

简易版抽奖活动的设计技术方案

1.前言 本技术方案旨在设计一套完整且可靠的抽奖活动逻辑，确保抽奖活动能够公平、公正、公开地进行，同时满足高并发访问、数据安全存储与高效处理等需求，为用户提供流畅的抽奖体验，助力业务顺利开展。本方案将涵盖抽奖活动的整体架构设计、核心流程逻辑、关键功能实现以及…...

编程新知 2026/2/7 17:41:40

Mac软件卸载指南，简单易懂！

刚和Adobe分手&#xff0c;它却总在Library里给你写"回忆录"&#xff1f;卸载的Final Cut Pro像电子幽灵般阴魂不散&#xff1f;总是会有残留文件&#xff0c;别慌&#xff01;这份Mac软件卸载指南&#xff0c;将用最硬核的方式教你"数字分手术"&#xff0…...

编程新知 2026/2/7 0:48:56

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2026/1/29 5:29:57

全志A40i android7.1 调试信息打印串口由uart0改为uart3

一&#xff0c;概述 1. 目的 将调试信息打印串口由uart0改为uart3。 2. 版本信息 Uboot版本&#xff1a;2014.07&#xff1b; Kernel版本&#xff1a;Linux-3.10&#xff1b; 二&#xff0c;Uboot 1. sys_config.fex改动 使能uart3(TX:PH00 RX:PH01)&#xff0c;并让boo…...

编程新知 2026/2/5 6:28:09

【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统

目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索&#xff08;基于物理空间 广播范围&#xff09;2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...

编程新知 2025/12/12 6:01:17

【Go语言基础【13】】函数、闭包、方法

文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数&#xff08;函数作为参数、返回值&#xff09; 三、匿名函数与闭包1. 匿名函数&#xff08;Lambda函…...

编程新知 2025/12/8 19:02:25

iview框架主题色的应用

1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题&#xff0c;无需引入&#xff0c;直接可…...

编程新知 2026/1/31 9:29:45

在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能

1. 开发环境准备 ​​安装DevEco Studio 3.1​​&#xff1a; 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK ​​项目配置​​&#xff1a; // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...

编程新知 2025/12/29 15:43:26