当前位置： 首页 > news >正文

数据库存储

news 2026/2/9 3:03:31

RAID

  • DSL ： Domain Spesic Language 专用领域语言
    在这里插入图片描述

单机存储

  • 一切皆Key-Value

本地文件系统

  • 一切皆文件
    在这里插入图片描述

在这里插入图片描述

Ceph - 分布式存储

在这里插入图片描述

关系型数据库通用组件

  • Query Engine ：解析query，生成查询计划
  • Txn Manager ：事务并发管理
  • Lock Manager ：锁相关的策略
  • Storage Manager ：组织内存 / 磁盘数据结构
  • Replication ：主从同步
  • 内存结构： B-Tree 、B±Tree 、LRU List
  • 磁盘数据结构：WriteAheadLog（ReadLog）、Page

在这里插入图片描述

分布式存储之容量问题

在这里插入图片描述

分布式存储之弹性问题

在这里插入图片描述

  • 性价比优化：

在这里插入图片描述

SQL

一条SQL的一生：

在这里插入图片描述

  1. 查询解析 : 将文本解析成结构化数据，即AST
  2. 查询优化： 优化器，根据AST生成最优的执行计划
  3. 查询执行
  4. 事务引擎：处理事务ACID
  5. 存储引擎：内存中的数据缓存文件、日志文件等

SQL引擎 – 规则引擎

词法分析 -> 语法分析 -> 语义分析

在这里插入图片描述

Optimizer

在这里插入图片描述

条件化简 & 表连接优化 & Scan优化

在这里插入图片描述

代价优化

在这里插入图片描述

火山引擎

在这里插入图片描述

梯次链式调用：解耦

一层一层的解析计数，计数返回递归返回
每个算子独立计算，相互之间没有耦合，逻辑结构简单
每一条数据要调用多个函数，CPU开销很大

  • 把Row优化成Batch， 批量计算

  • 把执行函数封装到一个函数里面

InnoDB

在这里插入图片描述

  • mysql中每个chunk的大小一般为128M，每个block对应一个page，一个chunk下面有8192个block

  • 避免内存碎片化

  • 分成多个instance，可以有效避免并发冲突

  • hash： page id % instance num 得到它属于哪个instance

  • 通过page id 去找 block
    在这里插入图片描述

LRU算法：把最近最常用的数据保留下来

  • 缺陷：
    扫描100G的表，而我们的buffer pool只有1G，因为扫描全表的数据量大，需要淘汰的缓存页多，导致在淘汰过程中，很有可能把需要的缓存页给淘汰了，新数据是低频的

  • 解决：冷热分离

    • LRU链表分为两部分，一部分冷数据（刚从磁盘读进来的数据），一部分热数据（经常访问的数据）。
    • 从磁盘读取的数据先放到冷数据表的头部，如果它1s后被访问，此页数据移动到热数据表的头部；否则不动
    • 淘汰时，先淘汰冷数据区

Page

  • 一个page大概16Kb左右

在这里插入图片描述

B+树索引

在这里插入图片描述

数据库的回滚 - Undo

在这里插入图片描述

  • undo是逻辑日志，记录的是数据的增量变化，保证事务的原子性和事务并发控制。

    • 可以适用于多版本控制MVCC，解决读写冲突和一致性的问题

  • MVCC的作用：

    • 读写互不阻塞
    • 降低死锁概率
    • 实现一致性读

  • Undo Log 在MVCC的作用

    • 每个事务有一个单增的事务ID
    • DB_ROLL_PTR 将数据行的所有快照记录通过链表的结构串联起来

Sharding - 分库分表

  • 解决大流量问题
  • 业务层进行水平拆分（Hash拆分）
    在这里插入图片描述

流量突增 - 扩容

流量突增 - 代理池

  • 连接太多了，Proxy就相当于连接的缓存
    在这里插入图片描述

高可用 & 稳定性

在这里插入图片描述

  • Binlog ：是mysql用来记录数据结构变更以及表数据修改的二进制日志，只会记录了表的变更操作，但是不会记录select和show这种查询操作
  • 数据恢复： 误删数据之后可以勇敢binilog来恢复数据
  • 主从复制：主库把binlog传给从库，读取binlog然后写数据，就能保证数据一致性
  • 审计：对二进制日志进行分析，判断是否对数据库进行注入功击

列式存储

数据存储要考虑一下问题：

并发处理
建立索引表
行存、列存、行列混合

数据查询：

读多写少
读少写多
分析型查询
点查模式

数据压缩

LZ4： 压缩重复项

  • 向前5个，重复4项
    在这里插入图片描述

Run-length encoding：

  • 重复数据直接压缩
    在这里插入图片描述
    差值encoding：
    在这里插入图片描述

延迟物化

将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以被用来做数据过滤

  • 推迟物化的发生
  • 直接在压缩列上做计算

向量化

SIMD：现代化多核CPU，一条指令执行多条数据（批处理）

用SIMD指令完成的代码设计和执行的逻辑就叫做向量化

在这里插入图片描述

索引表

  • B tree ：数据写入有序，叶子左小右大
  • B + tree： 叶子节点索引维护，key二分查找
  • LSM-tree： Log structrual tree 大吞吐量写入场景的数据结构

SSTable

  1. key顺序存储，成为segment
  2. 单表多个segement
  3. segemnt写入磁盘不可更改，新加的数据只能生成新segement
    在这里插入图片描述

Mentable

  • 在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree
  • 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘

在这里插入图片描述

相关文章：

数据库存储

RAID DSL ： Domain Spesic Language 专用领域语言 单机存储 一切皆Key-Value 本地文件系统 一切皆文件 Ceph - 分布式存储 关系型数据库通用组件 Query Engine ：解析query，生成查询计划Txn Manager ：事务并发管理Lock Man…...

编程日记 2023/2/17 17:40:39

hive学习笔记

一、Hive基本概念1.1 hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据tel up down 1383838438 1345 1567 138383…...

编程日记 2023/2/17 17:39:30

7大体系防作弊，牛客放大招了！严肃笔试客户端上线！

如果问起学生对在线笔试的印象，“不公平”和“不服气”占了半壁江山。学生认为很多企业的在线笔试系统并不完善。原因一，不能有效地规避部分学生的作弊行为；原因二，在线考试系统不稳定，bug频出，导致笔试发挥…...

编程日记 2023/2/17 17:38:23

R语言广义可加模型在空气环境污染方面的应用(1)

粉丝私信我希望复制一篇文章的图片，图片来源于文章：Wu C, Yan Y, Chen X, Gong J, Guo Y, Zhao Y, Yang N, Dai J, Zhang F, Xiang H. Short-term exposure to ambient air pollution and type 2 diabetes mortality: A population-based time series st…...

编程日记 2023/2/17 17:37:14

CSDN 编程竞赛二十九期题解

竞赛总览 CSDN 编程竞赛二十九期&#xff1a;比赛详情 (csdn.net) 竞赛题解 题目1、订班服 小A班级订班服了&#xff01;可是小A是个小糊涂鬼&#xff0c;整错了好多人的衣服的大小。小A只能自己掏钱包来补钱了。小A想知道自己至少需要买多少件衣服。 #include <cstdio…...

编程日记 2023/2/17 17:36:06

基于STM32采用CS创世 SD NAND(贴片SD卡)完成FATFS文件系统移植与测试

一、前言 在STM32项目开发中&#xff0c;经常会用到存储芯片存储数据。 比如&#xff1a;关机时保存机器运行过程中的状态数据&#xff0c;上电再从存储芯片里读取数据恢复&#xff1b;在存储芯片里也会存放很多资源文件。比如&#xff0c;开机音乐&#xff0c;界面上的菜单图…...

编程日记 2023/2/17 17:34:56

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示

K_A12_007 基于STM32等单片机驱动AS608光学指纹识别模块 OLED0.96显示一、资源说明二、基本参数参数引脚说明三、驱动说明对应程序:四、部分代码说明1、接线引脚定义1.1、STC89C52RCAS608光学指纹模块1.2、STM32F103C8T6AS608光学指纹模块五、基础知识学习与相关资料下载六、视…...

编程日记 2023/2/17 17:33:49

map和set介绍及其底层模拟实现

致努力前行的人&#xff1a; 要努力&#xff0c;但不要着急&#xff0c;繁花锦簇&#xff0c;硕果累累都需要过程&#xff01; 目录 1.关联式容器 2.键值对 3.树形结构的关联式容器 3.1set的介绍 3.2set的使用 3.3multiset的使用 3.4map的使用 3.5multimap的使用 4.常见的面试题…...

编程日记 2023/2/17 17:32:39

实现一个比ant功能更丰富的Modal组件

普通的modal组件如下&#xff1a; 我们写的modal额外支持&#xff0c;后面没有蒙版&#xff0c;并且Modal框能够拖拽 还支持渲染在文档流里&#xff0c;上面的都是fixed布局&#xff0c;我们这个正常渲染到文档下面&#xff1a; render部分 <RenderDialog{...restState}visi…...

编程日记 2023/2/17 17:31:33

2023美赛F题思路数据代码分享

文章目录赛题思路2023年美国大学生数学建模竞赛选题&论文一、关于选题二、关于论文格式三、关于论文提交四、论文提交流程注意不要手滑美赛F题思路数据代码【最新】赛题思路 (赛题出来以后第一时间在CSDN分享) 最新进度在文章最下方卡片&#xff0c;加入获取一手资源 202…...

编程日记 2023/2/17 17:30:25

Flutter如何与Native（Android）进行交互

前言 上一篇文章《Flutter混合开发&#xff1a;Android中如何启动Flutter》中我们介绍了如何在Native&#xff08;Android项目&#xff09;中启动Flutter&#xff0c;展示Flutter页面。但是在开发过程中&#xff0c;很多时候并不是简单的展示一个页面即可&#xff0c;还会涉及…...

编程日记 2023/2/17 17:29:16

数据库主从复制和读写分离

主从数据库和数据库集群的一些问题 数据库集群和主从数据库最本质的区别&#xff0c;其实也就是data-sharing和nothing-sharing的区别。集群是共享存储的。主从复制中没有任何共享。每台机器都是独立且完整的系统。 什么是主从复制? 主从复制&#xff0c;是用来建立一个和主数…...

编程日记 2023/2/17 17:28:10

Java并发编程面试题——线程安全（原子性、可见性、有序性）

文章目录一、原子性高频问题1.1 Java中如何实现线程安全?1.2 CAS底层实现1.3 CAS的常见问题1.4 四种引用类型 ThreadLocal的问题&#xff1f;二、可见性高频问题2.1 Java的内存模型2.2 保证可见性的方式2.3 volatile修饰引用数据类型2.4 有了MESI协议&#xff0c;为啥还有vol…...

编程日记 2023/2/17 17:27:00

DialogFragment内存泄露问题能不能一次性改好

孽缘 自DialogFragment在Android3.0之后作为一种特殊的Fragment引入&#xff0c;官方建议使用DialogFragment代替Dialog或者AllertDialog来实现弹框的功能&#xff0c;因为它可以更好的管理Dialog的生命周期以及可以更好复用。 然而建议虽好&#xff0c;实用须谨慎&#xff0c…...

编程日记 2023/2/17 17:25:51

java学习--多线程

多线程 了解多线程 ​ 多线程是指从软件或者硬件上实现多个线程并发执行的技术。 ​ 具有多线程能力的计算机因有硬件支持而能够在同一时间执行多个线程&#xff0c;提升性能。 并发和并行 并行&#xff1a;在同一时刻&#xff0c;有多个指令在CPU上同时执行并发&#xff1…...

编程日记 2023/2/17 17:24:42

90后阿里P7技术专家晒出工资单：狠补了这个，真香...

最近一哥们跟我聊天装逼&#xff0c;说他最近从阿里跳槽了&#xff0c;我问他跳出来拿了多少&#xff1f;哥们表示很得意&#xff0c;说跳槽到新公司一个月后发了工资&#xff0c;月入5万多&#xff0c;表示很满足&#xff01;这样的高薪资着实让人羡慕&#xff0c;我猜这是税后…...

编程日记 2023/2/17 17:23:36

2023美赛C题：Wordle筛选算法

Wordle 规则介绍 Wordle 每天会更新一个5个字母的单词&#xff0c;在6次尝试中猜出单词就算成功。每个猜测必须是一个有效的单词&#xff08;不能是不能组成单词的字母排列&#xff09;。 每次猜测后&#xff0c;字母块的颜色会改变&#xff0c;颜色含义如下&#xff1a; 程…...

编程日记 2023/2/17 17:21:21

SpringBoot 集成 Kafka

SpringBoot 集成 Kafka1 安装 Kafka2 创建 Topic3 Java 创建 Topic4 SpringBoot 项目4.1 pom.xml4.2 application.yml4.3 KafkaApplication.java4.4 CustomizePartitioner.java4.5 KafkaInitialConfig.java4.6 SendMessageController.java5 测试1 安装 Kafka Docker 安装 Kafk…...

编程日记 2023/2/17 17:20:14

OpenCV 图像金字塔算子

本文是OpenCV图像视觉入门之路的第14篇文章&#xff0c;本文详细的介绍了图像金字塔算子的各种操作&#xff0c;例如&#xff1a;高斯金字塔算子 、拉普拉斯金字塔算子等操作。 高斯金字塔中的较高级别&#xff08;低分辨率&#xff09;是通过先用高斯核对图像进行卷积再删除偶…...

编程日记 2023/2/17 17:19:06

【自学Linux】Linux一切皆文件

Linux一切皆文件 Linux一切皆文件教程 Linux 中所有内容都是以文件的形式保存和管理的&#xff0c;即一切皆文件&#xff0c;普通文件是文件&#xff0c;目录是文件&#xff0c;硬件设备&#xff08;键盘、监视器、硬盘、打印机&#xff09;是文件&#xff0c;就连套接字&…...

编程日记 2023/2/17 17:18:01

centos 7 部署awstats 网站访问检测

一、基础环境准备&#xff08;两种安装方式都要做&#xff09; bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2026/1/23 8:33:56

YSYX学习记录（八）

C语言&#xff0c;练习0&#xff1a; 先创建一个文件夹&#xff0c;我用的是物理机&#xff1a; 安装build-essential 练习1&#xff1a; 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件&#xff0c;随机修改或删除一部分&#xff0c;之后…...

编程新知 2026/1/24 14:31:01

STM32F4基本定时器使用和原理详解

STM32F4基本定时器使用和原理详解 前言如何确定定时器挂载在哪条时钟线上配置及使用方法参数配置PrescalerCounter ModeCounter Periodauto-reload preloadTrigger Event Selection 中断配置生成的代码及使用方法初始化代码基本定时器触发DCA或者ADC的代码讲解中断代码定时启动…...

编程新知 2026/1/26 21:56:38

基于Uniapp开发HarmonyOS 5.0旅游应用技术实践

一、技术选型背景 1.跨平台优势 Uniapp采用Vue.js框架&#xff0c;支持"一次开发&#xff0c;多端部署"&#xff0c;可同步生成HarmonyOS、iOS、Android等多平台应用。 2.鸿蒙特性融合 HarmonyOS 5.0的分布式能力与原子化服务&#xff0c;为旅游应用带来&#xf…...

编程新知 2026/2/5 20:33:43

ardupilot 开发环境eclipse 中import 缺少C++

目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++，无法导入ardupilot代码，会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...

编程新知 2026/1/31 5:06:34

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具&#xff0c;可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板&#xff0c;允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板&#xff0c;并通…...

编程新知 2026/2/6 1:00:25

Java线上CPU飙高问题排查全指南

一、引言 在Java应用的线上运行环境中&#xff0c;CPU飙高是一个常见且棘手的性能问题。当系统出现CPU飙高时&#xff0c;通常会导致应用响应缓慢&#xff0c;甚至服务不可用&#xff0c;严重影响用户体验和业务运行。因此&#xff0c;掌握一套科学有效的CPU飙高问题排查方法&…...

编程新知 2025/11/2 5:30:15

推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)

推荐 github 项目:GeminiImageApp(图片生成方向&#xff0c;可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...

编程新知 2026/1/25 10:41:07

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2026/2/4 15:42:45

NPOI操作EXCEL文件 ——CAD C# 二次开发

缺点:dll.版本容易加载错误。CAD加载插件时&#xff0c;没有加载所有类库。插件运行过程中用到某个类库&#xff0c;会从CAD的安装目录找&#xff0c;找不到就报错了。 【方案2】让CAD在加载过程中把类库加载到内存 【方案3】是发现缺少了哪个库&#xff0c;就用插件程序加载进…...

编程新知 2026/1/26 13:35:42