【MySQL 进阶之路】了解 性能优化 与 设计原则
1.B+树的优势
“矮胖”结构:
- 矮:B+树的每个节点存储更多的关键字,从而减少了树的层级(最多三层),减少了磁盘I/O操作,提高了查询效率。
- 胖:叶子节点存储实际的数据,并使用双向链表连接。支持高效的顺序访问和范围查询。
优势:
- 查询性能稳定:
- 在B+树中,所有查询都必须从根节点逐层经过子节点,最终到达叶子节点,保证了查询路径的稳定性。
- 支持范围查询:
- B+树的叶子节点形成了有序的双向链表,使得范围查询非常高效。通过链表的顺序访问,B+树能够快速遍历满足条件的数据,从而大大提高了范围查询的效率。
2.什么是最左前缀原则,为什么要有最左前缀原则?
最左前缀原则(Leftmost Prefix Principle) 是一种在解析和匹配字符串的过程中常用的策略,尤其在某些算法和形式语言理论中非常重要。
递归下降解析:语法解析中,如果有多个规则可以匹配,解析器优先选择第一个(最左边的)规则进行匹配。
正则表达式匹配: 默认会选择最左侧的匹配结果
推理引擎:在一些推理问题中,都按照最左侧路径进行处理。
为什么要有最左前缀原则?
- 优化查询性能:
最左前缀原则能帮助数据库优化查询。当查询条件包含索引的前缀列时,数据库能通过索引快速定位数据,从而避免全表扫描,提高查询效率。如果查询条件没有按照索引列的顺序排列,则数据库无法完全利用该复合索引,可能导致性能下降。 - 提高索引命中率:
索引的顺序决定了查询条件能否高效使用索引。如果查询条件的列顺序不符合复合索引的最左前缀顺序,数据库可能无法使用索引的部分或者全部列,从而影响查询的性能。 - 减少不必要的扫描:
按照最左前缀原则,查询能够在索引的前缀部分直接找到匹配的行,减少对整个数据表的扫描。如果索引列顺序不匹配,可能会导致数据库无法使用索引或只能使用部分索引,增加了不必要的数据扫描。
3.什么是索引覆盖?为什么要有索引覆盖?
索引覆盖(Index Covering)指的是数据库查询时,所有需要的数据都可以从索引中直接获取,而不需要访问表中的实际数据行。也就是说,查询的字段完全由索引提供。
为什么要有索引覆盖?
- 提升查询效率:避免回表操作(不需要访问实际数据行),减少I/O开销,提高查询速度。
- 减少资源消耗:通过索引直接获取数据,减少磁盘和内存的使用,节省系统资源。
- 提高响应速度:特别是在大数据量环境下,覆盖索引能显著减少查询时间,提升系统响应性能。
4.MySQL 中的 AUTO_INCREMENT
是如何工作的?
AUTO_INCREMENT
是 MySQL 中一种用于自动生成唯一值的属性,常用于表中的主键列。每当插入新记录时,MySQL 会自动为该列生成一个递增的唯一整数值。
工作原理:
AUTO_INCREMENT
值从 1 开始递增(默认情况下),每插入一行记录,值就会自动加 1。AUTO_INCREMENT
的值是线程安全的,可以保证在多个用户同时插入数据时,不会产生重复的值。- 可以通过
ALTER TABLE
修改AUTO_INCREMENT
的起始值或步长。 - 在删除记录后,
AUTO_INCREMENT
的值不会自动回收,如果希望重新利用删除的 ID 值,需要手动设置。
5.什么是数据库的范式(Normalization)?为什么需要规范化设计?
数据库范式是对数据库结构进行规范化的过程,目的是减少冗余数据,避免更新异常,保证数据的一致性。常见的范式有以下几种:
- 第一范式(1NF):
关系数据库中的每一列必须包含原子值,即每个字段只能存储一个值,不允许有重复的列或表。 - 第二范式(2NF):
在 1NF 的基础上,要求表中的每个非主键列必须完全依赖于主键,避免部分依赖。主要解决了第一范式中可能存在的冗余数据问题。 - 第三范式(3NF):
在 2NF 的基础上,要求表中不存在非主键字段对其他非主键字段的依赖,即消除传递依赖。 - BCNF(博茨-科德范式):
在 3NF 的基础上,进一步要求每个决定因素都是候选键。 - 第四范式(4NF):
消除多值依赖,确保没有两个以上的独立多值依赖存在。
规范化设计的优点:
- 减少数据冗余:通过拆分表格和避免数据重复,节省存储空间。
- 提高数据一致性:避免数据不一致的情况,减少数据更新异常。
- 优化数据修改:数据修改只需要在一个地方进行,减少数据维护的复杂性。
6. 如何优化数据库查询性能?
优化数据库查询性能可以从多个方面入手,以下是一些常见的优化手段:
- 创建适当的索引:
根据查询的需求,创建索引可以显著提高查询速度,尤其是对于WHERE
子句、JOIN
条件、ORDER BY
等经常使用的列。然而,过多的索引会影响插入、删除和更新操作的性能。 - 避免 SELECT * 查询:
使用SELECT *
会选择所有列,查询性能会受到影响。建议只查询需要的字段。 - 使用查询缓存:
对于重复查询的场景,开启查询缓存(在 MySQL 中是query_cache
)可以减少数据库的负担,返回缓存的查询结果。 - 避免在 WHERE 子句中使用函数:
在WHERE
子句中使用函数(例如LOWER(column)
)会使索引失效,导致全表扫描。尽量避免这种写法。 - 分页查询优化:
对于需要分页的查询,尤其是数据量较大的表,使用LIMIT
和OFFSET
时,可能会导致性能问题。优化分页查询可以考虑使用基于索引的查询(如WHERE id > last_id
)来避免性能下降。 - 合理使用 JOIN 类型:
根据数据表的大小和查询需求,选择合适的JOIN
类型。如果只需要左表中的记录,可以使用LEFT JOIN
,避免不必要的INNER JOIN
。 - 避免 N+1 查询问题:
当需要获取多个表的关联数据时,要避免产生过多的查询。可以使用JOIN
来一次性获取所需数据,避免多次查询带来的性能问题。 - 合理设计数据表:
将数据表拆分成合适的子表,以减少单表的数据量。合理的表结构设计可以显著提高查询和存储效率。 - 使用合适的存储引擎:
MySQL 提供了多种存储引擎,如 InnoDB 和 MyISAM。InnoDB 支持事务、行级锁等特性,适用于大部分场景;而 MyISAM 适用于读取密集型操作。 - 避免锁竞争:
在高并发场景下,锁的竞争可能导致性能瓶颈。可以通过调整事务的隔离级别(如设置为READ COMMITTED
)来减少锁的争用。
相关文章:
【MySQL 进阶之路】了解 性能优化 与 设计原则
1.B树的优势 “矮胖”结构: 矮:B树的每个节点存储更多的关键字,从而减少了树的层级(最多三层),减少了磁盘I/O操作,提高了查询效率。胖:叶子节点存储实际的数据,并使用双…...

MySQL之数据库三大范式
一、什么是范式? 范式是数据库遵循设计时遵循的一种规范,不同的规范要求遵循不同的范式。 (范式是具有最小冗余的表结构) 范式可以 提高数据的一致性和 减少数据冗余和 更新异常的问题 数据库有六种范式(1NF/2NF/3NF…...

[大数据]Hudi
G:\Bigdata\17.hudi\大数据技术之数据湖Hudi 第1章 Hudi概述 1.1 Hudi简介 Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服…...

jenkins harbor安装
Harbor是一个企业级Docker镜像仓库。 文章目录 1. 什么是Docker私有仓库2. Docker有哪些私有仓库3. Harbor简介4. Harbor安装 1. 什么是Docker私有仓库 Docker私有仓库是用于存储和管理Docker镜像的私有存储库。Docker默认会有一个公共的仓库Docker Hub,而与Dock…...
JavaScript 高级特性与 ES6 新特性:正则表达式的深度探索
在现代 JavaScript 开发中,正则表达式(Regular Expressions)和高级特性、ES6 新特性的结合使用,能够极大地提升代码的简洁性、可读性和功能性。本文将深入探讨 JavaScript 中的正则表达式及其在高级特性和 ES6 新特性中的应用&…...

正则表达式——参考视频B站《奇乐编程学院》
智能指针 一、背景🎈1.1. 模式匹配🎈1.2. 文本替换🎈1.3. 数据验证🎈1.4. 信息提取🎈1.5. 拆分字符串🎈1.6. 高级搜索功能 二、原料2.1 参考视频2.2 验证网址 三、用法3.1 限定符3.1.1 ?3.1.2 *3.1.3 3.1.…...

【FFmpeg】FFmpeg 内存结构 ⑥ ( 搭建开发环境 | AVPacket 创建与释放代码分析 | AVPacket 内存使用注意事项 )
文章目录 一、搭建开发环境1、开发环境搭建参考2、项目搭建 二、AVPacket 创建与释放代码分析1、AVPacket 创建与释放代码2、Qt 单步调试方法3、单步调试 - 分析 AVPacket 创建与销毁代码 三、AVPacket 内存使用注意事项1、谨慎使用 av_init_packet 函数2、av_init_packet 函数…...

【多模态文档智能】OCR-free感知多模态大模型技术链路及训练数据细节
目前的一些多模态大模型的工作倾向于使用MLLM进行推理任务,然而,纯OCR任务偏向于模型的感知能力,对于文档场景,由于文字密度较高,现有方法往往通过增加图像token的数量来提升性能。这种策略在增加新的语言时࿰…...
Mybatis动态sql执行过程
动态SQL的执行原理主要涉及到在运行时根据条件动态地生成SQL语句,然后将其发送给数据库执行。以下是动态SQL执行原理的详细解释: 一、接收参数 动态SQL首先会根据用户的输入或系统的条件接收参数。这些参数可以是查询条件、更新数据等,它们…...
leetcode 31 Next Permutation
题意 找到下一个permutation是什么,对于一个数组[1,2,3],下一个排列就是[1, 3, 2] 链接 https://leetcode.com/problems/next-permutation/ 思考 首先任何一个permutation满足一个性质,从某个位置往后一定是降序。…...
每日一练 | 华为 eSight 创建的缺省角色
01 真题题目 下列选项中,不属于华为 eSight 创建的缺省角色的是: A. Administrator B. Monitor C. Operator D. End-User 02 真题答案 D 03 答案解析 华为 eSight 是一款综合性的网络管理平台,提供了多种管理和监控功能。 为了确保不同用…...

PyTorch基本使用-自动微分模块
学习目的:掌握自动微分模块的使用 训练神经网络时,最常用的算法就是反向传播。在该算法中,参数(模型权重)会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度,PyTorch 内置了名为 torch.autogra…...

libevent-Reactor设计模式【1】
一、Libevent概述 1、简介 Libevent 是一个用C语言编写的、轻量级的开源高性能事件通知库,主要有以下几个亮点:事件驱动( event-driven),高性能;轻量级,专注于网络,不如 ACE 那么臃肿庞大&#…...

奇奇怪怪的错误-Tag和space不兼容
报错信息如下: TabError: inconsistent use of tabs and spaces in indentation make: *** [Makefile:24: train] Error 1不能按Tab,要老老实实按space 不过可以在编辑器里面改,把它们调整成一致的;...

29.攻防世界ics-06
ics-06 难度:1 方向:Web 题目描述: 云平台报表中心收集了设备管理基础服务的数据,但是数据被删除了,只有一处留下了入侵者的痕迹。 进入靶场 发现有一处能点动 多了个id1 我其实尝试改过id数,不过没什么变化…...

强化学习路径规划:基于SARSA算法的移动机器人路径规划,可以更改地图大小及起始点,可以自定义障碍物,MATLAB代码
一、SARSA算法概述 SARSA(State-Action-Reward-State-Action)是一种在线强化学习算法,用于解决决策问题,特别是在部分可观测的马尔可夫决策过程(POMDPs)中。SARSA算法的核心思想是通过与环境的交互来学习一…...

【MFC】如何读取rtf文件并进行展示
tf是微软的一个带格式的文件,比word简单,我们可以用写字板等程序打开编辑。下面以具体实例讲解如何在自己程序中展示rtf文件。 首先使用VS2022创建一个MFC的工程。 VIEW类需要选择richview类,用于展示,如下图: 运行效…...

Vulhub:Log4j[漏洞复现]
CVE-2017-5645(Log4j反序列化) 启动靶场环境 docker-compose up -d 靶机IPV4地址 ifconfig | grep eth0 -A 5 ┌──(root㉿kali)-[/home/kali/Desktop/temp] └─# ifconfig | grep eth0 -A 5 eth0: flags4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 in…...

面向预测性维护的TinyML技术栈全面综述
论文标题:A Holistic Review of the TinyML Stack for Predictive Maintenance(面向预测性维护的TinyML技术栈全面综述) 作者信息:Emil Njor, Mohammad Amin Hasanpour, Jan Madsen, Xenofon Fafoutis,均来自丹麦技术…...

沈阳理工大学《2024年811自动控制原理真题》 (完整版)
本文内容,全部选自自动化考研联盟的:《沈阳理工大学811自控考研资料》的真题篇。后续会持续更新更多学校,更多年份的真题,记得关注哦~ 目录 2024年真题 Part1:2024年完整版真题 2024年真题...

19c补丁后oracle属主变化,导致不能识别磁盘组
补丁后服务器重启,数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后,存在与用户组权限相关的问题。具体表现为,Oracle 实例的运行用户(oracle)和集…...

边缘计算医疗风险自查APP开发方案
核心目标:在便携设备(智能手表/家用检测仪)部署轻量化疾病预测模型,实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...

基于Flask实现的医疗保险欺诈识别监测模型
基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施,由雇主和个人按一定比例缴纳保险费,建立社会医疗保险基金,支付雇员医疗费用的一种医疗保险制度, 它是促进社会文明和进步的…...

HTML 列表、表格、表单
1 列表标签 作用:布局内容排列整齐的区域 列表分类:无序列表、有序列表、定义列表。 例如: 1.1 无序列表 标签:ul 嵌套 li,ul是无序列表,li是列表条目。 注意事项: ul 标签里面只能包裹 li…...

页面渲染流程与性能优化
页面渲染流程与性能优化详解(完整版) 一、现代浏览器渲染流程(详细说明) 1. 构建DOM树 浏览器接收到HTML文档后,会逐步解析并构建DOM(Document Object Model)树。具体过程如下: (…...
【算法训练营Day07】字符串part1
文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接:344. 反转字符串 双指针法,两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...

uniapp微信小程序视频实时流+pc端预览方案
方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度WebSocket图片帧定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐RTMP推流TRTC/即构SDK推流❌ 付费方案 (部分有免费额度&#x…...

宇树科技,改名了!
提到国内具身智能和机器人领域的代表企业,那宇树科技(Unitree)必须名列其榜。 最近,宇树科技的一项新变动消息在业界引发了不少关注和讨论,即: 宇树向其合作伙伴发布了一封公司名称变更函称,因…...

R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中,科研绘图是必不可少的,一张好看的图形会是文章很大的加分项。 为了便于使用,本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中,获取方式: R 语言科研绘图模板 --- sciRplothttps://mp.…...
【前端异常】JavaScript错误处理:分析 Uncaught (in promise) error
在前端开发中,JavaScript 异常是不可避免的。随着现代前端应用越来越多地使用异步操作(如 Promise、async/await 等),开发者常常会遇到 Uncaught (in promise) error 错误。这个错误是由于未正确处理 Promise 的拒绝(r…...