当前位置: 首页 > article >正文

Mysql篇-优化

Mysql篇主要是纯理论的面试问题与技巧。

主要从以下进行开展:

 索引相关问题:

1、Mysql如何定位慢查询?

Mysql慢查询:某个业务查询数据响应时间过长或者与预期响应时间相差大。

表象:页面加载过慢、接口压测响应时间过长(超过1s)

往往在以下查询中会出现:

  • 聚合查询
  • 多表查询
  • 表数据量过大查询
  • 深度分页查询

定位方式1:使用开源工具进行定位

调试工具:

  • Arthas

运维工具:

  • Prometheus
  • Skywalking

 Skywalking工具

 Skywalking工具--追踪功能

定位方式2:MySQL自带慢日志

慢查询日志记录了所有执行时间超过指定参数(long_query time,单位:秒,默认10秒)的所有SQL语句的日志

如果要开启慢查询日志,需要在MySQL的配置文件(/etc/my.cnf)中配置如下信息:

 配置完毕之后,通过以下指令重新启动MySQL服务器进行测试,查看慢日志文件中记录的信息/var/lib/mysql/localhost-slow.log.

 2、SQL语句执行很慢,如何分析?

往往在以下查询中会出现:

  • 聚合查询
  • 多表查询
  • 表数据量过大查询
  • 深度分页查询

  前面三种【聚合查询、多表查询、表数据量过大查询】可以通过SQL执行计划查找查询慢的原因

 具体操作:可以采用 EXPLAIN 或者 DESC 命令获取 MySQL如何执行 SELECT 语句的信息。如

EXPLAIN 
SELECT * FROM asset_brand;

 执行计划中关键字段

  • possible key: 当前sql可能会使用到的索引
  • key: 当前sql实际命中的索引
  • key_len: 索引占用的大小
  • Extra: 额外的优化建议

  • type: 这条sql的连接的类型性能由好到差为【NULL---ALL性能依次变差
    • NULL:查询时没使用表
    • SYSTEM:查询系统中的表
    • CONST:根据主键查询
    • EQ_REF:主键索引查询或唯一索引查询
    • REF:索引查询
    • RANGE:范围查询
    • INDEX:索引树扫描【效率低】
    • ALL:全盘扫描【效率最低】

注意:当SQL的索引类型为INDEX或者ALL的时候,则说明这条SQL需要优化了。

回到问题:那这个SQL语句执行很慢,如何分析呢?

可以采用MySQL自带的分析工具 EXPLAIN

  • 通过key和key_len检查是否命中了索引(索引本身存在是否有失效的情况)
  • 通过type字段查看sql是否有进一步的优化空间,是否存在全索引扫描或全盘扫描
  • 通过extra建议判断,是否出现了回表的情况,如果出现了,可以尝试添加索引或修改返回字段来修复

3、了解过索引吗?什么是索引?

索引(index)是帮助MSOL高效获取数据的数据结构(有序)。
在数据之外,数据库系统还维护着满足特定査找算法的数据结构(B+树),这些数据结构以某种方式引用(指向)数据。
这样就可以在这些数据结构上实现高级查找算法这种数据结构就是索引。

衍生问题:索引的底层数据结构了解过嘛?

MySQL的InnoDB引擎采用的B+树的数据结构来存储索引

  • 阶数更多,路径更短
  • 磁盘读写代价B+树更低,非叶子节点只存储指针,叶子阶段存储数据
  • B+树便于扫库和区间查询,叶子节点是一个双向链表

衍生问题:为什么使用B+树而不使用别的数据结构?

B+Tree是在BTree基础上的一种优化,使其更适合实现外存储索引结构,InnoDB存储引擎就是用B+Tree实现其索引结构。

B树与B+树对比【B+树只有在叶子节点存数据,其他节点存的是数据的指针,所以查询效率高】

  • 磁盘读写代价B+树更低
  • 查询效率B+树更加稳定
  • B+树便于扫库和区间查询

4、什么是聚簇索引【聚集索引】与非聚簇索引【二级索引】?

聚簇索引(聚集索引):数据与索引放到一块,B+树的叶子节点保存了整行数据,有且只有一个非聚非聚簇索引(二级索引):数据与索引分开存储,B+树的叶子节点保存对应的主键,可以有多个

聚簇索引【聚集索引】选取规则::

  • 如果存在主键、主键索引就是聚集索引。
  • 如果不存在主键,将使用第一个唯一(UNIQUE)索引作为聚集索引。
  • 如果表没有主键或没合适的唯一索引,则InnoDB会自动生成一个rowid作为隐藏的聚集索引。

非聚簇索引【二级索引】:即我们自己给表中加的索引。

例如:

ALTER TABLE table_name[表名] ADD INDEX index_name[索引名称] (column_name)[表字段];


什么是回表?

通过二级索引找到对应的主键值,到聚集索引中查找整行数据,这个过程就是回表。

5、什么是覆盖索引?

覆盖索引是指查询使用了索引,并且需要返回的列,在该索引中已经全部能够找到。

  • 使用id查询,直接走聚集索引查询,一次索引扫描,直接返回数据,性能高。
  • 如果返回的列中没有创建索引,有可能会触发回表查询,尽量避免使用select

衍生问题:Mysql超大分页什么处理?

在数据量比较大时,如果进行limit分页查询,在查询时,越往后,分页查询效率越低。

解决方案:覆盖索引+子查询

因为,当在进行分页查询时,如果执行 limit 9000000,10,此时需要MySQL排序前9000010 记录,仅仅返回9000000-9000010 的记录,其他记录丢弃,查询排序的代价非常大。

优化思路:一般分页查询时,通过创建覆盖索引能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。

 6、索引的创建原则有哪些?

  • 1).数据量较大,且查询比较频繁的表【重要】
  • 2).常作为查询条件(where)、排序(order by)、分组(group by)的字段【重要】
  • 3).字段内容区分度高
  • 4).内容较长,使用前缀索引
  • 5).尽量联合索引【重要】
  • 6).要控制索引的数量【重要】
  • 7).如果索引列不能存储NULL值,请在创建表时使用NOT NULL约束它

7、什么情况下索引会失效?

查看失效的方式有:使用EXPLIAN执行计划来分析,一般有一下几种情况:

  • 违反最左前缀法则
  • 范围查询右边的列,不能使用索引
  • 不要在索引列上进行运算操作,索引将失效
  • 字符串不加单引号,造成索引失效。(类型转换)
  • 以%开头的Like模糊查询,索引失效

8、SQL优化经验

表的设计优化(参考阿里开发手册《嵩山版》)            

  • 比如设置合适的数值(tinyint、int、bigint)
  • 比如设置合适的字符串类型(char和varchar)char定长效率高,varchar可变长度效率低,text等

索引优化:参考第6点索引的创建原则

SQL语句优化

  • SELECT语句务必指明字段名称(避免直接使用select*)
  • SQL语句要避免造成索引失效的写法
  • 尽量用union all代替union union会多一次过滤,效率低
  • 避免在where子旬中对字段进行表达式操作
  • Join优化 能用innerjoin 就不用left join right join,如必须使用 一定要以小表为驱动内连接会对两个表进行优化,优先把小表放到外边,把大表放到里边。left join 或right join,不会重新调整顺序

主从复制、读写分离
如果数据库的使用场景读的操作比较多的时候,为了避免写的操作所造成的性能影响 可以采用读写分离的架构。读写分离解决的是,数据库的写入,影响了查询的效率。

分库分表 

分库分表(Database Sharding)是指将一个大的数据库拆分成多个小的数据库或数据表,以提高数据库的性能、扩展性和管理性。分库分表通常用于处理大数据量、访问量高的应用场景。决定分库分表的依据通常有以下几个方面:

相关文章:

Mysql篇-优化

Mysql篇主要是纯理论的面试问题与技巧。 主要从以下进行开展: 索引相关问题: 1、Mysql如何定位慢查询? Mysql慢查询:某个业务查询数据响应时间过长或者与预期响应时间相差大。 表象:页面加载过慢、接口压测响应时间…...

Java 集合框架核心知识点全解析:从入门到高频面试题(含 JDK 源码剖析)

一、Java 集合框架体系架构 Java 集合框架分为两大分支: Collection接口:存储单个元素,包括: List:有序、可重复(如ArrayList、LinkedList)Set:无序、唯一(如HashSet、…...

一文详解生成式 AI:李宏毅《生成式 AI 导论》学习笔记

生成式 AI 是怎么回事 人工智能(Artificial Intelligence) “智能”是一个广泛而复杂的概念,其定义和应用范围随着技术、科学和社会的发展不断演变。在当前的语境下,“智能”通常与人工智能(AI)相关联&am…...

什么是物联网 (IoT):2024 年物联网概述

物联网(IoT)是一个有望彻底改变我们生活、工作以及与环境互动方式的概念。如今,越来越多的新兴企业和老牌企业都在利用物联网的力量创造创新产品与服务。正因为这一转变,互联互通已成为我们生活中不可或缺的一部分,科技…...

8级-数组

前情回顾:在7级的时候,我们学习了如何定义、使用函数 目录 概念 什么是数组? 一维数组 声明 初始化 访问元素 计算数组长度 二维数组 声明 初始化 访问元素 思考 一维数组在内存中如何存储? 二维数组在内存中如何存储&…...

大模型 Agent 就是文字艺术吗?

最近在技术圈里有一个很有趣的争论:大模型 Agent 是不是就是各种 Prompt 的堆叠?像 Manus 这样看起来很智能的 Agent,本质上是不是就是用巧妙的 Prompt 约束大模型生成更好的输出?换句话说,这是不是一门文字艺术&#…...

YOLOv8检测头代码详解(示例展示数据变换过程)

本文旨在通过实例数据,详细解读YOLOv8检测头的网络结构及其代码实现。首先将从检测头的网络架构开始讲解,涵盖代码与网络结构图的对比分析。关键在于深入探讨检测头的输出结果,因为这些输出将直接用于损失函数的计算。由于在不同阶段&#xf…...

JUC并发编程1

什么是juc 在java的java.util.concurrent包下的工具。 锁 传统的synchronize public class SealTicket {int total 50;public synchronized void seal() {if (total > 0) {System.out.println(Thread.currentThread().getName() "卖出第" (total--) "张…...

消息队列RabbitMQ与AMQP协议详解

消息队列RabbitMQ与AMQP协议详解 什么是RabbitMQ RabbitMQ是一个开源的消息队列中间件,基于AMQP(Advanced Message Queuing Protocol)协议实现。它作为一个消息代理(Message Broker),可以接收、存储和转发…...

Day 29 训练

Day 29 训练 Day 29:Python 类装饰器的奥秘与实践一、类装饰器:函数装饰器的升级版二、类装饰器 VS 函数装饰器:核心区别三、实战:为类添加日志功能四、类方法定义的两种风格1. 类内部定义方法(常规方式)2.…...

STM32开发环境配置——VSCode+PlatformIO + CubeMX + FreeRTOS的集成环境配置

前言 为什么配置这样的一个环境呢?鄙人受够了Keil5那个简陋的工作环境了,实在是用不下去,调试上很容易跟CubeMX的代码产生不协调导致调试——发布代码不一致造成的一系列问题。CubeIDE虽说不错,但是它的代码辅助功能和构建系统实在…...

Profibus转Profinet网关赋能鼓式硫化机:智能化生产升级的关键突破

在现代工业自动化领域,通讯协议转换器发挥着至关重要的角色。它们能够实现不同网络间的无缝对接和数据传输,确保了生产线上的设备可以顺畅地交流信息。今天,我们就来深入讨论开疆智能profibus转profinet网关KJ-PBM-PN以及其在鼓式硫化机中的应…...

redis 缓存穿透,缓存雪崩,缓存击穿

之前也不知道是哪个老六总结出来得缓存穿透,缓存击穿 。 穿透,击穿 中文上容易搞混,所以贴出英文 缓存穿透: Cache Penetration “Penetration” 有穿透、渗透之意, eg: the penetration of hackers into the system (黑客对系统的侵入) 缓…...

JAVA8怎么使用9的List.of

在 Java 8 中&#xff0c;List.of 方法并不可用&#xff0c;因为这是从 Java 9 开始引入的用于创建不可变列表的便捷方法。要在 Java 8 中达到类似的效果&#xff0c;您需要使用其他方式来创建列表。常规的方法是先创建集合对象然后再添加元素 List<String> list new A…...

告别手动测试:AUTOSAR网络管理自动化测试实战

文章目录 一、自动化测试系统架构硬件组成软件架构 二、测试覆盖的关键场景状态机测试时间参数测试容错性测试 三、测试case举例四、小结 一、自动化测试系统架构 AUTOSAR网络管理自动化测试由硬件设备和软件工具共同完成。 硬件组成 程控电源&#xff08;DUT供电&#xff0…...

BUCK电路利用状态空间平均法和开关周期平均法推导

以BUCK电路为例的两种方法推导 BUCK电路简介 BUCK电路是一种降压型DC-DC转换器,其拓扑结构如下: 输入电压 V in V_{\text{in}} Vin​,输出电压 V out = D V in V_{\text{out}} = D V_{\text{in}} Vout​=DVin​(稳态时, D D D为占空比)。关键元件:开关管 S S S、续流…...

MongoDB 用户与权限管理完全指南

在当今数据驱动的时代&#xff0c;数据库安全已成为企业IT架构中最关键的环节之一。作为最受欢迎的NoSQL数据库之一&#xff0c;MongoDB提供了完善的用户认证和权限管理机制&#xff0c;但许多开发者和数据库管理员对这些功能的理解和应用仍停留在表面层次。本文将全面剖析Mong…...

C++滑动门问题(附两种方法)

题目如下&#xff1a; 滑动窗口 - 题目 - Liusers OJ ——引用自OJ网站 方法如下&#xff1a; 1.常规思想 #include<bits/stdc.h> using namespace std; int main() {int n,k;int a[110];cin>>n>>k;for(int i0;i<n;i){cin>>a[i];}for(int i0;i…...

基于ITcpServer/IHttpServer框架的HTTP服务器

https://www.cnblogs.com/MuZhangyong/p/16839231.html 在基于ITcpServer/IHttpServer框架的HTTP服务器实现中,OnBody方法主要用于接收HTTP请求体数据,而触发HTTP响应通常是在OnMessageComplete方法中完成。以下是完整的响应触发机制说明: sequenceDiagramClient->>…...

初识main函数

int main(int argc, char *argv[]) {int a 0;return a; }X64 MSVC编译器 Windows x64调用约定 { // 将第二个参数(rdx)保存到栈[rsp0x10]位置 0x7ff6e54c2ad0 mov qword ptr [rsp10h],rdx // 将第一个参数(ecx)保存到栈[rsp8]位置 0x7ff6e54c2ad5 …...

FPGA高效验证工具Solidify 8.0:全面重构图形用户界面

近日&#xff0c;FPGA高效验证工具Solidify发布了8.0版本。该版本对图形用户界面&#xff08;GUI&#xff09;进行了全面重构&#xff0c;历时两年&#xff0c;经过了大幅的架构改进&#xff0c;旨在为用户提供更安全、更稳定的使用环境。 Solidify的用户对隐私有严格要求&…...

SIL2/PLd 认证 Inxpect毫米波安全雷达:3D 扫描 + 微小运动检测守护工业安全

Inxpect 成立于意大利&#xff0c;专注工业安全技术。自成立起&#xff0c;便致力于借助先进雷达技术提升工业自动化安全标准&#xff0c;解决传统安全设备在复杂环境中的局限&#xff0c;推出获 SIL2/PLd 和 UL 认证的安全雷达产品。 Inxpect 的雷达传感器技术优势明显。相较于…...

java中string类型的list集合放到redis的5种数据类型的那种比较合适呢,可以用StringRedisTemplate实现

在Java中&#xff0c;如何将一个String类型的List集合存储到Redis中&#xff0c;并且应该选择Redis的哪种数据类型。同时&#xff0c;用户还问到是否可以使用StringRedisTemplate来实现。 首先&#xff0c;我需要回忆一下Redis的5种主要数据类型&#xff1a;字符串&#xff08;…...

PyQt学习系列09-应用程序打包与部署

PyQt学习系列笔记&#xff08;Python Qt框架&#xff09; 第九课&#xff1a;PyQt的应用程序打包与部署 课程目标 掌握使用 PyInstaller 将PyQt应用程序打包为独立可执行文件学习处理 资源文件&#xff08;图标、样式表、图片&#xff09;和 依赖项实现 跨平台部署&#xff0…...

实现图片自动压缩算法,canvas压缩图片方法

背景&#xff1a; 在使用某些支持webgl的图形库&#xff08;eg&#xff1a;PIXI.js&#xff0c;fabric.js&#xff09;场景中&#xff0c;如果加载的纹理超过webgl可处理的最大纹理限制&#xff0c;会导致渲染的纹理缺失&#xff0c;甚至无法显示。 方案 实现图片自动压缩算…...

《数据结构笔记三》:单链表(创建、插入、遍历、删除、释放内存等核心操作)

不带头节点的单链表&#xff1a;&#xff08;不带表头&#xff09; #include<stdio.h> #include<stdlib.h> #include<string.h> //定义一个链表节点结构体 typedef struct Node {/* data */int data; //表示节点数据域struct Node *next; //…...

光伏行业如何利用SD-WAN优化分布式网络:替代MPLS、VPN、4G/5G的网络架构升级与云安全方案全解析

光伏行业的网络通信挑战与SD-WAN技术方案对比分析 光伏行业的分布式网络架构、远程站点多、通信环境复杂&#xff0c;以及对实时数据传输的高要求&#xff0c;使得网络架构成为影响行业数字化转型的重要因素。近年来&#xff0c;SD-WAN&#xff08;软件定义广域网&#xff09;…...

2025电工杯数学建模A题思路数模AI提示词工程

我发布的智能体链接&#xff1a;数模AI扣子是新一代 AI 大模型智能体开发平台。整合了插件、长短期记忆、工作流、卡片等丰富能力&#xff0c;扣子能帮你低门槛、快速搭建个性化或具备商业价值的智能体&#xff0c;并发布到豆包、飞书等各个平台。https://www.coze.cn/search/n…...

LLM | 论文精读 | NAACL 2025 | Clarify When Necessary:教语言模型何时该“问一句”再答!

&#x1f50d; 解读 NAACL 2025 重磅论文《Clarify When Necessary》&#xff1a;教语言模型何时该“问一句”再答&#xff01; &#x1f9e9; 一、现实问题&#xff1a;大模型“看不懂装懂”有多危险&#xff1f; 我们每天用的 ChatGPT、Claude 等大型语言模型&#xff08;LL…...

嵌入式鸿蒙openharmony应用开发环境搭建与工程创建实现

各位小伙伴大家好,本周开始分享鸿蒙开发相关的内容,从基础的配置方法到各种功能的实现,探索国产操作系统的奥秘。 第一:观察结果 第二:开源语言 ArkTS是鸿蒙应用开发中使用的TypeScript超集,提供了一套丰富的API来构建应用界面和逻辑。 第三:环境搭建 步骤 1 通过如…...