MySQL-七种SQL优化
一、插入数据
普通插入:
- 采用批量插入(一次插入的数据不建议超过1000条)
insert into tb_test values(1,'Tom'),(3, 'Cat'),(3, 'Jerry')....
- 手动提交事务
start transaction;
insert into tb_test values(1,'Tom'),(3, 'Cat'),(3, 'Jerry');
insert into tb_test values(4,'Tom'),(5, 'Cat'),(6, 'Jerry');
insert into tb_test values(7,'Tom'),(8, 'Cat'),(9, 'Jerry');
commit;
- 主键顺序插入性能高于乱序插入
大批量插入:
如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令插入。
# 客户端连接服务端时,加上参数 --local-infile
mysql --local-infile -u root -p
# 查看全局参数local_infile是否开启
select @@local_infile;
# 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;
# 执行load指令将准备好的数据,加载到表结构中
# 将sql100w.sql文件的数据加载到tb_user表中
# 用逗号分隔字段
load data local infile '/root/sql100w.sql' into table 'tb_user' fields terminated by ',' lines terminated by '\n';
二、主键优化
数据组织方式:在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(Index organized table, IOT)
- 页分裂:页可以为空,也可以填充一般,也可以填充100%,每个页包含了2-N行数据(如果一行数据过大,会行溢出),根据主键排列。
- 页合并:当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。当页中删除的记录到达MERGE_THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前后)看看是否可以将这两个页合并以优化空间使用。
MERGE_THRESHOLD:合并页的阈值,可以自己设置,在创建表或创建索引时指定。
主键设计原则:
- 满足业务需求的情况下,尽量降低主键的长度。
- 插入数据时,尽量选择顺序插入,选择使用 AUTO_INCREMENT 自增主键。
- 尽量不要使用 UUID 做主键或者是其他的自然主键,如身份证号。
- 业务操作时,避免对主键的修改。
三、order by优化
在MySQL中排序分为以下两种清空:
Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高。
#创建索引,两个字段,全部降序或全部升序会走这个索引
create index idx_user_age_phone+aa on tb_user(age,phone);#创建索引,一个升,一个降
create index idx_user_age_phone_ad on tb_user(age asc, phone desc);
总结:
- 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则。
- 尽量使用覆盖索引,少使用
select * - 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC/DESC)。
- 如果不可避免出现filesort,大数据量排序时,可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)。
注: 在创建多列索引时,要根据业务需求,where子句中使用最频繁的一列放在最左边。
四、group by优化
- 在分组操作时,可以通过索引来提高效率。
- 分组操作时,索引的使用也是满足最左前缀法则的。
如索引为idx_user_pro_age_stat,则句式可以是select ... where profession order by age,这样也符合最左前缀法则。
五、limit优化
常见的问题:limit 2000000,10,此时需要 MySQL 排序前2000000条记录,但仅仅返回2000000 - 2000010的记录,其他记录丢弃,查询排序的代价非常大。
优化方案:一般分页查询时,通过创建覆盖索引能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。
例如:
# 此语句耗时很长
select * from tb_sku limit 9000000, 10;
# 通过覆盖索引加快速度,直接通过主键索引进行排序及查询出id
select id from tb_sku order by id limit 9000000, 10;
# 通过子查询查出所有字段
select * from tb_sku as s, (select id from tb_sku order by id limit 9000000, 10) as a where s.id = a.id;
六、count优化
select count(*) from tb_user;
- MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个数,效率很高。
- InnoDB 引擎在执行 count(*) 时,需要把数据一行一行地从引擎里面读出来,然后累计计数。
- 优化方案:自己计数,如创建key-value表存储在内存或硬盘,或者是用redis。
count的几种用法:
- 如果count函数的参数(count里面写的那个字段)不是NULL(字段值不为NULL),累计值就加一,最后返回累计值。
- 用法:count(*)、count(主键)、count(字段)、count(1)。
- count(主键)跟count(*)一样,因为主键不能为空;
- count(字段)只计算字段值不为NULL的行;
- count(1)引擎会为每行添加一个1,然后就count这个1,返回结果也跟count(*)一样;
- count(null)返回0。
各种用法的性能:
count(主键):InnoDB引擎会遍历整张表,把每行的主键id值都取出来,返回给服务层,服务层拿到主键后,直接按行进行累加(主键不可能为空)。count(字段):没有not null约束的话,InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为null,不为null,计数累加;有not null约束的话,InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接按行进行累加。count(1):InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一层,放一个数字 1 进去,直接按行进行累加。count(*):InnoDB 引擎并不会把全部字段取出来,而是专门做了优化,不取值,服务层直接按行进行累加。
按效率排序:count(字段) < count(主键) < count(1) < count(*),所以尽量使用 count(*)
七、update优化(避免行锁升级为表锁)
InnoDB 的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。
例如:
update student set no = '1' where id = 1; 这句由于id有主键索引,所以只会锁这一行;
update student set no = '1' where name = 'zheng'; 这句由于name没有索引,所以会把整张表都锁住进行数据更新,解决方法是给name字段添加索引;
相关文章:
MySQL-七种SQL优化
一、插入数据 普通插入: 采用批量插入(一次插入的数据不建议超过1000条) insert into tb_test values(1,Tom),(3, Cat),(3, Jerry)....手动提交事务 start transaction; insert into tb_test values(1,Tom),(3, Cat),(3, Jerry); insert …...
针对Umi、React中遇到的 “xxxx”不能用作 JSX 组件 问题解决方案
一、处理方案 这是因为"types/react"、"types/react-dom"在子依赖中使用的版本不一致导致,一般情况npm会自动帮我们处理版本不一致的问题。如果npm处理不了,就需要我们自己手动处理在package.json中添加一项配置 {name:"test&…...
蓝桥杯备战刷题one(自用)
1.被污染的支票 #include <iostream> #include <vector> #include <map> #include <algorithm> using namespace std; int main() {int n;cin>>n;vector<int>L;map<int,int>mp;bool ok0;int num;for(int i1;i<n;i){cin>>nu…...
设计模式(十) - 工厂方式模式
前言 在此前的设计模式(四)简单工厂模式中我们介绍了简单工厂模式,在这篇文章中我们来介绍下工厂方法模式,它同样是创建型设计模式,而且又有些类似,文章的末尾会介绍他们之间的不同。 1.工厂方法模式简介 …...
http协议基础与Apache的简单介绍
一、相关介绍: 互联网:是网络的网络,是所有类型网络的母集因特网:世界上最大的互联网网络。即因特网概念从属于互联网概念。习惯上,大家把连接在因特网上的计算机都成为主机。万维网:WWW(world…...
RabbitMQ的死信队列和延迟队列
文章目录 死信队列如何配置死信队列死信队列的应用场景Spring Boot实现RabbitMQ的死信队列 延迟队列方案优劣:延迟队列的实现有两种方式: 死信队列 1)“死信”是RabbitMQ中的一种消息机制。 2)消息变成死信,可能是由于…...
PyQt 逻辑与界面分离
将逻辑与界面分离是一种良好的软件设计实践,可以提高代码的可维护性和可扩展性。在使用 pyuic 工具转换 Qt Designer 的 .ui 文件时,你可以通过以下方式实现逻辑与界面的分离: 创建一个单独的 Python 模块,用于编写主窗口的逻辑代…...
opengl播放3d pose 原地舞蹈脚来回飘动
目录 opengl播放3d pose 原地舞蹈脚来回飘动 设置相机视角 opengl播放3d pose 原地舞蹈脚来回飘动 opengl播放3d pose 原地舞蹈时,脚来回飘动,正常状态是脚应该不动的。 经过反复分析实验验证,找到原因是,渲染计算3d坐标时,都要减去一个offset,这个offset是髋关节的坐…...
Linux环境基础开发工具使用篇(三) git 与 gdb
一、版本控制器-git 1.简单理解: ①git既是服务端,又是客户端 ②git会记录版本的变化 ③git是一个去中心化的分布式软件 git/gitee 是基于git仓库搭建的网站,让版本管理可视化 2.git 三板斧提交代码 查看安装的git版本 git--version 命令行提交代…...
mybatis---->tx中weekend类
🙌首先weekend可不是mybatis中的类呦~~🙌 它是来自于mybatis的一个扩展库! 如果你要在springboot中使用,需要引入以下依赖~~ <dependency><groupId>tk.mybatis</groupId><artifactId>mapper-spring-boot…...
Shell echo、printf、test命令
目录 Shell echo命令 打印文本消息 显示变量值 输出特殊字符 输出到文件 追加到文件 Shell printf 命令 打印简单文本 Shell test 命令 文件测试 字符串比较 整数比较 逻辑运算 Shell echo命令 打印文本消息 echo "Hello, World!" 显示变量值 name&q…...
腾讯云主机Ubuntu22.04安装Odoo17
一、安装PostgreSQL16 参见之前的文章 Ubuntu22.04安装PostgreSQL-CSDN博客 二、安装Odoo17 本方案使用的nightly版的odoo,安装的都是最新版odoo wget -O - https://nightly.odoo.com/odoo.key | apt-key add - echo "deb http://nightly.odoo.com/17.0/n…...
conda常用命令详解
Conda 是一个功能强大的包管理器和环境管理器,用于安装、部署和管理软件包和其依赖关系。下面是一些常用的 Conda 命令及其详细解释: 创建环境: conda create --name myenv python3.8可以指定创建环境的目录conda create --prefix /path/to/d…...
Java面试——锁
公平锁: 是指多个线程按照申请锁的顺序来获取锁,有点先来后到的意思。在并发环境中,每个线程在获取锁时会先查看此锁维护的队列,如果为空,或者当前线程是等待队列的第一个,就占有锁,否则就会…...
Spring Boot与Netty:构建高性能的网络应用
点击下载《Spring Boot与Netty:构建高性能的网络应用》 1. 前言 本文将详细探讨如何在Spring Boot应用中集成Netty,以构建高性能的网络应用。我们将首先了解Netty的原理和优势,然后介绍如何在Spring Boot项目中集成Netty,包括详…...
ARMv8-AArch64 的异常处理模型详解之异常处理详解(同步异常和异步异常的分析和处理)
这里写目录标题 一,同步异常的分析1.1 同步异常分析-异常链接寄存器ELR1.2 同步异常分析-异常综合寄存器ESR,Exception Syndrome Register1.3 同步异常分析-错误地址寄存器FAR,Fault Address Register 二, 同步异常的处理示例 Synchronous ex…...
Elasticsearch:基于 Langchain 的 Elasticsearch Agent 对文档的搜索
在今天的文章中,我们将重点介绍如何使用 LangChain 提供的基础设施在 Python 中构建 Elasticsearch agent。 该 agent 应允许用户以自然语言询问有关 Elasticsearch 集群中数据的问题。 Elasticsearch 是一个强大的搜索引擎,支持词法和向量搜索。 Elast…...
学习python的第7天,她不再开放她的听歌榜单
我下午登录上小号,打开聊天消息看到了她的回复,我很开心兴奋,可是她不再开放她的听歌榜单了,我感觉得到,我要失恋了。 “因为当年电视上看没有王菲版本的” “行”。 “那你以后还会开放听歌榜单吗?”我…...
多维时序 | Matlab实现CPO-BiTCN-BiGRU冠豪猪优化时间卷积神经网络双向门控循环单元多变量时间序列预测模型
多维时序 | Matlab实现CPO-BiTCN-BiGRU冠豪猪优化时间卷积神经网络双向门控循环单元多变量时间序列预测模型 目录 多维时序 | Matlab实现CPO-BiTCN-BiGRU冠豪猪优化时间卷积神经网络双向门控循环单元多变量时间序列预测模型预测效果基本介绍程序设计参考资料 预测效果 基本介绍…...
低代码与大语言模型的探索实践
低代码系列文章: 可视化拖拽组件库一些技术要点原理分析可视化拖拽组件库一些技术要点原理分析(二)可视化拖拽组件库一些技术要点原理分析(三)可视化拖拽组件库一些技术要点原理分析(四)低代码…...
AssetRipper终极指南:5个技巧轻松提取Unity游戏资产
AssetRipper终极指南:5个技巧轻松提取Unity游戏资产 【免费下载链接】AssetRipper GUI Application to work with engine assets, asset bundles, and serialized files 项目地址: https://gitcode.com/GitHub_Trending/as/AssetRipper AssetRipper是一款功能…...
终极指南:如何在SketchUp中实现完美的STL导入导出
终极指南:如何在SketchUp中实现完美的STL导入导出 【免费下载链接】sketchup-stl A SketchUp Ruby Extension that adds STL (STereoLithography) file format import and export. 项目地址: https://gitcode.com/gh_mirrors/sk/sketchup-stl 你是否正在寻找…...
std::shared_ptr 的引用计数是原子的——但你知道这“原子“到底多贵吗
一个 shared_ptr 的拷贝,在单线程无竞争的情况下大约 5-8 纳秒(具体数字因 CPU 微架构和频率而异,下文的延迟数据均取典型 x86 服务器芯片的量级)。在 8 个线程同时拷贝同一个对象的 shared_ptr 时,这个数字可以膨胀到 200 纳秒以上。 40 倍。 不是因为你写了锁,不是因…...
Producer 视频下载 API 集成指南
在数字音乐时代,视频和音频的结合为用户提供了丰富的体验。Ace Data Cloud 提供了 Producer API,允许我们下载与歌曲相关的视频。本文将为您详细讲解如何集成此 API。 简介 Producer API 是 Ace Data Cloud 的一部分,专注于音频相关的内容管…...
六大AI企业服务全景解析:技术路线、核心优势与企业选型指南
六大AI企业服务全景解析:技术路线、核心优势与企业选型指南在大模型应用全面落地的当下,企业AI服务不再局限于单一的模型调用,而是朝着专业化、场景化、合规化、高可控方向细分。不同厂商基于差异化技术架构与路线,形成了各自的核…...
Dify文档解析配置实战手册:从PDF乱码到结构化知识库,97%用户忽略的4个关键参数设置
第一章:Dify文档解析配置的核心价值与典型痛点Dify 的文档解析配置是构建高质量 RAG(检索增强生成)应用的基石。它决定了原始 PDF、Word、Markdown 等非结构化文档如何被切分、清洗、元数据注入及向量化,直接影响后续检索的准确性…...
告别手动改密码!Windows LAPS实战:在AD域环境里自动管理本地管理员账号
Windows LAPS实战:自动化域环境本地管理员密码管理指南 每次手动重置数百台域内计算机的本地管理员密码时,IT团队都会面临巨大压力。密码复杂度要求导致记忆困难,共享密码文档存在泄露风险,而定期轮换机制往往因为操作繁琐而流于形…...
28BYJ48步进电机驱动实战:从接线到代码的完整指南(附避坑技巧)
28BYJ48步进电机驱动实战:从接线到代码的完整指南(附避坑技巧) 第一次接触28BYJ48步进电机时,我被它精致的外形和低廉的价格吸引,但真正开始驱动它时却遇到了不少麻烦——电机发热、转动不顺畅、扭矩不足等问题接踵而至…...
低成本高精度:基于UM482 RTK模块的无人机/农机自动导航定位方案实战
低成本高精度:基于UM482 RTK模块的无人机/农机自动导航定位方案实战 在精准农业和工业无人机领域,厘米级定位不再是奢侈品而是必需品。想象一下,植保无人机在离作物叶片2米的高度巡航时,如果定位误差超过10厘米,就会导…...
BitNet b1.58-2B-4T-GGUF开发者案例:基于Gradio+llama-server构建私有AI对话平台
BitNet b1.58-2B-4T-GGUF开发者案例:基于Gradiollama-server构建私有AI对话平台 1. 项目概述 BitNet b1.58-2B-4T-GGUF是一款极致高效的1.58-bit量化开源大模型,采用独特的权重三值化技术(-1, 0, 1),平均仅需1.58bit…...
