mysql优化之索引

索引官方定义：索引是帮助mysql高效获取数据的数据结构。

索引的目的在于提高查询效率，可以类比字典。

可以简单理解为：排好序的快速查找数据结构

在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这种数据结构以某种方式（引用）指向数据。
这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引。

例如将id加索引，在mysql数据库里开辟一块存储空间来存放索引数据，查询的时候如果根据id去查询，就要走这个索引库，在索引库找到之后，就能定位这条数据，因为索引库的每一项和数据库的物理地址是绑定的，你能找到这条索引，就能找到这条数据所对应的物理地址，就可以直接获取这条数据。

一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。

索引结构

我们平常所说的索引，如果没有特别指明，都是指B树（多路搜索树，并不一定是二叉的）结构组织的索引。
其中聚集索引，次要索引，覆盖索引，复合索引，前缀索引，唯一索引默认都是使用B+树索引，统称索引。
当然，除了B+树这种类型的索引外，还有哈希索引等。

BTree索引、hash索引、full-text全文索引、R-Tree索引，我们只关注BTree索引

BTree索引检索原理

索引数据为什么快？

1. 索引数据存放是有规则的，顺序的，
2. 查询的时候是有些算法的，例如最简单的折半
   例如索引1-26，我们找16，
   折半先找13,16比13大，就找13-26的中间值，19,
   19比16大，就找13-19的中间值，16，就找着了

如果不使用索引，就是一条条找，得找16次才能找到

索引的优缺点

• 优点

1. 提高数据检索的效率，降低数据库的io成本
2. 通过索引列对数据进行排序，降低数据排序的成本，降低了cpu的消耗

• 缺点

1. 实际上索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录，所以索引列也是要占用空间的
   索引需要占物理空间，除了数据表占数据空间之外，每一个索引还要占一定的物理空间，如果要建立聚簇索引，那么需要的空间就会更大。

2. 虽然索引大大提高了查询速度，却会降低更新表的速度，如对表进行增删改。
   因为更新表时，mysql不仅要保存数据，还要更新添加了索引列的字段，也会调整因为更新所带来的键值变化后的索引信息

3. 创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加。
   索引只是提高效率的一个因素，如果你的mysql有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询

   例如我们猜测客户可能会按照这样的字段去查询，就把索引建到这个字段上面，但是后面根据点击率分析和客户所筛选的条件发现，经常查询另一个字段，索引就需要优化和调整。

什么时候需要/不需要创建索引？

需要创建索引

• 主键自动建立唯一索引
• 频繁作为查询条件的字段应该创建索引
• 查询中排序、统计、分组的字段
• 查询中与其他表关联的字段，外键关系建立字段

不需要创建索引

• 表记录太少

• 更新非常频繁的字段不适合创建索引

  除了更新数据本身外还需要更新BTree树，数据量大的话是很耗费资源的。

• Where条件里用不到的字段不创建索引

• 唯一性太差(字段好多都是同一个值)（在查询的时候会索引失效）的字段不适合单独(可以使用联合索引)创建索引，即使频繁作为查询条件；

索引能够极大的提高数据检索效率，也能够改善排序分组操作的性能，但是我们不能忽略的一个问题就是索引是完全独立于基础数据之外的一部分数据，更新数据会带来的IO量和调整索引所致的计算量的资源消耗。

索引分类

1. 单值索引：一个索引只包含一个列，一个表可以有多个单列索引
2. 唯一索引：索引列的值必须唯一（身份证号），但允许有空值
3. 复合索引：一个索引包含多列

# 创建
CREATE [UNIQUE] INDEX indexName on myTable(columnname(length));
ALTER mytable ADD [UNIQUE] INDEX [indexName] ON (columnname(length));# 删除
DROP INDEX [indexName] ON mytable;# 查看
SHOW INDEX FROM tableName;# 四种方式来添加数据表的索引# 添加一个主键，代表索引值必须是唯一的，且不能为null
ALTER TABLE tbl_name ADD PRIMARY KEY(column_list);# 索引值必须是唯一的（除了null外，null可能会出现多次）
ALTER TABLE tbl_name ADD UNIQUE index_name(column_list);# 添加普通索引，索引值可重复
ALTER TABLE tbl_name ADD INDEX index_name(column_list);# 指定索引为FULLTEXT，用于全文索引
ALTER TABLE tbl_name ADD FULLTEXT index_name(column_list);

性能分析前提知识

mysql query optimizer mysq查询优化器

mysql常见瓶颈

explain 解释，查看sql执行计划

作用

1. 表的读取顺序
2. 数据读取操作的操作类型
3. 哪些索引可以使用（哪些索引被实际使用）
4. 表之间的引用
5. 每张表有多少行被优化器查询

使用

mysql> explain select * from tbl_emp;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
|  1 | SIMPLE      | tbl_emp | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    8 |   100.00 | NULL  |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
1 row in set, 1 warning (0.00 sec)# id（表的读取顺序）
# 	select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序。
#	id相同，执行顺序由上至下（就是说先加载的是tbl_dept表）
#		执行顺序和sql的编写顺序有没有关系暂时未知，测试的话是没有关系的
# 	id越大越先被执行，（如果是子查询，id的序号会递增）
#	id有相同有不同
# 		在一个sql语句中，id既有相同的，也有不同的
#		id相同，顺序执行，id越大越先被执行
#		出现这种情况实际上就是有一张虚表，就是查出一张表来给它取个别名，但是我和老师的sql一模一样就是结果不一样，有时间再看这个吧
mysql> explain select * from tbl_emp te, tbl_dept td where te.deptId=td.id;
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                              |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
|  1 | SIMPLE      | td    | NULL       | ALL  | PRIMARY       | NULL | NULL    | NULL |    5 |   100.00 | NULL                                               |
|  1 | SIMPLE      | te    | NULL       | ALL  | fk_dept_id    | NULL | NULL    | NULL |    8 |    20.00 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)mysql> explain select * from tbl_dept where id=(select deptId from tbl_emp where id=1);
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
| id | select_type | table    | partitions | type  | possible_keys | key     | key_len | ref   | rows | filtered | Extra |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
|  1 | PRIMARY     | tbl_dept | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
|  2 | SUBQUERY    | tbl_emp  | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
2 rows in set, 1 warning (0.00 sec)# select_type，表示select_type语句的类型（数据读取操作的操作类型）
#	simple，表示简单查询，其中不包含连接查询和子查询
#	primary，表示主查询，或者是最外面的查询语句（最后加载的那个）
# 	subquery，在select或where列表中包含了子查询
# 	derived，from列表包含的子查询，mysql会递归执行这些子查询，把结果放在临时表里。
#	union，若第二个select出现在union之后，则被标记为union;
#		若union包含在from子句的子查询中，外层select将被标记为derived
# union result 从union表获取结果的select# type，访问类型，显示查询使用了何种类型
# 从最好到最差依次是（以下是常见的，除此之外还有很多种）：
# 一般来说，得保证查询至少打到range级别，最好能达到ref
# system > const > eq_ref > ref > range > index > all
#	system 表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，可以忽略不记#	const 表示通过索引一次就找到了，const用于比较primary key或者unique索引。
#		因为只匹配一行数据，所以很快
#		如将主键置于where列表中，mysql就能将该查询转换为一个常量。#	eq_ref 唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描
#		例如两表连接，对外键设置索引，此时两表连接查询只查询到一条记录
#		例如员工表和部门表，而此时查的部门是ceo办公室，自然就只有一条记录
#简单地说是const是直接按主键或惟一键读取，eq_ref用于联表查询的状况，按联表的主键或惟一键联合查询。#	ref 非唯一性索引扫描，返回匹配某个单独值的所有行。#	range 只检索给定范围的行，使用一个索引来选择行
#		例如在where语句中出现between、<、>、in等的查询
#		这种范围扫描索引比全表扫描要好，因为它只需要开始于索引的某一点，而结束于另一点，不用扫描全部索引。#	index 与all区别为index类型只遍历索引树。这通常比all快，因为索引文件通常比数据文件小。#	all 全表扫描# possible_keys
#	显示可能应用在这张表中的索引，一个或多个。
#	查询涉及到字段上若存在索引，则该索引将被列出，但不一定被查询实际使用# key
#	实际使用的索引。如果为null，则没有使用索引
#	查询中若使用了覆盖索引，则该索引仅出现在key列表中
#		覆盖索引：sql语句中查询的字段和复合索引的字段、顺序都一致# key_len
#	表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好
#		精度的意思是，where后跟一个条件，索引长度肯定更小，但是精度也更小
#		如果再跟一个条件，索引长度大了，但是精度肯定高了
#	key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的# ref
#	显示索引的哪一列被使用了，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值
#		这句话的意思是，如果那一列where后面的条件值是个常量的话就显示 const，否则就是列名# rows
#	根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数# filtered
#	存储引擎返回的数据在server层过滤后，剩下多少满足查询的记录数量的比例
#	只做参考，不需要刻意关注

extra 包含不适合在其他列中显示但十分重要的额外信息

# using filesort（不好，尽量消除）
#	说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序读取
#	mysql中无法利用索引完成的排序操作称为 文件排序
#		大概意思就是我们自己建立的索引因为一些原因没有或部分使用到，mysql内部自己又建立了一个索引

以上实例，索引的顺序如果和查询排序的字段一致的话，就不会出现 using filesort，效率就更高，反之则效率更低

# Using temporary（不好，尽量消除）
#	使用临时表保存中间结果，mysql在对查询结果排序时使用临时表。
#	常见于 order by 和 group by
# 	会加大空间的占用，影响效率

# using index
#	表示相应的select操作中使用了覆盖索引，避免访问了表的数据行，效率不错！
#	如果同时出现using where，表明索引被用来执行索引键值的查找
#	如果没有同时出现using where，表明索引用来读取数据而非执行查找动作# using where
#	使用了where过滤# using join buffer
#	使用了连接缓存
#	join使用过多，可以把配置文件的缓冲区调大
# # impossible where
#	where子句的值总是false，不能用来获取任何元组
#	例如 where name='zs' and name = 'ls'
#		一个人是不会有两个名字的

using filesort，using temporary, using index是重点，其他了解即可

demo

单表优化案例

/*
UNSIGNEDunsigned（无符号）是一种数据类型的修饰符。它可以用于整型数据类型，例如INT、BIGINT等。在无符号的二进制表示中，数据类型将仅仅包含非负整数。使用unsigned的主要好处是它可以在不改变数据类型的前提下，增加数据类型所能存储的最大值。例如，INTUNSIGNED的最大值为4294967295，而INT的最大值仅为2147483647。这可以极大地提高存储空间的利用率，并且可以避免使用较大的数据类型来存储小的非负整数。*/show tables;
CREATE TABLE if	NOT EXISTS article(id INT(10) UNSIGNED NOT NULL PRIMARY KEY auto_increment,author_id int(10) UNSIGNED NOT NULL,category_id int(10) UNSIGNED NOT NULL,views int(10) UNSIGNED NOT NULL,comments int(10) UNSIGNED NOT NULL,title VARBINARY(255) NOT NULL,content text NOT NULL)INSERT INTO article(`author_id`,`category_id`,`views`,`comments`,`title`,`content`) VALUES (1,1,1,1,'1','1'),
(2,2,2,2,'2','2'),
(3,3,3,3,'3','3')# 查询category_id为1且comments大于1的情况下，views最多的article_id
mysql> explain select id,author_id from article where category_id = 1 and comments>1 order by views desc limit 1;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                       |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
|  1 | SIMPLE      | article | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    4 |    25.00 | Using where; Using filesort |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
1 row in set, 1 warning (0.00 sec)# 很显然，type all和Using filesort 都是最坏的情况，必须优化# 一眼看到这个题是应该创建category_id,comments,views的符合索引
#	索引确实被用到了，但是文件排序依然存在
#	原因是因为 > 会导致索引失效，使索引断了# 那我们就跳过它，只为其他两个字段建立复合索引
mysql> create index category_views on article (category_id,views);mysql> explain select id,author_id from article where category_id = 1 and comments=1 order by views desc limit 1;
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
| id | select_type | table   | partitions | type | possible_keys  | key            | key_len | ref   | rows | filtered | Extra       |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
|  1 | SIMPLE      | article | NULL       | ref  | category_views | category_views | 4       | const |    2 |    25.00 | Using where |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

这个说的是建立三个字段的索引的情况

正如丘吉尔所说，世界上没有永远的朋友，也没有永远的敌人，只有永恒的利益。

鬼吹灯
天下霸唱

部分知识引用自：
https://www.bilibili.com/video/BV1KW411u7vy/?p=5&spm_id_from=pageDriver&vd_source=64c73c596c59837e620fed47fa27ada7