数据库原理及数据库的优化

1、数据库的原理

数据库：持久化存储，存到硬盘

性能：oracl>db2>sqlserver>mysql oracl，db2，sqlserver性能差不多，几十万次每秒，myslq性能差很多，几千次每秒，都属于关系型数据库

mysql数据库中user表负责权限管理

mysql运行程序在内存，数据存储在硬盘，程序运行在内存中

java向mysql发送sql语句，就是发送字符串，接收方接受字符串后，对字符串进行处理，先判定有没有相应的权限，然后根据处理后的内容进行相应的处理，确定对哪个表进行操作后，将该表拷贝到内存中进行相应操作，处理完后更新回去，将原来的表覆盖掉。查找和修改是进行for循环遍历找O(n)，新增是末尾添加O(1)，删除是遍历查找O(n)然后将最后一个复制粘贴到被删除的地方，标记位向前移动一个，本质还是数组

数据库在设计时尽可能保持长度一致，这样性能是最好的

索引，给数据库中需要频繁查找且数据量大的数据列添加索引，索引就是每条数据的序列号，然后需要查找的时候将索引加载到内存中，在内存中以树的形式存储，通过O(logn)的时间复杂度查找到要查的数据索引，通过索引再到数据库中找到要查找的数据

2、数据库的优化

mysql运行是它的main方法在操作系统运行，数据库的表文件通过磁盘IO将文件读到内存，磁盘IO读写有限，当读取比较多的时候，就会出现排队的现象。

固态盘不能作为主要的数据存储，因为固态盘有固定的读写次数，指每个扇区，容易使数据丢失。

缺陷：数据库假如一个文件有1000万条数据，占几百个G，哪怕知识查找一条20B的数据都要将这1000万的数据全部加载到内存中，这对内存的损耗非常大。如果只是对单条数据进行处理性能浪费很大，应当批量处理会更好，关联计算。

MySQL数据库是关系型数据库，擅长关联计算，比如求平均、求最大值最小值、求和、去重等。

单次操作多的时候，将表文件按类拆成多个更小的表文件，会降低计算量，内存的占用，加快程序速度，对单次表操作效能增加很有效，但是不适合表的关联计算

关联计算多的情况，则存成大表更合适

如果有既有关联操作，又有数据的单表操作，查询等，应当考虑将表文件复制成两份，单表操作进一份拆分的小表，关联操作进另一份大表，虽然会浪费磁盘存储空间，但是磁盘便宜，用空间换取时间是值得的，要注意两份表要保持数据同步。

非关系型数据库：自动能拆分成小文件，每一份数据都是单独文件，内存的(redis\mangodb)，Java内部（数组、链表、hashMap），硬盘中的(hive、kafka、ElasticSearch、zookeeper)，不擅长关联计算，擅长单点计算