优化数据库结构
MySQL学习大纲
一个好的数据库设计方案对于数据库的性能尝尝会起到事倍功半的效果,合理的数据库结构
不仅使数据库占用更小的磁盘空间,而且使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新速度、字段的数据类型是否合理等多方面的内容!
1、拆分表:冷热数据分离
- 1.拆分表的思路是,把1个包含很多字段的表拆分成2个或者多个相对较小的表,这样做的原因是:这些表中
某些字段的操作频率很高(热数据),经常要进行查询或者更新操作,而另外一些字段的使用频率却很低(冷数据),冷热数据分离,可以减小表的宽度。如果放在一个表里面,每次查询都要读取大记录,会消耗较多的资源 - 2.MySQL限制每个表最多存储4096列,并且每一行数据的大小不能超过65535字节。表越宽,把表装载进内存缓冲池时所占用的内存也就越大,也会消耗更多的IO。
冷热数据分离的目的是:①减少磁盘IO,保证热数据的内存缓存命中率。②更有效的利用缓存,避免读入无用的冷数据
2、增加中间表:非频繁更新类型的表适用
- 1.对于需要经常联合查询的表,可以建立中间表以提高查询效率。通过建立中间表,把需要经常联合查询的数据插入中间表中,然后将原来的联合查询改为对中间表的查询,以此来提高查询效率
- 2.首先,分析经常联合查询表中的字段;然后,使用这些字段建立一个中间表,并将原来联合查询的表的数据插入中间表中;最后使用中间表来进行查询
3、增加冗余字段
- 1.设计数据库表时应尽量遵循范式理论的规约,尽可能减少冗余字段,让数据库设计看起来精致、优雅。但是,合理地加入冗余字段可以提高查询速度
- 2.表的规范化程度越高,表与表之间的关系就越多,需要连接查询的情况也就越多。尤其在数据量大,而且需要频繁进行连接的时候,为了提升效率,我们也可以考虑增加冗余字段来减少连接。
4、优化数据类型:
4.1.概述:
- 1.改进表的设计时,可以考虑优化字段的数据类型。这个问题在大家刚从事开发时基本不算是问题。但是,随着你的经验越来越丰富,参与的项目越来越大,数据量也越来越多的时候,你就不能只从系统稳定性的角度来思考问题了,还要考虑到系统整体的稳定性和效率。此时,优先选择符合存储需要的最小的数据类型。
- 2.列的字段越大,建立索引时所需要的空间也就越大,这样一页中所能存储的索引节点的数量也就越少,在遍历时所需要的IO次数也就越多,索引的性能也就越差
4.2.案例分析:
a.对整数类型进行优化
- 1.遇到整数类型的字段可以用INT型。这样做的理由是,INT型数据有足够大的取值范围,不用担心数据超出取值范围的问题。刚开始做项目的时候,首先要保证系统的稳定性,这样设计字段类型是可以的。但在数据量很大的时候,数据类型的定义,在很大程度上会影响到系统整体的执行效率
- 2.对于非负型的数据(如自增ID、整型IP)来说,要优先使用无符号整型UNSIGNED来存储。因为无符号相对于有符号,同样的字节数,存储的数值范围更大。如tinyint有符号为-128-127,无符号为0-255,多出一倍的存储空间。
b.既可以使用文本类型也可以使用整数类型的字段,要选择使用整数类型
- 1.跟文本类型数据相比,大整数往往占用更少的存储空间,因此,在存取和比对的时候,可以占用更少的内存空间。所以,在二者皆可用的情况下,尽量使用整数类型,这样可以提高查询的效率。如:将IP地址转换成整型数据
c.避免使用TEXT、BLOB数据类型:
- 1.MySQL内存临时表不支持TEXT、BLOB这样的大数据类型,如果查询中包含这样的数据,在排序等操作时,就不能使用内存临时表,必须使用磁盘临时表进行。并且对于这种数据,MySQL还是要进行二次查询,会使SQL性能变得很差,但不是说一定不能使用这样的数据类型
- 2.如果一定要使用,建议把BLOB或是TEXT列分离到单独的扩展表中,查询时一定不要使用select*,而只需要取出必要的列,不需要TEXT列的数据时不要对该列进行查询
d.避免使用ENUM(枚举)类型:
- 1.修改ENUM值需要使用ALTER语句
- 2.ENUM类型的ORDER BY操作效率低,需要额外操作。使用TINYINT来代替ENUM类型
e.使用TIMESTAMP存储时间
- TIMESTAMP 存储的时间范围1970-01-01 00:00:01~2038-01-19-03:14:07
- TIMESTAMP使用4字节,DATETIME使用8个字节,同时 TIMESTAMP具有自动赋值以及自动更新的特性
f.用DECIMAL代替FLOAT和DOUBLE存储精确浮点数
- 非精准浮点:float,double
- 精准浮点:decimal(不会丢失精度)
5、优化插入记录的速度
5.1.概述:
- 插入记录时,
影响插入的速度主要是索引,唯一性校验,一次性插入记录条数等。根据这些情况可以分别进行优化,我们以不同的存储引擎来进行分析:
5.2.MyIDAM引擎
a.禁用索引

b.禁用唯一性检查

c.使用批量插入

d.使用LOAD DATA INFILE批量导入

5.2 InnoDB引擎
a.禁用唯一性检查

b.禁用外键检查

c.禁止自动提交

6、使用非空约束
- 1.在设计字段的时候,如果业务允许,建议尽量使用非空约束。这样做的好处是:
- 进行比较和计算时,省去要对NULL值的字段判断是否为空的开销,提高存储效率
- 非空字段也容易创建索引。因为索引NULL列需要额外的空间来保存,所以要占用更多的空间。使用非空约束,就可以节省存储空间(每个字段1个bit)
7、分析表、检查表与优化表
7.1.概述:
- 1.MySQL提供了分析表、检查表和优化表的语句
- 2.分析表主要是分析关键字的分布,检查表主要是检查表是否存在错误,优化表主要是消除删除或者更新造成的空间浪费
7.2.分析表:
a.说明:

b.案例:
- 1.创建数据库:

- 2.为了插入1000条数据,创建存储函数和存储过程:


- 3.调用存储函数,实现数据插入:

- 4.验证数据:

c.分析:
- 1.如下可以看到主id的

7.3.
8、大表优化
8.1 限定查询的范围
- 禁止不带任何限制数据范围条件的查询语句。比如:我们当用户在查询订单历史的时候,我们可以控制在一个月的范围内;
资料
相关文章:
优化数据库结构
MySQL学习大纲 一个好的数据库设计方案对于数据库的性能尝尝会起到事倍功半的效果,合理的数据库结构不仅使数据库占用更小的磁盘空间,而且使查询速度更快。数据库结构的设计需要考虑数据冗余、查询和更新速度、字段的数据类型是否合理等多方面的内容&…...
用Argo的netCDF文件计算海洋混合层和障碍层深度并通过M_Map工具包画出全球海洋MLD和BL的分布图
用Argo的netCDF文件计算海洋混合层和障碍层深度并通过M_Map工具包画出全球海洋MLD和BL的分布图。 P.S.: 1.需先安装m_map的toolbox。2.混合层及障碍层的定义参考Clment de Boyer Montegut, et al. “”Mixed layer depth over the global ocean: An examination of profile dat…...
2. K8S集群架构及主机准备
本次集群部署主机分布K8S集群主机配置主机静态IP设置主机名解析ipvs管理工具安装及模块加载主机系统升级主机间免密登录配置主机基础配置完后最好做个快照备份 2台负载均衡器 Haproxy高可用keepalived3台k8s master节点5台工作节点(至少2及以上)本次集群部署主机分布 K8S集群主…...
OpenAI 实战进阶教程 - 第六节: OpenAI 与爬虫集成实现任务自动化
爬虫与 OpenAI 模型结合,不仅能高效地抓取并分析海量数据,还能通过 NLP 技术生成洞察、摘要,极大提高业务效率。以下是一些实际工作中具有较高价值的应用案例: 1. 电商价格监控与智能分析 应用场景: 电商企业需要监控…...
51单片机07 串口通信
串口是一种应用十分广泛的通讯接口,串口成本低、容易使用、通信线路简单,可实现两个设备的互相通信。单片机的串口可以使单片机与单片机、单片机与电脑、单片机与各式各样的模块互相通信。51单片机内部自带UART(Universal Asynchronous Recei…...
Java进阶——IO 流
文章目录 Java进阶——IO 流 1、File 类的使用 1.1、File 常用构造器1.2、路径分隔符1.3、File 的常用方法 2、IO流原理及流的分类 2.1、IO流原理2.2、流的分类 3、IO流的体系结构4、节点流 4.1、FileReader 读入数据的操作4.2、FileWriter 写出数据的操作4.3、FileReader 和 …...
我的鸿蒙学习之旅:探索万物互联的新宇宙
在科技飞速发展的今天,操作系统领域的创新层出不穷。华为鸿蒙系统的出现,犹如一颗璀璨的新星,照亮了万物互联的未来之路。怀着对新技术的好奇与渴望,我踏上了学习鸿蒙的征程,这段经历充满了挑战与惊喜,也让…...
Java 引入和使用jcharset,支持UTF-7字符集
一、背景说明 Java标准库不直接支持UTF-7字符集,但通过我们可以使用第三方库jcharset方便地处理UTF-7编码的数据。 二、引入说明 JDK8及以下版本,我们将jcharset.jar并将其放到${JAVA_HOME}/jre/lib/ext/下即可完成引入。 JDK17及以后版本,对…...
如何在Window计算机本地部署DeepSeek-r1模型
如何在Window计算机本地部署DeepSeek-r1模型 安装Ollama配置GPU加速(可选)部署DeepSeek-r1模型1.5b模型效果演示 本文介绍了如何使用Ollama在Windows计算机本地部署DeepSeek-r1模型。 安装Ollama 访问Ollama官网下载对应操作系统的安装包(支…...
取消和确认按钮没有显示的问题
取消和确认按钮没有显示的问题<template #footer> <template #footer> <!-- 使用插槽名称 #footer --> <span class"dialog-footer"> <el-button click"dialogVisible false">取消</el-button> …...
Python 操作列表(元组)
在本章中,你将学习如何遍历 整个列表,这只需要几行代码,无论列表有多长。循环让你能 够对列表的每个元素都采取一个或一系列相同的措施,从而高效地处理任何长度的列表,包括包含数千乃至数百万个元素的列表。 元组 列表…...
跳跃注意力模块(Skip Attention Module, SAM)详解及代码复现
定义与原理 跳跃注意力模块(Skip Attention Module, SAM)是一种创新的深度学习技术,旨在解决传统注意力机制在处理长序列数据时面临的挑战。它通过引入多跳机制,实现了对输入数据更全面、更细致的特征表示,从而提高了模型的性能。 定义 跳跃注意力模块是一种将多跳上下…...
搭建集成开发环境PyCharm
1.下载安装Python(建议下载并安装3.9.x) https://www.python.org/downloads/windows/ 要注意勾选“Add Python 3.9 to PATH”复选框,表示将Python的路径增加到环境变量中 2.安装集成开发环境Pycharm http://www.jetbrains.com/pycharm/…...
国防科大:双目标优化防止LLM灾难性遗忘
📖标题:How to Complete Domain Tuning while Keeping General Ability in LLM: Adaptive Layer-wise and Element-wise Regularization 🌐来源:arXiv, 2501.13669 🌟摘要 🔸大型语言模型(LLM…...
NacosRce到docker逃逸实战
NacosRce到docker逃逸实战 1、Nacos Derby Rce打入内存马 这个漏洞的原理大家应该都知道, 2.3.2 < Nacos < 2.4.0版本默认derby接口未授权访问,攻击者可利用未授权访问执行SQL语句加载构造恶意的JAR包导致出现远程代码执行漏洞。 在日常的漏洞挖…...
解释 Java 中的 HashMap 和 ConcurrentHashMap 的区别,以及 HashMap 的线程不安全性 ?
Java中的HashMap和ConcurrentHashMap的区别 HashMap 和 ConcurrentHashMap 是Java中两种常用的Map实现,它们在多线程环境下的表现有很大的不同。 HashMap HashMap 是非线程安全的,这意味着在多线程环境下使用 HashMap 可能会导致数据不一致或其他并发…...
在Vue3 + Vite 项目中使用 Tailwind CSS 4.0
文章目录 首先是我的package.json根据官网步骤VS Code安装插件验证是否引入成功参考资料 首先是我的package.json {"name": "aplumweb","private": true,"version": "0.0.0","type": "module","s…...
【戒抖音系列】短视频戒除-2-(移动端)定时关闭抖音等短视频
视频会影响人的潜意识。某种情况下,短视频已经成为了一种毒药,会让人上瘾的毒药。 短视频会让人上瘾,但是音频就太容易引起上瘾。因为没有图像传入到大脑当中,也就不会分泌更多的“多巴胺”,就不会影响到大脑。 如果抖…...
C语言基础系列【2】开发环境搭建
选择合适的编译器 在C语言或者C这种编译型语言开发中,编译器是必不可少的工具。它将C语言源代码转换为机器代码,使程序能够在计算机上运行。 常见的C语言编译器包括GCC(GNU Compiler Collection,GNU编译器套件)、Cla…...
vs 编译错误 error C4996
编译出错:error C4996: Json::Reader::Reader: Use CharReader and CharReaderBuilder instead : 参见“Json::Reader::Reader”的声明 新版本已经标志Json::Reader::Reader为废弃接口,编译情况下可能会出错提示,根据编译器的不同ÿ…...
扣子平台的选择器节点:让智能体开发更简单,扣子免费系列教程(17)
欢迎来到涛涛聊AI。今天,我们来聊聊一个非常实用的工具——扣子平台的选择器节点。即使你不是计算机专业人员,但对计算机操作比较熟悉,这篇文章也能帮你快速上手。我们会从基础知识讲起,一步步带你了解选择器节点的使用方法和应用…...
使用Nuxt.js实现服务端渲染(SSR):提升SEO与性能的完整指南
使用Nuxt.js实现服务端渲染(SSR):提升SEO与性能的完整指南 使用Nuxt.js实现服务端渲染(SSR):提升SEO与性能的完整指南1. 服务端渲染(SSR)核心概念1.1 CSR vs SSR vs SSG1.2 SSR工作原…...
java 进阶教程_Java进阶教程 第2版
第2版前言 第1版前言 语言基础篇 第1章 Java语言概述 1.1 Java语言简介 1.1.1 Java语言的发展历程 1.1.2 Java的版本历史 1.1.3 Java语言与C/C 1.1.4 Java的特点 1.2 JDK和Java开发环境及工作原理 1.2.1 JDK 1.2.2 Java开发环境 1.2.3 Java工作原理 1.…...
shell编程(2)——shell脚本执行、传参、变量定义、注释
1、执行shell脚本 执行方式举例shsh xx.shsourcesource xx.sh点号.. xx.sh直接使用命令解释器bash xx.sh使用绝对路径或者相对路径./xx.sh daizhixin:shell$ sh test.sh hell0 world! daizhixin:shell$ source test.sh hell0 world! daizhixin:shell$ . test.sh hell0 wor…...
享元模式——C++实现
目录 1. 享元模式简介 2. 代码示例 1. 享元模式简介 享元模式是一种结构型模式。 享元模式用于缓存共享对象,降低内存消耗。共享对象相同的部分,避免创建大量相同的对象,减少内存占用。 享元模式需要将对象分成内部状态和外部状态两个部分…...
c++ Base64编码
介绍 Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。 需要注意的是:标准的Base64并不适合直接放在URL里传输,因为URL编码器会把标准Base64中的“/”和“”字符变为形如“…...
SSRF 漏洞利用 Redis 实战全解析:原理、攻击与防范
目录 前言 SSRF 漏洞深度剖析 Redis:强大的内存数据库 Redis 产生漏洞的原因 SSRF 漏洞利用 Redis 实战步骤 准备环境 下载安装 Redis 配置漏洞环境 启动 Redis 攻击机远程连接 Redis 利用 Redis 写 Webshell 防范措施 前言 在网络安全领域࿰…...
react的antd表格自定义图标
将原版的加号换成箭头 自定义图标 安装图标包: npm install --save ant-design/icons 引入: import { RightOutlined, DownOutlined } from ant-design/icons; 参数是一个函数 <Table columns{columns} dataSource{data} indentSize{20}expandIc…...
Games104——游戏引擎Gameplay玩法系统:基础AI
这里写目录标题 寻路/导航系统NavigationWalkable AreaWaypoint NetworkGridNavigation Mesh(寻路网格)Sparse Voxel Octree Path FindingDijkstra Algorithm迪杰斯特拉算法A Star(A*算法) Path Smoothing Steering系统Crowd Simu…...
Java 2024年面试总结(持续更新)
目录 最近趁着金三银四面了五六家公司吧,也整理了一些问题供大家参考一下(适合经验三年左右的)。 面试问题(答案是我自己总结的,不一定正确): 总结: 最近趁着金三银四面了五六家公…...
