MySQL篇之对MySQL进行参数优化,提高MySQL性能
1. MySQL参数优化说明
MySQL 参数调优是提高数据库性能的重要手段之一。通过调整 MySQL 的配置参数,可以优化查询速度、提升并发处理能力、减少资源消耗等。
MySQL 的性能优化涉及到多个方面,包括内存管理、磁盘 I/O、查询优化、连接管理、复制配置等。根据不同的应用场景和硬件资源,MySQL 参数的优化配置可以显著提高数据库的性能。
2. MySQL参数优化类型
2.1. 内存相关优化
内存优化通常是提高 MySQL 性能的首要步骤。主要包括缓存、缓冲池等配置,确保数据库能够高效利用内存资源。
2.1.1. InnoDB 缓冲池 (InnoDB Buffer Pool)
innodb_buffer_pool_size 是 InnoDB 存储引擎最重要的内存参数之一。它决定了 InnoDB 用于存储数据和索引的内存大小。合理设置它可以减少磁盘 I/O,提高查询速度。
建议:根据系统的总内存来调整该参数。一般来说,MySQL 数据库的缓冲池应该占系统物理内存的 60% 至 80%。
innodb_buffer_pool_size = 8G
1.2 InnoDB 日志缓冲区 (InnoDB Log Buffer)
innodb_log_buffer_size 决定了写入 InnoDB 日志的缓冲区大小。增大这个值可以减少写入磁盘的频率,适用于写入负载较大的环境。
建议:对于写密集型应用,适当增大该值。
innodb_log_buffer_size = 64M
1.3 InnoDB 日志文件大小 (InnoDB Log File Size)
innodb_log_file_size 控制单个 InnoDB 日志文件的大小。如果日志文件太小,MySQL 会频繁写入磁盘,增加 I/O 开销。如果日志文件太大,重启时恢复日志会消耗更多时间。
建议:根据事务的数量和大小,设置合适的日志文件大小。一般来说,每个日志文件的大小可以设置为 256MB 至 1GB。
innodb_log_file_size = 512M
1.4 InnoDB 刷新策略 (InnoDB Flush Settings)
innodb_flush_log_at_trx_commit:控制事务提交时日志的刷新策略。默认设置为 1(每次事务提交时都会刷新日志到磁盘),为提高性能,可以设置为 2 或 0,但会牺牲一定的数据安全性。
innodb_flush_log_at_trx_commit = 2
2.2. 查询优化
查询优化有助于提高 MySQL 在高并发环境下的响应速度。下面是一些常用的查询优化参数。
2.2.1 查询缓存 (Query Cache)
query_cache_size 用于存储查询的结果,以便在相同的查询再次执行时快速返回结果。然而,查询缓存可能会影响性能,特别是在高频繁更新的数据库中。因此,对于高写负载的应用,可以关闭查询缓存。
建议:如果数据库主要用于读操作,并且数据更新频率较低,可以启用查询缓存。
query_cache_size = 64M
query_cache_type = 1
注:如果负载主要是写操作,推荐禁用查询缓存:
query_cache_type = 0
query_cache_size = 0
2.2 临时表 (Temporary Tables)
MySQL 使用临时表来处理复杂的查询。tmp_table_size 和 max_heap_table_size 控制内存中临时表的最大大小。如果临时表超出了此大小,它们会被写入磁盘,从而降低性能。
建议:适当增大这两个参数,减少磁盘 I/O。
tmp_table_size = 64M
max_heap_table_size = 64M
2.3 排序缓冲区 (Sort Buffer)
sort_buffer_size 控制 MySQL 执行 ORDER BY 操作时使用的内存缓冲区大小。如果排序的结果集很大,增大这个值可以提高排序的效率。
建议:根据查询的排序操作,适当调整该值。通常设置为 1MB 到 4MB 之间。
sort_buffer_size = 4M
2.3. 连接管理优化
MySQL 的连接管理对高并发环境下的性能影响较大。合理的连接池管理能够有效减少连接的建立和销毁开销。
2.3.1 最大连接数 (Max Connections)
max_connections 参数控制 MySQL 可以同时处理的最大连接数。如果连接数过多,可能会导致资源耗尽,影响性能。
建议:根据实际并发需求设置合适的值。通常情况下,设置为 500 至 1000 之间,过高的设置可能会增加系统负担。
max_connections = 500
2.3.2 连接超时 (Wait Timeout)
wait_timeout 和 interactive_timeout 控制连接空闲的超时时间。合理设置这些超时参数,避免过多的空闲连接占用系统资源。
wait_timeout = 28800
interactive_timeout = 28800
2.4. 磁盘 I/O 优化
磁盘 I/O 是数据库性能的重要瓶颈,合理配置与磁盘相关的参数有助于减少磁盘访问次数,提高性能。
2.4.1 写入时同步 (Sync Binlog)
sync_binlog 控制二进制日志的同步方式。如果设置为 1,每次写入二进制日志都会同步到磁盘,保证事务的持久性,但会带来一定的性能开销。
建议:为了提高性能,可以将其设置为 0,但这样会增加数据丢失的风险。
sync_binlog = 1
2.4.2 事务日志同步 (Innodb Flush Method)
innodb_flush_method 控制 InnoDB 如何刷新数据和日志。O_DIRECT 是推荐的选项,因为它可以避免操作系统的缓存机制。
innodb_flush_method = O_DIRECT
2.5. 日志和监控优化
MySQL 的日志记录可以帮助我们在故障时进行诊断,但是过多的日志记录会增加系统的负担。
2.5.1 慢查询日志 (Slow Query Log)
启用慢查询日志可以帮助你找到性能瓶颈。long_query_time 控制被认为是慢查询的阈值,单位是秒。
slow_query_log = 1
long_query_time = 2
log_slow_verbosity = query_plan
2.5.2 错误日志 (Error Log)
log_error 参数控制 MySQL 错误日志的输出位置。定期检查错误日志,可以帮助管理员及时发现问题。
log_error = /var/log/mysql/error.log
2.6. 高可用性和复制优化
在高可用性和复制架构下,优化复制的配置对于保证数据一致性和减少延迟至关重要。
2.6.1 二进制日志和复制配置
log_slave_updates:使从节点记录二进制日志,对于链式复制非常重要。
read_only:从节点通常设置为只读,防止修改数据。
log_slave_updates = 1
read_only = 1
3. 示例配置
my.ini
[mysqld]
innodb_buffer_pool_size = 8G
innodb_log_file_size = 512M
max_connections = 500
query_cache_type = 1
query_cache_size = 100M
tmp_table_size = 64M
max_heap_table_size = 64M
thread_cache_size = 50
innodb_flush_log_at_trx_commit = 1
innodb_io_capacity = 200
join_buffer_size = 8M
sort_buffer_size = 8M
slow_query_log = 1
long_query_time = 2
注意事项
- 监控和测试:在调整参数后,需要进行充分的监控和测试,确保调整后的参数确实提升了性能,而不是引入了新的问题。
- 逐步调整:不要一次性调整多个参数,建议逐步调整,每次调整一个参数并观察效果。
- 硬件资源:调整参数时要考虑服务器的硬件资源,避免过度消耗内存和 CPU。 通过合理的参数调优,可以显著提升 MySQL 数据库的性能和稳定性。
相关文章:
MySQL篇之对MySQL进行参数优化,提高MySQL性能
1. MySQL参数优化说明 MySQL 参数调优是提高数据库性能的重要手段之一。通过调整 MySQL 的配置参数,可以优化查询速度、提升并发处理能力、减少资源消耗等。 MySQL 的性能优化涉及到多个方面,包括内存管理、磁盘 I/O、查询优化、连接管理、复制配置等。…...
Vue 3 的 keep-alive 及生命周期钩子
在 Vue 3 中,keep-alive 是一个内置组件,用于提高性能和减少不必要的组件销毁与重建。它与组件的生命周期紧密相关,特别是在动态组件和路由切换场景下,能够缓存组件的状态并避免重新渲染。 而 onActivated 和 onDeactivated 是 …...
ComfyUI实现老照片修复——AI修复老照片(ComfyUI-ReActor / ReSwapper)解决天坑问题及加速pip下载
AI修复老照片,试试吧,不一定好~~哈哈 2023年4月曾用过ComfyUI,当时就感慨这个工具和虚幻的蓝图很像,以后肯定是专业人玩的。 2024年我写代码去了,AI做图没太关注,没想到,现在ComfyUI真的变成了工…...
OpenEuler学习笔记(十一):OpenEuler上搭建LAMP环境
LAMP环境指的是Linux、Apache、MySQL(或MariaDB)和PHP的组合,下面为你介绍在OpenEuler上搭建LAMP环境的详细步骤: 1. 系统更新 首先要更新系统中的软件包,保证系统处于最新状态。 sudo dnf update -y2. 安装Apache…...
Mongodb 慢查询日志分析 - 1
Mongodb 慢查询日志分析 使用 mloginfo 处理过的日志会在控制台输出, 显示还是比较友好的. 但是如果内容较大, 就不方便查看了, 如果可以导入到 excel 就比较方便筛选/排序. 但是 mloginfo 并没有提供生成到 excel 的功能. 可以通过一个 python 脚本辅助生成: import pandas…...
MySQL面试题2025 每日20道【其四】
1、你们生产环境的 MySQL 中使用了什么事务隔离级别?为什么? 中等 在生产环境中,MySQL数据库的事务隔离级别通常由开发团队或数据库管理员根据应用的需求来设定。MySQL支持四种标准的事务隔离级别: 读未提交(Read Unc…...
微服务学习-Nacos 注册中心实战
1. 注册中心的设计思路 1.1. 微服务为什么会用到注册中心? 服务与服务之间调用需要有服务发现功能;例如订单服务调用库存服务,库存服务如果有多个,订单服务到底调用那个库存服务呢(负载均衡器)࿰…...
k8s服务StatefulSet部署模板
java 服务StatefulSet部署模板 vim templates-test.yamlapiVersion: apps/v1 kind: StatefulSet metadata:labels:app: ${app_labels}name: ${app_name}namespace: ${app_namespace} spec:replicas: ${app_replicas_count}selector:matchLabels:app: ${app_labels}template:la…...
07 区块链安全技术
概述 区块链的安全特性 区块链解决了在不可靠网络上可靠地传输信息的难题,由于不依赖与中心节点的认证和管理,因此防止了中心节点被攻击造成的数据泄露和认证失败的风险。 区块链安全防护的三大特点 共识机制代替中心认证机制数据篡改“一发动全身”…...
Adobe的AI生成3D数字人框架:从自拍到生动的3D化身
一、引言 随着人工智能技术的发展,我们见证了越来越多创新工具的出现,这些工具使得图像处理和视频编辑变得更加智能与高效。Adobe作为全球领先的创意软件公司,最近推出了一项令人瞩目的新技术——一个能够将普通的二维自拍照转换成栩栩如生的三维(3D)数字人的框架。这项技…...
dfs专题四:综合练习
key:画出决策树(就是找个简单例子模拟一下的树状决策图) dfs传参 or 全局变量: int, double等常量/比较小的变量,可以dfs参数传递vector等线性O(N)变量,要用全局变量 回溯&#x…...
【线性代数】列主元法求矩阵的逆
列主元方法是一种用于求解矩阵逆的数值方法,特别适用于在计算机上实现。其基本思想是通过高斯消元法将矩阵转换为上三角矩阵,然后通过回代求解矩阵的逆。以下是列主元方法求解矩阵 A A A 的逆的步骤: [精确算法] 列主元高斯消元法 步骤 1&am…...
大写——蓝桥杯
1.题目描述 给定一个只包含大写字母和小写字母的字符串,请将其中所有的小写字母转换成大写字母后将字符串输出。 输入描述 输入一行包含一个字符串。 输出描述 输出转换成大写后的字符串。 输入输出样例 示例 输入 LanQiao输出 LANQIAO评测用例规模与约定 对…...
HTML `<head>` 元素详解
在 HTML 文档中,<head> 元素是一个非常重要的部分,它包含了文档的元数据(metadata)和其他与文档相关的信息。虽然 <head> 中的内容不会直接显示在网页上,但它对网页的行为、样式和搜索引擎优化(…...
一文速通stack和queue的理解与使用
CSTL之stack和queue 1.stack1.1.stack的基本概念1.2.stack的接口 2.queue2.1.queue的基本概念2.2.queue的接口 3.priority_queue3.1.priority_queue的基本概念3.2.priority_queue的接口3.3.仿函数 4.容器适配器5.deque5.1.deque的简单了解5.2.deque的优缺点 🌟&…...
Antd React Form使用Radio嵌套多个Select和Input的处理
使用Antd React Form使用Radio会遇到嵌套多个Select和Input的处理,需要多层嵌套和处理默认事件和冒泡,具体实现过程直接上代码。 实现效果布局如下图 代码 <Formname"basic"form{form}labelWrap{...formItemLayoutSpan(5, 19)}onFinish{on…...
Vue - toRefs() 和 toRef() 的使用
一、toRefs() 在 Vue 3 中,toRefs()可以将响应式对象的属性转换为可响应的 refs。主要用于在解构响应式对象时,保持属性的响应性。 1. 导入 toRefs 函数 import { toRefs } from vue;2. 将响应式对象的属性转换为 ref const state reactive({count: 0,message:…...
Python3 OS模块中的文件/目录方法说明九
一. 简介 前面文章简单学习了 Python3 中 OS模块中的文件/目录的部分函数。 本文继续来学习 OS 模块中文件、目录的操作方法:os.pipe() 方法、os.popen() 方法。 二. Python3 OS模块中的文件/目录方法 1. os.pipe() 方法 os.pipe() 方法用于创建一个管道, 返回…...
OpenCV文字绘制支持中文显示
OpenCV版本:4.4 IDE:VS2019 功能描述 OpenCV绘制文本的函数putText()不支持中文的显示,网上很多方法推荐的都是使用FreeType来支持,FreeType是什么呢?FreeType的官网上有介绍 FreeType官网 https://www.freetype.or…...
opengrok_windows_多工程环境搭建
目录 多工程的目录 工程代码下载和log配置 工程的索引 工程部署 工程测试 参考列表 多工程的目录 工程代码下载和log配置 工程代码下载 在每个工程的src目录下,下载工程代码,以下载pulseaudio的代码为例。 git clone gitgithub.com…...
论文阅读 AIED 2024 Coding with AI: How Are Tools Like ChatGPT Being Used by Students in Foundational Pro
总目录 大模型相关研究:https://blog.csdn.net/WhiffeYF/article/details/142132328 Coding with AI: How Are Tools Like ChatGPT Being Used by Students in Foundational Programming Courses https://link.springer.com/chapter/10.1007/978-3-031-64299-9_20…...
102. 在控制平面主机名更改后恢复 Rancher 配置的 RKE2 集群
Environment 环境 Rancher provisioned RKE2 downstream cluster control plane node hostname changed, without removing the node from the cluster. Rancher 配置了 RKE2 下游集群控制平面节点的主机名更改,但未将该节点从集群中移除。 Procedure 程序It is …...
AI+Python 双驱动计量经济学:从多源数据处理到 SCI 论文--多源数据处理、机器学习预测及复杂因果识别全流程实战随机森林模型核心技术
为什么你自学了这么久,还是做不出成果?很多科研人做计量经济学研究,最大的问题不是不够努力,而是没有一套完整的全链条体系:只学了模型操作,却不懂底层理论,换个研究问题、换个数据集就不会做了…...
实战派指南:用MaPLe思路优化你的CLIP下游任务,附关键配置与避坑建议
实战派指南:用MaPLe思路优化你的CLIP下游任务,附关键配置与避坑建议 当CLIP遇上业务场景,90%的开发者都会遇到相同的问题:模型在新类别上的表现总是不尽如人意。上周团队用默认参数跑跨模态检索任务时,基类准确率82%的…...
音乐留学路上,这些坑我替你踩过了|纯干货分享
写给正在准备或即将踏上音乐留学之路的你嘿,准备音乐留学的你。我知道你现在可能既兴奋又焦虑,手里攥着梦想,却不知道下一步该往哪走。别慌,作为过来人,我想跟你聊点实在的。"音乐留学不是终点,而是你…...
GIL移除≠自动线程安全!揭秘Python 3.13+中asyncio+shared_memory+numpy.ndarray三者交汇处的5个未公开竞态漏洞
第一章:Python无锁GIL环境下的并发安全本质重构当Python脱离CPython解释器的全局解释器锁(GIL)约束——例如在PyPy的STM模式、Jython、Cython多线程扩展,或新兴的Rust-Python绑定(如PyO3 async-std)中运行…...
H3C IRF 四台交换机堆叠实战:环型拓扑配置详解
1. 四台H3C交换机IRF堆叠入门指南 第一次接触H3C交换机的IRF堆叠功能时,我完全被它的强大所震撼。简单来说,IRF(Intelligent Resilient Framework)技术可以把多台物理交换机虚拟成一台逻辑设备,不仅简化管理ÿ…...
细致配置Doctrine,专注于指定前缀表的迁移
在使用Symfony和Doctrine进行项目开发时,如何优雅地处理数据库迁移是一个常见的问题。本文将详细探讨如何配置Doctrine,使其在生成迁移文件时仅关注特定前缀的表(如pp_前缀的表),从而避免迁移文件中包含不必要的表。 背景介绍 假设你有一个Symfony项目,该项目中数据库已…...
BP算法在SAR成像中的高效实现与优化策略
1. BP算法在SAR成像中的核心原理 BP(Back Projection)算法是合成孔径雷达(SAR)成像中最直观的时域处理方法。我第一次接触这个算法时,就被它那种"暴力美学"式的计算逻辑震撼到了——它不需要任何傅里叶变换的…...
算法对齐还是实战突围?解构GEO优化中方法论与实践的权重博弈
在生成式人工智能(AIGC)重塑全球信息检索范式的当下,生成式引擎优化(Generative Engine Optimization, GEO)已从一种前沿概念演变为品牌流量增长的底层操作系统。随着大语言模型(LLM)与检索增强…...
