mysql undolog管理
在MySQL中,Undo Log(撤销日志)用于支持事务的回滚和MVCC(多版本并发控制)。为了避免Undo Log不断增长,影响系统性能,需要进行合理的清理。MySQL的Undo Log清理策略主要依赖于系统的配置参数和后台线程的操作。以下是MySQL中有关Undo Log清理策略及相关配置参数的详细说明:
undolog配置
Undo Log 清理策略
MySQL会自动管理Undo Log的清理,通过以下几种方式:
- 事务提交后的清理:当一个事务提交后,MySQL会标记该事务的Undo Log为可清理状态。
- 定期清理:MySQL的后台线程会定期扫描和清理已提交事务的Undo Log。
- 空间管理:MySQL会根据配置参数管理Undo Log表空间的回收和重新使用。
相关配置参数
- innodb_undo_tablespaces
- 含义:配置InnoDB使用的Undo表空间的数量。
- 默认值:2
- 说明:增加Undo表空间的数量可以减轻每个表空间的负担,改善性能。
- innodb_max_undo_log_size
- 含义:设置单个Undo表空间的最大大小。
- 默认值:1 GB
- 说明:达到此限制后,InnoDB将尝试压缩Undo日志。
- innodb_undo_log_truncate
- 含义:启用或禁用Undo表空间的截断。
- 默认值:ON
- 说明:启用此参数后,InnoDB会定期检查并截断已提交事务的Undo日志,释放表空间。
- innodb_purge_rseg_truncate_frequency
- 含义:设置截断Undo表空间的频率。
- 默认值:128
- 说明:该参数控制每128次清理操作后尝试截断Undo表空间。
- innodb_purge_threads
- 含义:设置后台清理线程的数量。
- 默认值:4
- 说明:增加清理线程数量可以加快Undo Log的清理速度。
- innodb_undo_logs
- 含义:设置InnoDB存储的Undo日志的数量。
- 默认值:128
- 说明:每个事务使用一个Undo日志,增加此参数可以提高并发事务的处理能力。
配置示例
-- 设置使用4个Undo表空间
SET GLOBAL innodb_undo_tablespaces = 4;-- 设置单个Undo表空间的最大大小为2GB
SET GLOBAL innodb_max_undo_log_size = 2 * 1024 * 1024 * 1024;-- 启用Undo表空间的截断
SET GLOBAL innodb_undo_log_truncate = ON;-- 设置截断Undo表空间的频率为64
SET GLOBAL innodb_purge_rseg_truncate_frequency = 64;-- 设置后台清理线程的数量为8
SET GLOBAL innodb_purge_threads = 8;-- 设置InnoDB存储的Undo日志数量为256
SET GLOBAL innodb_undo_logs = 256;
注意事项
- 性能优化:合理设置以上参数可以帮助优化Undo Log的管理,减少磁盘空间的占用,提高系统性能。
- 监控和调整:实际应用中,需要根据系统负载和性能监控结果适当调整这些参数,以达到最佳效果。
- 版本依赖:部分参数可能依赖于MySQL的版本,不同版本的MySQL支持的参数和默认值可能有所不同,配置时需要参考相应版本的官方文档。
通过合理配置这些参数,您可以有效地管理MySQL中的Undo Log,避免其无限增长影响系统性能。
undolog清理
清理方案,按需选择操作
启用和配置Undo Log截断
确保已经启用了Undo Log截断功能,这样MySQL会在需要时自动截断并清理Undo Log。
检查和设置相关参数
-- 启用Undo表空间的截断
SET GLOBAL innodb_undo_log_truncate = ON;-- 设置截断Undo表空间的频率
SET GLOBAL innodb_purge_rseg_truncate_frequency = 64;-- 设置最大Undo表空间大小
SET GLOBAL innodb_max_undo_log_size = 2 * 1024 * 1024 * 1024; -- 2GB
手动执行清理操作
尽管有自动清理机制,有时手动操作可以更有效地释放空间。例如,重启MySQL服务器可以强制清理某些资源:
# 停止MySQL服务
sudo service mysql stop# 启动MySQL服务
sudo service mysql start
重建Undo表空间
如果需要进一步的清理,可以考虑重建Undo表空间。请注意,这个操作涉及到MySQL的重启和一些风险,建议在维护窗口期或低负载时进行,并且提前做好数据备份。
步骤如下:
- 停止MySQL服务:
sudo service mysql stop
- 删除Undo表空间文件:通常,Undo表空间文件位于MySQL数据目录中,命名为undo_001、undo_002等。删除这些文件可以强制MySQL重新创建它们。
sudo rm /var/lib/mysql/undo_001
sudo rm /var/lib/mysql/undo_002
- 启动MySQL服务:
sudo service mysql start
MySQL会自动重新创建这些Undo表空间文件。
配置自动清理和定期维护
确保定期检查和维护MySQL数据库,监控Undo Log的使用情况,必要时调整参数设置,以确保系统高效运行并防止磁盘空间的浪费。
注意事项
- 备份数据:在执行任何涉及删除或重建Undo表空间的操作前,务必备份数据。
- 监控系统:使用监控工具来跟踪Undo Log的使用情况,确保在自动清理机制生效前不会发生磁盘空间耗尽的情况。
- 测试环境:在生产环境中进行操作前,建议在测试环境中验证这些步骤,确保不会对系统造成不必要的影响。
通过这些方法,可以有效地管理和清理Undo Log,释放磁盘空间,确保MySQL系统的稳定运行。
相关文章:
mysql undolog管理
在MySQL中,Undo Log(撤销日志)用于支持事务的回滚和MVCC(多版本并发控制)。为了避免Undo Log不断增长,影响系统性能,需要进行合理的清理。MySQL的Undo Log清理策略主要依赖于系统的配置参数和后…...
【Linux】进程2——管理概念,进程概念
1.什么是管理? 那在还没有学习进程之前,就问大家,操作系统是怎么管理进行进程管理的呢? 很简单,先把进程描述起来,再把进程组织起来! 我们拿大学为例子 最典型的管理者——校长最典型的被管理…...
【C++】植物大战僵尸杂交版自动存档——防闪退存档消失
植物大战僵尸杂交版现已更新到v2.0.88,闪退问题还是偶有发生,参考网上现有的方案,简单实现了一个。 原理就是监控存档目录的文件变化,一旦有新的存档,则将其备份。如发生闪退,则还原备份即可。 原目录&…...
通过Excel,生成sql,将A表数据插入B表
文章目录 投机取巧的方式,进行表数据初始化通过navicat搜索A表数据,然后复制进excel中通过excel的函数方式,将该批量数据自动生成插入B表的sql语句然后一次性拷贝生成的sql语句,放进navicat中一次执行,直接完成数据初始化...
如何在MySQL中实现upsert:如果不存在则插入?
目录 1 使用 REPLACE 2 使用 INSERT ... ON DUPLICATE KEY UPDATE 使用 INSERT IGNORE 有效会导致 MySQL 在尝试执行语句时忽略执行错误 INSERT 。这意味着 包含 索引或 字段 INSERT IGNORE 中重复值的语句 不会 产生错误,而只是完全忽略该特定 命令。其明显目的是…...
MyBatis中 set标签
1、set标签特点: set标签用于更新语句中set标签解析为set关键字set可以去除跟新语句中无用的逗号通常是和if标签一起使用 2、set标签的使用 编写接口方法编写sql语句 注意 当set标签中有条件成立时就会附加set关键字,字段为null时该列不会被更新。se…...
mysql自带分页
select 查询列表 from 表 limit offset,pagesize; offset代表的是起始的条目索引,默认从0开始size代表的是显示的条目数offset(n-1)*pagesize -- 第-页 limit 0 5 -- 第二页 limit 5,5 -- 第三页 limit 10,5 -- 第n页limit(n-1)*pagesize,pagesize -- pages…...
小学一年级数学上册,我终于学完了
目录 一、背景二、过程1.我对课程中的一些知识的思考2.我对于产品的思考3.我对自己儿子与知识产品结合的思考4.产品反馈的那些有意思的数据 三、总结 一、背景 简约而不简单,即是曾经的再现,也是未来的延伸,未来已来,就在脚下。 …...
使用wireshark分析tcp握手过程
开启抓包 tcpdump -i any host 127.0.0.1 and port 123 -w tcp_capture.pcap 使用telnet模拟tcp连接 telnet 127.0.0.1 123 如果地址无法连接,则会一直重试SYN包,各个平台SYN重试间隔并不一致,如下: 异常站点抓包展示ÿ…...
在ArcGIS中,矢量数据有.shp,.mdb和.gdb,为啥建议使用gdb?
在ArcGIS中,矢量数据可以存储在多种格式中,如 .shp (Shapefile)、.mdb (Microsoft Access Database) 和 .gdb (Geodatabase)。每种格式都有其特定的用途和优缺点,但通常推荐使用 Geodatabase(.gdb)格式,原因如下: 1. 更高的数据容量和性能 容量: Shapefiles 和 MDB 文…...
C++STL---stack queue模拟实现
前言 对于这两个容器适配器的模拟实现非常简单,因为stack和queue只是对其他容器的接口进行了包装,在STL中,若我们不指明用哪种容器作为底层实现,栈和队列都默认是又deque作为底层实现的。 也就是说,stack和queue不管是…...
Spring Cloud系列——使用Sentinel进行微服务保护
文章目录 一、引言1. 雪崩问题的产生原因2. 解决雪崩问题的思路 二、微服务保护1. 服务保护方案1.1 请求限流1.2 线程隔离1.3 服务熔断 2. Sentinel2.1 安装2.2 微服务整合2.2.1 请求限流2.2.2 线程隔离①OpenFeign整合Sentinel②配置线程隔离 2.2.3 服务熔断①编写降级逻辑②配…...
Android开机动画,framework修改Bootanimation绘制文字。
文章目录 Android开机动画,framework修改Bootanimation动画绘制文字。opengl绘制源码分析 Android开机动画,framework修改Bootanimation动画绘制文字。 frameworks/base/cmds/bootanimation/bootanimation.cpp 绘制时间的一个方法 // We render 12 or …...
2024河南高考作文ChatGPT
阅读下面的材料,根据要求写作。(60分) 随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少? 以上材料引发了你怎样的联想和思考?请写一篇文章。 要…...
整理好了!2024年最常见 20 道分布式、微服务面试题(一)
一、什么是分布式系统? 分布式系统是由多个独立的计算机(通常称为节点)组成的系统,这些计算机通过网络连接在一起,协同工作以完成一个共同的任务或服务。以下是分布式系统的关键特点和概念: 网络依赖性&am…...
要想数据形成好的数据集,必须数据治理(目的之一是防止大模型产生灰色数据等),用于炼丹(训练数据私有化模型)的数据才是好数据
数据治理:必要性、实施方法及挑战 引言 在当今数字化时代,数据已经成为企业最重要的资产之一。随着数据量的爆炸性增长,如何有效地管理和利用数据成为企业面临的重大挑战。数据治理(Data Governance)作为一种系统化的…...
外部mysql导入
利用这个命令: mysql -u username -p database_name < file.sql 然后就这样。成功导入。...
Qwen-VL论文阅读
论文地址 其他同学的详细讲解 模型结构和参数大小 (1)LLM:Qwen-7B (2)Vision Encoder:ViT架构,初始化参数是 Openclip’s ViT-bigG。 在训练和推理过程中,输入的图像都被调整到…...
超详细的java Comparable,Comparator接口解析
前言 Hello大家好呀,在java中我们常常涉及到对象的比较,不同于基本数据类型,对于我们的自定义对象,需要我们自己去建立比较标准,例如我们自定义一个People类,这个类有name和age两个属性,那么问…...
Java使用GDAL来解析KMZ及KML实战
目录 前言 一、在GQIS中浏览数据 1、关于空间参考 2、属性表格 二、GDAL的相关驱动及解析实战 1、GDAL中的KMZ驱动 2、GDAL实际解析 三、数据解析成果 1、KML解析结果 2、KMZ文件入库 四、总结 前言 在前面的博客中讲过纯Java实现Google地图的KMZ和KML文件的解析&…...
网络编程(Modbus进阶)
思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…...
【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15
缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下: struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...
【Linux】shell脚本忽略错误继续执行
在 shell 脚本中,可以使用 set -e 命令来设置脚本在遇到错误时退出执行。如果你希望脚本忽略错误并继续执行,可以在脚本开头添加 set e 命令来取消该设置。 举例1 #!/bin/bash# 取消 set -e 的设置 set e# 执行命令,并忽略错误 rm somefile…...
剑指offer20_链表中环的入口节点
链表中环的入口节点 给定一个链表,若其中包含环,则输出环的入口节点。 若其中不包含环,则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...
Cloudflare 从 Nginx 到 Pingora:性能、效率与安全的全面升级
在互联网的快速发展中,高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司,近期做出了一个重大技术决策:弃用长期使用的 Nginx,转而采用其内部开发…...
ardupilot 开发环境eclipse 中import 缺少C++
目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++,无法导入ardupilot代码,会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...
Linux --进程控制
本文从以下五个方面来初步认识进程控制: 目录 进程创建 进程终止 进程等待 进程替换 模拟实现一个微型shell 进程创建 在Linux系统中我们可以在一个进程使用系统调用fork()来创建子进程,创建出来的进程就是子进程,原来的进程为父进程。…...
10-Oracle 23 ai Vector Search 概述和参数
一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI,使用客户端或是内部自己搭建集成大模型的终端,加速与大型语言模型(LLM)的结合,同时使用检索增强生成(Retrieval Augmented Generation &#…...
AI+无人机如何守护濒危物种?YOLOv8实现95%精准识别
【导读】 野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而,传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案,能够实现大范围覆盖并远程采集数据。尽管具备这些优势…...
论文阅读:LLM4Drive: A Survey of Large Language Models for Autonomous Driving
地址:LLM4Drive: A Survey of Large Language Models for Autonomous Driving 摘要翻译 自动驾驶技术作为推动交通和城市出行变革的催化剂,正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。…...
