MySQL六大日志的功能介绍。
前言
首先,MySQL的日志应该包括二进制日志(Binary Log)、错误日志(Error Log)、查询日志(General Query Log)、慢查询日志(Slow Query Log)、重做日志(Redo Log)和回滚日志(Undo Log)。不过我不确定是否这六个是正确的,或者有没有遗漏或者不同的分类方式。
-
二进制日志(Binary Log):这个我记得是用来记录所有对数据库的更改操作的,比如INSERT、UPDATE、DELETE等,主要用于主从复制(Replication)和某些数据恢复场景。二进制日志是逻辑日志,记录的是SQL语句或者行的变更。不过具体细节可能要看不同的格式设置,比如statement、row或者mixed模式。
-
错误日志(Error Log):这个应该记录MySQL运行过程中出现的错误信息,比如启动、关闭过程中的问题,或者运行时的严重错误。比如当MySQL无法启动时,查看错误日志就能找到原因。
-
查询日志(General Query Log):这个日志会记录所有的客户端连接和执行的SQL语句,不管是SELECT还是其他操作。不过开启这个日志可能会对性能有影响,因为所有查询都会被记录,所以在生产环境中可能不会一直开启。
-
慢查询日志(Slow Query Log):这个记录执行时间超过设定阈值的查询,以及可能没有使用索引的查询。这个日志对优化数据库性能很有帮助,可以通过分析慢查询日志找到需要优化的SQL语句。
-
重做日志(Redo Log):这个是InnoDB存储引擎特有的日志,用于事务的持久性。当发生系统崩溃时,可以通过重做日志来恢复未写入数据文件的事务操作。重做日志是物理日志,记录的是数据页的修改。
-
回滚日志(Undo Log):同样属于InnoDB,用于事务的回滚和MVCC(多版本并发控制)。当事务需要回滚时,Undo Log可以恢复到事务开始前的状态。同时,在MVCC中,其他事务可能需要读取旧版本的数据,这时Undo Log提供了所需的历史版本。
-
二进制日志:记录所有数据变更操作,用于主从复制和数据恢复。可以用于时间点恢复(PITR),将数据库恢复到某个特定时间点的状态。此外,二进制日志还支持多种格式,比如基于语句(statement)、基于行(row)或者混合模式(mixed)。
-
错误日志:记录MySQL服务启动、运行、停止时的错误信息,警告信息,或者其他诊断信息。比如,当数据库无法启动时,查看错误日志可以找到具体的错误原因,如配置错误、端口被占用等。
-
查询日志:记录所有连接到MySQL服务器的客户端请求和执行的SQL语句。这个日志对于审计和调试非常有用,但因为记录所有操作,可能会占用大量磁盘空间,影响性能,所以通常只在需要调试的时候开启。
-
慢查询日志:记录执行时间超过long_query_time参数设置的阈值,或者没有使用索引的查询语句。帮助DBA优化数据库性能,通过分析这些慢查询,可以找出需要优化的SQL语句或者索引缺失的情况。
-
重做日志(Redo Log):InnoDB引擎使用,保证事务的持久性。在事务提交时,先将变更写入重做日志,然后再慢慢刷新到磁盘的数据文件中。当系统崩溃时,通过重做日志可以恢复那些已经提交但尚未写入数据文件的事务,确保数据不丢失。重做日志是循环写入的,有固定的大小。
-
回滚日志(Undo Log):同样由InnoDB引擎管理,用于事务回滚和MVCC。当事务需要回滚时,利用Undo Log中的信息撤销已经执行的操作。此外,在并发事务中,当其他事务需要读取数据的历史版本时,Undo Log提供旧版本的数据,从而实现一致性读。
不过,有没有可能混淆了重做日志和二进制日志?比如,二进制日志是服务器层的,而重做日志是存储引擎层的。它们的用途不同,二进制日志用于复制和恢复,而重做日志用于崩溃恢复。
另外,事务的ACID特性中,持久性(Durability)是通过重做日志来保证的,原子性(Atomicity)是通过回滚日志实现的。隔离性(Isolation)则通过锁和MVCC来实现,其中MVCC又依赖Undo Log,通常情况下,日志之间是相互作用的,以保证数据库的并发数据的可靠性问题。
所以,这六大日志各自在数据库的不同方面发挥作用,比如数据恢复、性能优化、错误诊断、事务处理等。理解每个日志的作用,有助于在运维和开发过程中更好地利用这些日志解决问题。
MySQL的六大日志在数据库的运行、维护和优化中扮演着关键角色。以下是它们的详细功能介绍:
1. 二进制日志(Binary Log)
- 功能:
- 主从复制:记录所有对数据库的更改操作(如INSERT、UPDATE、DELETE),从库通过重放这些操作实现数据同步。
- 数据恢复:支持时间点恢复(PITR),可将数据库恢复到特定时间点的状态。
- 审计:追踪数据变更历史,用于安全审计。
- 日志格式:
- Statement-Based:记录SQL语句(节省空间,但可能因函数调用导致主从不一致)。
- Row-Based:记录行级别的变更(安全,但日志量大)。
- Mixed:混合模式,自动选择最优方式。
- 配置参数:
[mysqld] log_bin = /var/lib/mysql/mysql-bin # 启用二进制日志 binlog_format = ROW # 设置日志格式
2. 错误日志(Error Log)
- 功能:
- 错误诊断:记录MySQL启动、运行、关闭过程中的错误和警告信息。
- 运维监控:帮助快速定位服务异常(如权限问题、端口冲突、存储引擎崩溃等)。
- 默认路径:
- Linux:
/var/log/mysql/error.log - Windows:
C:\ProgramData\MySQL\MySQL Server 8.0\Data\<hostname>.err
- Linux:
- 配置参数:
[mysqld] log_error = /var/log/mysql/error.log # 指定错误日志路径
3. 查询日志(General Query Log)
- 功能:
- 全量SQL记录:记录所有客户端连接和执行的SQL语句(包括SELECT、CONNECT等)。
- 调试与审计:用于分析应用行为或排查异常请求。
- 注意:开启后可能显著增加磁盘I/O和空间占用。
- 配置参数:
[mysqld] general_log = ON # 启用查询日志 general_log_file = /var/log/mysql/query.log
4. 慢查询日志(Slow Query Log)
- 功能:
- 性能优化:记录执行时间超过阈值(默认10秒)或未使用索引的SQL。
- 索引分析:通过日志发现缺失索引或低效查询。
- 配置参数:
[mysqld] slow_query_log = ON # 启用慢查询日志 slow_query_log_file = /var/log/mysql/slow.log long_query_time = 2 # 超过2秒的查询视为慢查询 log_queries_not_using_indexes = ON # 记录未使用索引的查询
5. 重做日志(Redo Log)
- 功能:
- 崩溃恢复:确保事务的持久性(Durability),在系统崩溃后通过重做日志恢复已提交但未写入磁盘的事务。
- 物理日志:记录数据页的物理修改(如页号、偏移量、修改内容)。
- 结构:
- 日志文件组:通常由
ib_logfile0和ib_logfile1组成,循环写入。 - Write-Ahead Logging (WAL):事务提交前必须将日志写入磁盘。
- 日志文件组:通常由
- 配置参数:
[mysqld] innodb_log_file_size = 512M # 单个重做日志文件大小 innodb_log_files_in_group = 2 # 日志文件数量
6. 回滚日志(Undo Log)
- 功能:
- 事务回滚:保存事务修改前的旧值,支持事务的原子性(Atomicity)。
- MVCC实现:为其他事务提供数据的历史版本,实现一致性非锁定读(Read View)。
- 存储位置:默认在系统表空间(
ibdata1)或独立Undo表空间。 - 配置参数:
[mysqld] innodb_undo_directory = /var/lib/mysql/undo # Undo日志路径 innodb_undo_tablespaces = 2 # Undo表空间数量
对比总结
| 日志类型 | 存储引擎 | 主要功能 | 数据级别 |
|---|---|---|---|
| 二进制日志 | MySQL Server | 主从复制、时间点恢复 | 逻辑日志(SQL/行) |
| 错误日志 | MySQL Server | 错误诊断与监控 | 文本日志 |
| 查询日志 | MySQL Server | 全量SQL审计与调试 | 文本日志 |
| 慢查询日志 | MySQL Server | 性能优化与索引分析 | 文本日志 |
| 重做日志 | InnoDB | 崩溃恢复、事务持久性 | 物理日志(数据页) |
| 回滚日志 | InnoDB | 事务回滚、MVCC支持 | 逻辑日志(旧数据) |
应用场景示例
- 主从同步异常:检查二进制日志是否正常生成及传输。
- 数据库崩溃恢复:依赖重做日志恢复未落盘的事务。
- 性能调优:分析慢查询日志优化SQL和索引。
- 事务回滚:通过Undo Log撤销未提交的事务操作。
理解这些日志的作用和配置方式,有助于高效运维MySQL数据库,保障数据安全与系统稳定。
结束语
本篇是一个总结性的文章,后面会详细分析二进制日志、重做日志以及回滚日志以及MVCC的原理。
相关文章:
MySQL六大日志的功能介绍。
前言 首先,MySQL的日志应该包括二进制日志(Binary Log)、错误日志(Error Log)、查询日志(General Query Log)、慢查询日志(Slow Query Log)、重做日志(Redo …...
java机器学习计算指标动态阈值
java机器学习计算指标动态阈值 最近听到有的人说要做机器学习就一定要学Python,我想他们掌握的知道还不够系统全面。本文作者以动态阈值需求场景给大家介绍几种常用Java实现的机器学习库,包括使用开源库如Weka或Deeplearning4j(DL4J…...
Note25021902_TIA Portal V18 WinCC BCA Ed 需要.NET 3.5 SP1
TIA Portal V18 WinCC BCA Ed 需要.NET 3.5 SP1 在安装TIA Portal V18时,遇到TIA Portal V18 WinCC BCA Ed 需要.NET 3.5 SP1. 请在此PC上中启用.NET 3.5 SP1; 检索: 电脑上如何启用 .NET 3.5 SP1 参考资料1: https://baijiahao.…...
CHARMM-GUI EnzyDocker: 一个基于网络的用于酶中多个反应状态的蛋白质 - 配体对接的计算平台
❝ "CHARMM-GUI EnzyDocker for Protein−Ligand Docking of Multiple Reactive States along a Reaction Coordinate in Enzymes"介绍了 CHARMM-GUI EnzyDocker,这是一个基于网络的计算平台,旨在简化和加速 EnzyDock 对接模拟的设置过程&…...
阅读论文笔记《Translating Embeddings for Modeling Multi-relational Data》
目录 一、模型核心原理剖析二、实验设计与数据集选择三、实验结果深度解读(一)链接预测实验(二)关系分类实验(三)链接预测示例(四)泛化实验 四、模型优缺点总结(一&#…...
实在智能与宇树科技、云深科技一同获评浙江省“人工智能服务商”、 “数智优品”等荣誉
近日,浙江省经信厅正式公布《2024 年浙江省人工智能应用场景、应用标杆企业、人工智能服务商及 “数智优品” 名单》。 实在智能获评浙江省“人工智能服务商”,核心产品 “实在 Agent 智能体” 入选 “数智优品”。一同获此殊荣的还有宇树科技、云深处科…...
跳表(Skip List)详解
一、什么是跳表? 跳表是一种基于有序链表的高效数据结构,通过建立多级索引实现快速查询。它在平均情况下支持O(log n)时间复杂度的搜索、插入和删除操作,性能接近平衡树,但实现更为简单。 二、核心原理 1. 层级结构 底层为完整…...
图片粘贴上传实现
图片上传 html demo 直接粘贴本地运行查看效果即可,有看不懂的直接喂给 deepseek 会解释的很清晰 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"…...
【Linux常用命令-不断更新】
在 Linux 系统中,查看总剩余内存常用方法。 方法 1:使用 free 命令 free 是一个常用的命令,用于显示系统的总内存、已用内存、空闲内存和交换内存。 free -h-h 参数表示以易读的格式(如 GB、MB)显示内存信息。输出示…...
轻松搭建本地大语言模型(一)Ollama安装与使用
Ollama 是一款开源的本地大语言模型运行框架,支持在 Windows、macOS 和 Linux 系统上运行,能够帮助用户轻松下载和使用各种大语言模型(例如deepseek、llama、qwen)。本文将详细介绍 Ollama 的安装步骤,帮助你快速搭建本…...
Conda 常用命令全解析
在 Windows 系统中,Conda 是一款功能强大的包管理和环境管理工具,尤其对于数据分析、科学计算等场景有着重要的作用。本文将详细介绍 Conda 在 Windows 系统中的常用命令,帮助你高效地管理虚拟环境和软件包。 一、环境管理命令 1.1 查看 Co…...
【核心算法篇十五】《深度解析DeepSeek遗传算法:让超参数调优从“玄学”变“科学”的终极指南》
引言:超参数调优的“炼丹困局”与破局之路 在机器学习的世界里,调参工程师常被戏称为"炼丹师"——面对动辄几十个超参数的复杂模型,我们就像古代术士守着炼丹炉,不断尝试各种参数组合,期待偶然炼出"仙丹"。传统网格搜索(Grid Search)需要遍历所有可…...
kafka消费能力压测:使用官方工具
背景 在之前的业务场景中,我们发现Kafka的实际消费能力远低于预期。尽管我们使用了kafka-go组件并进行了相关测试,测试情况见《kafka-go:性能测试》这篇文章。但并未能准确找出消费能力低下的原因。 我们曾怀疑这可能是由我的电脑网络带宽问题或Kafka部…...
[STM32 - 野火] - - - 固件库学习笔记 - - - 十六.在SRAM中调试代码
一、简介 在RAM中调试代码是一种常见的嵌入式开发技术,尤其适用于STM32等微控制器。它的核心思想是将程序代码和数据加载到微控制器的内部RAM(SRAM)中运行,而不是运行在Flash存储器中。这种方法在开发过程中具有显著的优势&#…...
雷军推荐:WPS 与 Pastemate 联用,效率飞升新高度
在当今快节奏的工作与学习环境中,效率提升成为了每个人都在追求的目标。而雷军,这位科技界的领军人物,凭借其敏锐的洞察力,为我们推荐了一组强大的工具组合 ——WPS 与 Pastemate,它们携手合作,能够为我们的…...
css主题色修改后会多出一个css吗?css怎么定义变量?
在 CSS 中修改主题色时,通常不会直接生成一个新的 CSS 文件,而是通过 CSS 变量(Custom Properties) 或 预处理器变量(如 Sass、Less) 来动态修改样式。以下是详细说明: 1. CSS 变量(…...
ubuntu22.4搭建单节点es8.1
下载对应的包 elasticsearch-8.1.1-linux-x86_64.tar.gz 创建es租户 groupadd elasticsearc useradd elasticsearch -g elasticsearch -p elasticsearch chmod uw /etc/sudoers chmod -R elasticsearch:elasticsearch elasticsearch 修改配置文件 vim /etc/sysctl.conf vm…...
轴承故障特征—SHAP 模型 3D 可视化
往期精彩内容: Python-凯斯西储大学(CWRU)轴承数据解读与分类处理 基于FFT CNN - BiGRU-Attention 时域、频域特征注意力融合的轴承故障识别模型-CSDN博客 基于FFT CNN - Transformer 时域、频域特征融合的轴承故障识别模型-CSDN博客 P…...
斐波那契数列模型:在动态规划的丝绸之路上追寻斐波那契的足迹(上)
文章目录 引言递归与动态规划的对比递归解法的初探动态规划的优雅与高效自顶向下的记忆化搜索自底向上的迭代法 性能分析与比较小结 引言 斐波那契数列,这一数列如同一条无形的丝线,穿越千年时光,悄然延续其魅力。其定义简单而优美ÿ…...
智能选路+NAT实验
1.实验拓扑: 二.实验配置 1、防火墙ip配置和信任区域配置: 2.导入地址库:先下载模板--->进入模板修改地址信息--->导入地址: 3配置链路接口: 4.配置真实DNS服务器信息 5.创建虚拟服务,虚拟DNS服务…...
电商API接口数据与市场趋势分析的深度融合
一、电商API接口数据的价值 电商API接口是连接电商平台与外部系统(如数据分析工具、ERP系统等)的桥梁。通过API接口,企业可以获取海量的交易数据、用户行为数据、商品信息等。这些数据具有以下价值: 数据实时性:API接…...
SMOJ 种植玉米/铺地砖 题解
最近练了轮廓线dp的题目 1.种植玉米 题意 农夫有一个被划分成 m m m行 n n n列的农田。 每个格子的数字如果是 1 1 1则表示该格子的土地是肥沃的,可以种植玉米;如果该格子的数字是 0 0 0则表示该格子不能种植玉米。 但是还有一个条件:不…...
沃丰科技大模型标杆案例 | 索尼大模型智能营销机器人建设实践
AI大模型发展日新月异,国内外主流大模型每月必会升级。海外AI大模型市场由美国主导, 各模型已形成“多强竞合”的局面。中国积极响应全球大模型技术的发展趋势,高校、研究院所等科研机构、互联网企业,人工智能企业均不同程度地投入…...
【pytest】编写自动化测试用例命名规范README
API_autoTest 项目介绍 1. pytest命名规范 测试文件: 文件名需要以 test_ 开头或者以 _test.py 结尾。例如,test_login.py、user_management_test.py 这样的命名方式,pytest 能够自动识别并将其作为测试文件来执行其中的测试用例。 测试类…...
双亲委派机制介绍
双亲委派机制(Parent Delegation Model)是Java类加载器(Class Loader)的一种机制,用于确保Java应用程序的安全性和稳定性。 在Java中,类加载器负责将类的字节码文件加载到Java虚拟机(JV…...
fps僵尸:8.丧尸死亡
文章目录 思路死亡时关闭碰撞死亡时开启物理模拟 实现胶囊体关闭碰撞网格体开启物理模拟(两个前提)网格体开启物理碰撞网格体绑定物理资产 注解胶囊体关闭碰撞,则整个蓝图关闭碰撞 思路 死亡时关闭碰撞 死亡时开启物理模拟 实现 胶囊体关闭碰撞 网格体开启物理…...
内存泄漏是什么?
内存泄漏 概述: 程序在运行过程中,动态分配的内存未被及时释放,导致这些内存无法再次使用,最终导致系统内存耗尽,影响程序性能,甚至导致程序崩溃 原因: 未释放已分配的内存:在使用…...
Zipkin 和 SkyWalking 区别
Zipkin 和 SkyWalking 都是分布式追踪和监控工具,但它们在架构设计、功能、扩展性以及适用场景上有所不同。下面是它们的主要区别: 1. 架构和设计 Zipkin: Zipkin 是一个轻量级的分布式追踪系统,通常与 Spring Cloud Sleuth 配合…...
hive如何导出csv格式文件
方法一:使用 Hive 自带功能结合脚本处理 步骤 1:使用 hive -e 命令导出数据到文件 可以通过在命令行中使用 hive -e 执行查询语句,并将结果重定向到本地文件,不过默认是不带字段头的。 hive -e "SELECT column1, column2,…...
【Java项目】基于SpringBoot的【休闲娱乐代理售票系统】
【Java项目】基于SpringBoot的【休闲娱乐代理售票系统】 技术简介:系统软件架构选择B/S模式、SpringBoot框架、java技术和MySQL数据库等,总体功能模块运用自顶向下的分层思想。 系统简介:休闲娱乐代理售票系统,在系统首页可以查看…...
