当前位置: 首页 > news >正文

踩坑了,MySQL数据库生成大量奇怪的大文件

作者:田逸(formyz)

一大早就收到某个数据库服务器磁盘满的报警信息,其中数据盘使用率超过90%,如下图所示。

这是一台刚上线不久的MySQL从库服务器,数据盘的总容量是300G。先登录系统,查看主从同步是否正常,幸运的是主从同步正常;再看看磁盘空间的使用情况,执行的命令及输出如下。

[root@MySQL-S-200-169 mysql_db]# df -h

Filesystem           Size  Used Avail Use% Mounted on

devtmpfs             4.0M     0  4.0M   0% /dev

tmpfs                 16G     0   16G   0% /dev/shm

tmpfs                6.3G  8.6M  6.3G   1% /run

/dev/mapper/rl-root   33G  3.4G   30G  11% /

/dev/sda1           1014M  220M  795M  22% /boot

/dev/sdb1            300G  271G   29G  91% /data

tmpfs                3.2G     0  3.2G   0% /run/user/0

分区“/data”为MySQL数据库用户数据存储的空间,初步判定多半是日志文件之类的给塞满了。进入用户数据目录(选项文件”/etc/my.cnf”设定的数据目录为”/data/mysql_db”),发现大量以“OFF”为前缀的文件(如下图所示),感觉莫名其妙呢!

这些文件大小在1G左右,从经验上感觉可能是日志文件。不确定是“OFF”做前缀(眼神不好),还是“0FF”做前缀?可用如下命令进行鉴别。

[root@MySQL-S-200-169 mysql_db]# ls -al 0FF*|more

ls: cannot access '0FF*': No such file or directory

[root@MySQL-S-200-169 mysql_db]# ls -al 0FF*

ls: cannot access '0FF*': No such file or directory

[root@MySQL-S-200-169 mysql_db]# ls -al OFF*|more

-rw-r----- 1 mysql mysql 1073743407 Feb  3 14:13 OFF.000001

-rw-r----- 1 mysql mysql 1073742872 Feb  3 14:16 OFF.000002

-rw-r----- 1 mysql mysql 1073741885 Feb  3 14:20 OFF.000003

………………省略………………………………………………..

从输出可知,是大写字母“O”而不是数字“0”。对比其它运行正常的MySQL数据库,都没有这样的文件存在,问题在哪里呢?

因为这个数据库系统上线不久,做了哪些操作应该还有些印象。回顾一下最近所做的操作,突然想起上周主从不同步,延迟特别大(4万多秒),为了处理这个主从不同步的麻烦,对MySQL的选项文件“/etc/my.cnf”做了修改,因为是从库,就决定将数据库的二进制日志记录给关闭,将文本行“log-bin = mysql-bin”变更成“log-bin = OFF”(还增加了其它的项,这里不做展开)。修改完毕,MySQL主从同步的延迟问题得以解决。

当MySQL数据库二进制日志设定为“log-bin=mysql-bin”时,启动MySQL服务以后,会在数据目录下生成以“mysql-bin.”为前缀,后紧跟一串数字结尾的二进制日志文件,并且按数字顺序生成,形如“mysql-bin.000001、mysql-bin.0000012”。通过对比,发现这些以“OFF.”为前缀的大文件,也是同样的规律。排查到这里,我幡然醒悟:“MySQL选项文件my.cnf设定的log-bin=OFF并不能关闭二进制日志的生成,而是生成以OFF为前缀的二进制文件而已”。

通过查询资料,MySQL 8这个版本要关闭“binlog”二进制日志记录,需在选项文件(注意,不要认为是配置文件)“/etc/my.cnf”中设置文本行“disable-log-bin”或者“skip-log-bin”。更改好选项文件之后,重启MySQL服务,确保主从复制正常的情况下,检查二进制日志生成的状况,具体的操作是,MySQL客户端登录MySQL,执行下列操作进行验证。

mysql> show variables like'log_%';

+----------------------------------------+----------------------------------------+

| Variable_name                          | Value                                  |

+----------------------------------------+----------------------------------------+

| log_bin                                | OFF                                    |

| log_bin_basename                       |                                        |

| log_bin_index                          |                                        |

| log_bin_trust_function_creators        | OFF                                    |

| log_bin_use_v1_row_events              | OFF                                    |

| log_error                              | /data/mysql_db/error.log               |

| log_error_services                     | log_filter_internal; log_sink_internal |

| log_slave_updates                      | OFF                                    |

| log_slow_admin_statements              | OFF                                    |

| log_slow_extra                         | OFF                                    |

| log_slow_replica_statements            | OFF                                    |

| log_slow_slave_statements              | OFF                                    |

| log_statements_unsafe_for_binlog       | ON                                     |

| log_throttle_queries_not_using_indexes | 0                                      |

| log_timestamps                         | UTC                                    |

+----------------------------------------+----------------------------------------+

21 rows in set (0.01 sec)

mysql> show binary logs;

ERROR 1381 (HY000): You are not using binary logging

为确保手动删除MySQL从数据库服务器占用大量磁盘空间的二进制文件不引起新的风险,在操作前必须对数据库进行全量备份或者整个操作系统备份(Proxmox VE虚拟机的优势所在,操作如下图所示),停止MySQL服务,删除所有以“OFF.”为前缀的大文件,然后重启MySQL服务。

经验证,磁盘空间释放,MySQL服务运行正常,主从复制也正常。

相关文章:

踩坑了,MySQL数据库生成大量奇怪的大文件

作者:田逸(formyz) 一大早就收到某个数据库服务器磁盘满的报警信息,其中数据盘使用率超过90%,如下图所示。 这是一台刚上线不久的MySQL从库服务器,数据盘的总容量是300G。先登录系统,查看主从同…...

ctfshow-web11~20-WP

web11 根据提示,查询对ctfshow域名进行dns查询,查看TXT记录 阿里云查询链接:阿里云网站运维检测平台 获取flag成功 web12 根据题目提示,我们访问robots.txt,获取到后台地址 然后我们访问一下后台...

2.5学习总结9

并查集 知识点 并查集是一种数据结构,用于处理一些不相交集合的合并及查询问题。它支持两种操作: Find(x):查找元素 x 所属的集合。Union(x, y):将元素 x 所属的集合和元素 y 所属的集合合并。 初始化:将每个元素单…...

删除.git的影响、git分支切换时注意事项

一、删除.git的影响 master分支文件 dev分支文件 删除.git后 文件为删除.git前分支的文件状态。 二、git分支切换时注意事项 情景:如果我在分支A,想要跳转到分支B。 git的规矩是,在那个分支上进行的提交,就算哪个分支上的工作…...

Linux系统调试课:硬件断点

沉淀、分享、成长,让自己和他人都能有所收获!😄 📢在linux内核编程中,经常会遇到由于内存被篡改,例如 buffer overflow,野指针,write after free等。查找分析此类问题非常的麻烦。 一、什么是硬件断点 硬件断点,是Linux内核中是一种被ptrace和内核内调试器使用调试…...

百卓Smart管理平台 uploadfile.php 文件上传漏洞复现(CVE-2024-0939)

0x01 产品简介 百卓Smart管理平台是北京百卓网络技术有限公司(以下简称百卓网络)的一款安全网关产品,是一家致力于构建下一代安全互联网的高科技企业。 0x02 漏洞概述 百卓Smart管理平台 uploadfile.php 接口存在任意文件上传漏洞。未经身份验证的攻击者可以利用此漏洞上传…...

关于RabbitMQ常见的十道面试题

RabbitMQ是如何组成的?它有哪些重要的组件? RabbitMQ主要由以下几个重要组件组成: Broker:这是消息代理,主要负责接收、存储和转发消息Exchanges:交换器,它的主要作用是根据一定的规则匹配消息…...

spring cloud stream

背景 主要解决不同消息中间件切换问题。实现不同中间件的代码解耦。 链接: 支持的中间件 后文使用kafka测试。 引入依赖 <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-stream</artifactId></depende…...

vue3 之 组合式API—watch函数

watch函数 作用&#xff1a;侦听一个或者多个数据的变化&#xff0c;数据变化时执行回调函数 两个额外参数&#xff1a; 1.immediate&#xff08;立即执行&#xff09;2.deep&#xff08;深度侦听&#xff09; 场景&#xff1a;比如选择不同的内容请求后端不同数据时 如下图 …...

并发容器【ConcurentHashMap、CopyOnWriteArrayList、阻塞队列、ArrayBlockingQueue】

并发容器 什么是并发容器?同步容器:并发容器: ConcurrentHashMap结构图JDK1.7结构图JDK1.8结构图 CopyOnWriteArrayList实现原理 并发队列阻塞队列ArrayBlockingQueue 转自极客时间 什么是并发容器? 在JUC包中&#xff0c;有一大部分是关于并发容器的&#xff0c;如Concurr…...

EmoLLM-心理健康大模型

宣传一下自己最近参与的开源 https://github.com/aJupyter/EmoLLM EmoLLM-心理健康大模型 EmoLLM 探索本项目的文档 查看Demo 报告Bug 提出新特性 EmoLLM 是一个能够支持 理解用户-支持用户-帮助用户 心理健康辅导链路的心理健康大模型&#xff0c;由 InternLM2 指令微…...

学成在线:采用XXL-JOB任务调度方案使用FFmpeg处理视频转码业务

分片技术方案 概述 XXL-JOB并不直接提供数据处理的功能&#xff0c;它只会给所有注册的执行器分配好分片序号&#xff0c;在向执行器下发任务调度的同时携带分片总数和当前分片序号等参数 设计作业分片方案保证多个执行器之间不会查询到重复的任务,保证任务不会重复执行 任…...

计算机毕业设计 | SpringBoot大型旅游网站 旅行后台管理系统(附源码)

1&#xff0c; 概述 1.1 项目背景 随着互联网技术的快速发展和普及&#xff0c;旅游行业逐渐转向线上&#xff0c;越来越多的游客选择在线预订旅游产品。传统的线下旅行社模式已不能满足市场需求&#xff0c;因此&#xff0c;开发一个高效、便捷的旅游网站成为行业的迫切需求…...

蓝桥杯----凑算式

这个算式中A~I代表1~9的数字,不同的字母代表不同的数字。 比如: 68/3952/714 就是一种解法, 53/1972/486 是另一种解法. 这个算式一共有多少种解法? 注意:你提交应该是个整数,不要填写任何多余的内容或说明性文字。 代码 public class _03凑算式 {static int a[] {1,2,3…...

JCTC | 利用几何深度学习对蛋白质-配体结合pose进行等变灵活建模

Overview 该论文解决了药物开发中蛋白质-配体复合结构灵活建模的挑战。作者提出了一种名为FlexPose的新型深度学习框架&#xff0c;它可以直接对复杂结构进行建模&#xff0c;而不需要传统的采样和评分策略。 该模型结合了标量-向量双特征表示和 SE(3)等变网络设计来处理动态结…...

执行 terraform init 命令时 timeout 的解决方法

terrafrom 是一款常用来实现 IaC&#xff08;基础设施即代码&#xff09;的工具。通常的第一个命令往往是 terrafrom init。在执行此命令时&#xff0c;terrafrom 会根据已经配置好的 provdier 信息去下载安装对应云厂商的 provider。比如下面是一个腾讯云的 provider&#xff…...

Docker Arthas 实战指南

Arthas 是一款强大的 Java 诊断和调试工具,它能够在生产环境中实时诊断 Java 应用,提供强大的调试功能,帮助开发者和运维人员解决各种 Java 应用的性能问题和调试挑战。本指南将介绍如何在 Docker 环境中使用 Arthas 进行实战。 ​​官方文档​​ ​​GitHub地址​​ ​​…...

freertos 源码分析四 任务创建的简单分析

任务创建xTaskCreate 为TCB和TCB栈分配空间&#xff0c; 初始化&#xff0c;加入就绪任务链表 #if ( configSUPPORT_DYNAMIC_ALLOCATION 1 )BaseType_t xTaskCreate( TaskFunction_t pxTaskCode,const char * const pcName,const configSTACK_DEPTH_TYPE usStackDepth,void *…...

二叉树的锯齿形遍历,力扣

目录 题目&#xff1a; 我们直接看题解吧&#xff1a; 快速理解解题思路小建议&#xff1a; 解题方法&#xff1a; 相似题目对比分析&#xff1a; 解题分析&#xff1a; 解题思路&#xff1a; 补充说明&#xff1a; 思路优化&#xff1a; 代码实现(层序遍历倒序)&#xff1a; 题…...

避免Arrays.asList陷阱:优雅处理结构性修改的方法

临近年终&#xff0c;项目交付排期比较紧张&#xff0c;导致很多时候&#xff0c;Code Review 往往是走马观花&#xff0c;没有严格执行。最近&#xff0c;一个实习生就产生了一个十分低级的代码BUG。笔者感觉这个问题&#xff0c;对于实习生&#xff0c;尤其是刚入职的 应届 J…...

OpenClaw故障排查指南:GLM-4.7-Flash模型连接常见问题解决

OpenClaw故障排查指南&#xff1a;GLM-4.7-Flash模型连接常见问题解决 1. 为什么需要这份指南 上周我在本地部署GLM-4.7-Flash模型时&#xff0c;连续遭遇了三次连接失败。每次错误提示都像谜语一样——"Connection timeout"、"Invalid response"这些报错…...

Minikube国内环境配置全攻略:从安装到Dashboard镜像加速(含阿里云镜像源)

Minikube国内环境高效配置指南&#xff1a;从零搭建到Dashboard可视化 对于国内开发者而言&#xff0c;在本地环境中快速搭建Kubernetes学习平台往往面临镜像拉取缓慢甚至失败的困扰。本文将系统性地介绍如何利用Minikube在国内网络环境下构建稳定的单机Kubernetes环境&#xf…...

从‘知识冲突’到‘对齐’:图解ProGrad如何让CLIP微调既专又通

ProGrad&#xff1a;用向量几何重新思考多模态模型的微调艺术 想象一下&#xff0c;你正在训练一位精通多国语言的老教授学习一门新方言。如果完全放任他自由发挥&#xff0c;可能会丢失原有的语言体系&#xff1b;如果限制太多&#xff0c;又无法适应新语境。这正是CLIP等预训…...

AI专著撰写新方法:借助工具实现从构思到成书的完美跨越

创新与AI工具助力学术专著写作 创新是学术专著的核心&#xff0c;也是写作过程中最具挑战性的部分。一本合格的专著不应只是对现有研究成果的简单罗列&#xff0c;而需要提出贯穿全书的独到见解、理论框架或研究方法。在浩如烟海的学术文献中&#xff0c;挖掘尚未被探索的研究…...

Grok-1开源项目终极指南:从入门到精通完整教程

Grok-1开源项目终极指南&#xff1a;从入门到精通完整教程 【免费下载链接】grok-1 马斯克旗下xAI组织开源的Grok AI项目的代码仓库镜像&#xff0c;此次开源的Grok-1是一个3140亿参数的混合专家模型 项目地址: https://gitcode.com/GitHub_Trending/gr/grok-1 想要体验…...

政务短信钓鱼攻击机理与防控研究 —— 以美国宾州 PennDOT 诈骗事件为例

摘要 2026 年 3 月 27 日&#xff0c;宾夕法尼亚州官方发布安全预警&#xff0c;提示公众警惕冒充 PennDOT&#xff08;宾州交通局&#xff09;的短信钓鱼诈骗。此类攻击以车辆管理、罚单缴费、证件状态异常为诱饵&#xff0c;通过仿冒政务身份诱导用户点击恶意链接&#xff0c…...

新手也能懂:用Python+TI IWR1843雷达,从ADC数据到4D点云的全流程拆解

新手也能懂&#xff1a;用PythonTI IWR1843雷达&#xff0c;从ADC数据到4D点云的全流程拆解 毫米波雷达技术正在智能驾驶、工业检测等领域掀起革命&#xff0c;但原始信号到点云的转换过程常让初学者望而生畏。本文将用Python代码一步步拆解TI IWR1843雷达的ADC数据处理全流程…...

OpenClaw省钱方案:自建Qwen3-VL:30B替代高价多模态API

OpenClaw省钱方案&#xff1a;自建Qwen3-VL:30B替代高价多模态API 1. 为什么选择自建多模态模型 去年我在开发一个智能内容分析系统时&#xff0c;每月在商用多模态API上的支出高达数千元。当我尝试用OpenClaw对接本地部署的Qwen3-VL:30B后&#xff0c;成本直接降到了原来的1…...

纯本地运行!LiuJuan Z-Image Generator隐私安全,生成高质量图片

纯本地运行&#xff01;LiuJuan Z-Image Generator隐私安全&#xff0c;生成高质量图片 想找一个既保护隐私&#xff0c;又能稳定生成高质量图片的AI工具吗&#xff1f;今天介绍的LiuJuan Z-Image Generator&#xff0c;可能就是你的理想选择。它最大的特点&#xff0c;就是“…...

嘎嘎降AI退款申请完整流程:不达标怎么拿回费用的具体步骤

嘎嘎降AI退款申请完整流程&#xff1a;不达标怎么拿回费用的具体步骤 这篇教程来自实操经验。帮三个同学处理过论文AI率&#xff0c;加上自己的&#xff0c;前后操作了十几次。把流程总结成教程&#xff0c;尽量详细。 核心工具推荐嘎嘎降AI&#xff08;www.aigcleaner.com&a…...