当前位置: 首页 > article >正文

MySQL主从复制深度解析:原理、架构与实战部署指南

一、主从复制核心原理

复制流程解析

MySQL主从复制本质是通过二进制日志(binlog)实现数据同步的异步复制机制:

  1. 写操作记录:主库执行写操作时,将变更记录到binlog

  2. 日志传输:主库的binlog dump线程将日志发送给从库

  3. 中继存储:从库I/O线程接收日志并写入relay log

  4. 数据重放:从库SQL线程解析relay log并执行SQL

核心组件解析

组件作用关键配置参数
Binlog主库记录所有数据变更log-bin=mysql-bin
Relay Log从库暂存主库传输的日志relay-log=relay-bin
I/O Thread从库获取主库binlog的线程自动管理
SQL Thread从库执行relay log的线程自动管理
Binlog Dump主库向从库发送binlog的线程每个从库对应一个线程

二、主流复制架构方案

1. 一主一从架构

适用场景:读写分离、备份容灾

特点

  • 简单易部署

  • Slave承担读负载

  • Master故障需手动切换

2. 一主多从架构

适用场景:读密集型应用

优势

  • 线性扩展读能力

  • 多副本数据安全

  • 负载均衡读请求

3. 多级复制架构

适用场景:大规模集群、跨机房部署

特点

  • 降低主库网络压力

  • 支持异地容灾

  • 数据延迟增加

4. 双主复制架构

适用场景:高可用要求高的系统

优势

  • 故障自动切换

  • 维护不影响服务

  • 无单点故障

三、主从搭建实战部署

环境准备(192.168.66.143/144)

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld# 禁用SELinux
setenforce 0# 时间同步
ntpdate ntp.aliyun.com

主库配置(192.168.66.143)

1. 修改my.cnf

[mysqld]
server-id = 1
log-bin = /var/log/mysql/mysql-bin
binlog_format = ROW
expire_logs_days = 7

2. 创建复制账号

CREATE USER 'repl'@'192.168.66.%' IDENTIFIED BY 'SecurePass123!';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.66.%';
FLUSH PRIVILEGES;

3. 查看binlog状态

SHOW MASTER STATUS;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000003 |      785 |              |                  |
+------------------+----------+--------------+------------------+

从库配置(192.168.66.144)

1. 修改my.cnf

[mysqld]
server-id = 2
relay-log = /var/lib/mysql/relay-bin
read_only = 1

2. 配置主从连接

CHANGE MASTER TOMASTER_HOST='192.168.66.143',MASTER_USER='repl',MASTER_PASSWORD='SecurePass123!',MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=785;

3. 启动复制

START SLAVE;

4. 检查复制状态

SHOW SLAVE STATUS\G

关键指标检查:

  • Slave_IO_Running: Yes

  • Slave_SQL_Running: Yes

  • Seconds_Behind_Master: 0

四、生产环境优化建议

1. 参数调优

# 主库
sync_binlog = 1
innodb_flush_log_at_trx_commit = 1# 从库
slave_parallel_workers = 4
slave_preserve_commit_order = 1

2. 监控指标

# 实时监控延迟
mysql -e "SHOW SLAVE STATUS\G" | grep "Seconds_Behind_Master"# 监控线程状态
watch -n 1 'mysql -e "SHOW PROCESSLIST" | grep -i "system user"'

3. 高可用方案

组件

  • Keepalived:VIP漂移

  • MHA:自动故障转移

  • ProxySQL:读写分离

五、常见故障排查指南

问题1:复制中断(1062错误)

现象

Last_Error: Could not execute Write_rows event on table db.users; 
Duplicate entry '1001' for key 'PRIMARY', Error_code: 1062;

解决方案

STOP SLAVE;
SET GLOBAL sql_slave_skip_counter = 1;
START SLAVE;

问题2:主从不一致

修复步骤

# 1. 主库导出数据
mysqldump --single-transaction --master-data=2 -A > full.sql# 2. 从库重置复制
STOP SLAVE;
RESET SLAVE ALL;# 3. 导入数据
mysql < full.sql# 4. 重新配置复制
CHANGE MASTER TO ...;
START SLAVE;

问题3:认证插件错误

错误信息

Authentication plugin 'caching_sha2_password' reported error

解决方案

-- 主库执行
ALTER USER 'repl'@'192.168.66.%' 
IDENTIFIED WITH mysql_native_password BY 'SecurePass123!';

六、主从复制限制与应对

限制类型影响解决方案
异步复制数据丢失风险半同步复制
单线程应用大事务延迟并行复制(MTS)
DDL锁表主库锁定影响写入pt-online-schema-change
MyISAM引擎崩溃后数据不一致全量InnoDB迁移
过滤规则复杂配置错误导致数据缺失全库复制+应用层过滤

相关文章:

MySQL主从复制深度解析:原理、架构与实战部署指南

一、主从复制核心原理 复制流程解析 MySQL主从复制本质是通过二进制日志(binlog)实现数据同步的异步复制机制&#xff1a; 写操作记录&#xff1a;主库执行写操作时&#xff0c;将变更记录到binlog 日志传输&#xff1a;主库的binlog dump线程将日志发送给从库 中继存储&am…...

[SC]SystemC dont_initialize的应用场景详解(二)

SystemC dont_initialize的应用场景详解(二) 摘要:下面给出一个稍复杂一点的 SystemC 示例,包含三个模块(Producer/Filter/Consumer)和一个 Testbench(Top)模块,演示了在不同的进程类型中如何使用 dont_initialize() 来抑制 time 0 的自动调用。 一、源代码 …...

【Linux】权限chmod命令+Linux终端常用快捷键

目录 linux中权限表示形式 解析标识符 权限的数字序号 添加权限命令chmod 使用数字表示法设置权限 使用符号表示法设置权限 linux终端常用快捷键 &#x1f525;个人主页 &#x1f525; &#x1f608;所属专栏&#x1f608; 在 Linux 系统里&#xff0c;权限管理是保障系…...

Java八股文智能体——Agent提示词(Prompt)

这个智能体能够为正在学习Java八股文的同学提供切实帮助&#xff1a;不仅可以帮你优化答案表述&#xff0c;还能直接解答八股文相关问题——它会以面试者的视角&#xff0c;给出贴合求职场景的专业回答。 将以下内容发送给任何一个LLM&#xff0c;他会按照你提示词的内容&…...

Go语言的context

Golang context 实现原理 本篇文章是基于小徐先生的文章的修改和个人注解&#xff0c;要查看原文可以点击上述的链接查看 目前我这篇文章的go语言版本是1.24.1 context上下文 context被当作第一个参数&#xff08;官方建议&#xff09;&#xff0c;并且不断的传递下去&…...

快速掌握 GO 之 RabbitMQ 结合 gin+gorm 案例

更多个人笔记见&#xff1a; &#xff08;注意点击“继续”&#xff0c;而不是“发现新项目”&#xff09; github个人笔记仓库 https://github.com/ZHLOVEYY/IT_note gitee 个人笔记仓库 https://gitee.com/harryhack/it_note 个人学习&#xff0c;学习过程中还会不断补充&…...

JVM——SubstrateVM:AOT编译框架

引入 在现代软件开发领域&#xff0c;应用程序的启动性能和内存开销一直是影响用户体验的关键因素。对于 Java 应用程序而言&#xff0c;传统的即时编译&#xff08;JIT&#xff09;模式虽然能够在运行时对热点代码进行优化&#xff0c;提高程序的执行效率&#xff0c;但却无法…...

【HarmonyOS 5】鸿蒙Taro跨端框架

‌Taro跨端框架‌ 支持React语法开发鸿蒙应用&#xff0c;架构分为三层&#xff1a; ArkVM层运行业务代码和React核心TaroElement树处理节点创建和属性绑定TaroRenderNode虚拟节点树与上屏节点一一对应 import { Component } from tarojs/taro export default class MyCompon…...

数据库原理 试卷

以下是某高校教学管理系统的毕业论文指导ER图&#xff0c;数据信息&#xff1a;一名教师指导多名学生&#xff0c;一名学生只能选择一名教师&#xff0c;试分析完成以下各题&#xff0c;如用SQL命令完成的&#xff0c;在SQL Server2008验证后把答案写在题目的下方。 图1 毕业论…...

【Qt开发】对话框

目录 1&#xff0c;对话框的介绍 2&#xff0c;Qt内置对话框 2-1&#xff0c;消息对话框QMessageBox 2-2&#xff0c;颜色对话框QColorDialog 2-3&#xff0c;文件对话框QFileDialog 2-4&#xff0c;字体对话框QFontDialog 2-5&#xff0c;输入对话框QInputDialog 1&…...

Ubuntu上进行VS Code的配置

1. 安装VS code sudo snap install code --classic 2. 安装GCC sudo apt install build-essential 3. 安装VS Code中文包 打开 VS Code 点击左侧活动栏中的扩展图标(或按Ctrl+Shift+X) 在搜索框中输入:Chinese (Simplified) 选择由 Microsoft 提供的 中文(简体)语言包…...

阴盘奇门 api数据接口

阴盘奇门&#xff0c;又称"道家阴盘遁甲"或"法术奇门"&#xff0c;与阳盘奇门(奇门排盘)并称"奇门双雄"。由王凤麟教授整合道家三式&#xff08;奇门、六壬、太乙&#xff09;精髓创立&#xff0c;独创行为风水与立体全息预测技术&#xff0c;广…...

2025年渗透测试面试题总结-匿名[校招]攻防研究员(应用安全)(题目+回答)

安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 匿名[校招]攻防研究员(应用安全) 基础部分 1. HTTP状态码 2. HTTP请求方法及作用 3. 网络分层及协议 OW…...

碰一碰发视频系统--基于H5场景开发

#碰一碰发视频# 旨在构建一个基于移动网页&#xff08;H5&#xff09;的视频“碰传”交互系统&#xff0c;提供类似华为/苹果设备 NFC 轻碰分享的便捷体验。其核心技术依赖于移动端可用的近场通信&#xff08;NFC 或 H5 相关 API&#xff09;和可靠的媒体数据传输方案。实现细节…...

MagicAnimate 论文解读:引入时间一致性的视频人物动画生成方法

1. 前言/动机 问题&#xff1a;现有动画生成方法缺乏对时间信息的建模&#xff0c;常常出现时间一致性差的问题 描述&#xff1a; 现有的动画生成方法通常采用帧变形&#xff08;frame-warping&#xff09;技术&#xff0c;将参考图像变形以匹配目标动作。尽管这类方法能生成较…...

QT使用说明

QT环境准备 推荐Ubuntu平台上使用&#xff0c;配置简单&#xff0c;坑少。 Ubuntu 20.04 安装 sudo apt-get install qt5-default -y sudo apt-get install qtcreator -y sudo apt-get install -y libclang-common-8-dev启动 qtcreatorHelloWorld 打开 Qt Creator。选择 …...

数据结构:递归(Recursion)

目录 示例1&#xff1a;先打印&#xff0c;再递归 示例2&#xff1a;先递归&#xff0c;再打印 递归的两个阶段 递归是如何使用栈内存 复杂度分析 递归中的静态变量 内存结构图解 递归&#xff1a;函数调用自己 必须有判断条件来使递归继续或停止 我们现在通过这两个示…...

Cesium快速入门到精通系列教程一:打造第一个Cesium应用

一、打造第一个Cesium应用 1、官方渠道下载Cesium&#xff08;可选择历史版本&#xff09; ​​GitHub Releases页面​​&#xff1a;https://github.com/CesiumGS/cesium/releases 访问 Cesium GitHub Releases&#xff0c;此处列出了所有正式发布的版本。 通过标签&#…...

力扣题解106:从中序与后序遍历序列构造二叉树

一、题目内容 题目要求根据二叉树的中序遍历序列和后序遍历序列来重建二叉树。具体来说&#xff0c;我们需要利用中序遍历序列和后序遍历序列的特点&#xff0c;通过递归的方法逐步构建出完整的二叉树。 中序遍历序列的特点是&#xff1a;左子树 -> 根节点 -> 右子树。后…...

Vue传参Props还是Pinia

Pinia 适用场景 全局状态管理 多个不相关组件需要共享数据需要跨页面/路由共享状态 复杂状态逻辑 包含多个相互关联的状态有复杂的状态修改逻辑 持久化需求 需要将状态保存到localStorage/sessionStorage页面刷新后需要恢复状态&#xff08;恢复最后一次修改的状态&#xff0…...

学习STC51单片机25(芯片为STC89C52RCRC)

每日一言 生活就像弹簧&#xff0c;你弱它就强&#xff0c;你强它就弱&#xff0c;别轻易认输。 ESP8266作为路由器模式&#xff08;AP模式&#xff09;也就是在局域网内可以有服务器的作用 那么我们需要将pc作为设备进行连接ESP的发射出来的WIFE 叫做这个AI啥的 也有可能叫做…...

宁夏农业科技:创新引领,赋能现代农业新篇章

在广袤的宁夏大地上&#xff0c;农业科技如同一股强劲的春风&#xff0c;吹拂着每一寸土地&#xff0c;为宁夏的农业发展注入了新的活力与希望。近年来&#xff0c;宁夏农业科技以其独特的创新力和实践力&#xff0c;不断推动着现代农业的转型升级&#xff0c;让这片古老的土地…...

Accelerate 2025北亚巡展正式启航!AI智御全球·引领安全新时代

近日&#xff0c;网络安全行业年度盛会Accelerate 2025北亚巡展正式在深圳启航&#xff01;智库专家、产业领袖及Fortinet高管、产品技术团队和300余位行业客户齐聚一堂&#xff0c;围绕“AI智御全球引领安全新时代”主题&#xff0c;共同探讨AI时代网络安全新范式。大会聚焦三…...

005学生心理咨询评估系统技术解析:搭建科学心理评估平台

学生心理咨询评估系统技术解析&#xff1a;搭建科学心理评估平台 在心理健康教育日益受重视的当下&#xff0c;学生心理咨询评估系统成为了解学生心理状态的重要工具。该系统涵盖试卷管理、试题管理等核心模块&#xff0c;面向管理员和用户两类角色&#xff0c;通过前台展示与…...

azure devops 系列 - 常用的task

任务在管道中执行操作。例如,任务可以构建应用、与 Azure 资源交互、安装工具或运行测试。任务是定义管道中自动化的构建基块。 运行作业时,所有任务都会按顺序依次运行。要在多个代理上并行运行同一组任务,或者在不使用代理的情况下运行某些任务,使用job。 Build Task …...

贪心算法应用:多重背包启发式问题详解

贪心算法应用&#xff1a;多重背包启发式问题详解 多重背包问题是经典的组合优化问题&#xff0c;也是贪心算法的重要应用场景。本文将全面深入地探讨Java中如何利用贪心算法解决多重背包问题。 多重背包问题定义 **多重背包问题(Multiple Knapsack Problem)**是背包问题的变…...

【保姆级教程】PDF批量转图文笔记

如果你有一个PDF文档&#xff0c;然后你想把它发成图文笔记emmm&#xff0c;最好再加个水印&#xff0c;你会怎么做&#xff1f; 其实也不麻烦&#xff0c;打开PDF文档&#xff0c;挨个截图&#xff0c;然后打开PS一张一张图片拖进去&#xff0c;再把水印图片拖进去&#xff0…...

Pytest Fixture 是什么?

Fixture 是什么&#xff1f; Fixture 是 Pytest 测试框架的核心功能之一&#xff0c;用于为测试函数提供所需的依赖资源或环境。它的核心目标是&#xff1a; ✅ 提供测试数据&#xff08;如模拟对象、数据库记录&#xff09; ✅ 初始化系统状态&#xff08;如配置、临时文件&a…...

Spring Boot 基础知识全面解析:快速构建企业级应用的核心指南

一、Spring Boot 概述&#xff1a;重新定义 Java 开发 1.1 什么是 Spring Boot&#xff1f; Spring Boot 是基于 Spring 框架的快速开发框架&#xff0c;旨在简化 Spring 应用的初始搭建及开发过程。它通过 「约定优于配置」&#xff08;Convention Over Configuration&#…...

数据库系统概论(十一)SQL 集合查询 超详细讲解(附带例题表格对比带你一步步掌握)

数据库系统概论&#xff08;十一&#xff09;SQL 集合查询 超详细讲解&#xff08;附带例题表格对比带你一步步掌握&#xff09; 前言一、什么是集合查询&#xff1f;二、集合操作的三种类型1. 并操作2. 交操作3. 差操作 三、使用集合查询的前提条件四、常见问题与注意事项五、…...