当前位置: 首页 > news >正文

MySQL 主从复制与高可用

在现代分布式系统中,数据库的高可用性和可靠性至关重要。MySQL 提供了主从复制(Master-Slave Replication)机制来实现数据的冗余和容错,保证在主数据库发生故障时能够继续提供服务。而在此基础上,通过进一步的高可用架构设计(如 MHA、MySQL Router、ProxySQL 等),可以构建更强大的高可用数据库系统。本文将深入探讨 MySQL 主从复制高可用架构,并介绍常见的实现方式和实践。


一、MySQL 主从复制

1. 主从复制的基本概念

MySQL 主从复制是一种基于主从结构的异步复制机制,其中主服务器负责处理所有的写操作,而从服务器通过复制主服务器的变更(如插入、更新、删除等操作)来保持数据同步。主从复制的核心思想是通过网络将主数据库上的数据变动传递到从数据库上,实现数据的冗余备份和负载均衡。

2. 主从复制的工作原理

主从复制的实现分为两个主要步骤:

2.1. 主服务器(Master)
  1. 日志记录:主服务器记录所有的变更操作到 二进制日志(binary log) 中。
  2. 日志传输:主服务器会将二进制日志发送给从服务器。
2.2. 从服务器(Slave)
  1. 读取日志:从服务器会连接到主服务器,获取主服务器的二进制日志(binlog)。
  2. 执行操作:从服务器根据收到的二进制日志执行相应的操作,保持与主服务器的数据一致性。
2.3. 异步复制
  • 默认情况下,MySQL 主从复制是异步的。即从服务器不会立即同步主服务器的操作,存在一定的延迟。主服务器在提交操作后不会等待从服务器确认,可能会导致短暂的数据不一致。
2.4. 主从复制架构图
+-------------------+                 +-------------------+
|    Master DB      | <--- binlog ----|     Slave DB      |
|                   |                 |                   |
|  (Primary Server) |                 |  (Replicated DB)  |
+-------------------+                 +-------------------+
3. 配置 MySQL 主从复制
3.1. 主服务器配置
  1. 启用二进制日志
    在主服务器的配置文件(my.cnfmy.ini)中启用二进制日志:

    [mysqld]
    log-bin=mysql-bin
    server-id=1
    
  2. 创建复制用户
    为从服务器创建一个专用的复制用户,并赋予 REPLICATION SLAVE 权限:

    CREATE USER 'replica_user'@'%' IDENTIFIED BY 'password';
    GRANT REPLICATION SLAVE ON *.* TO 'replica_user'@'%';
    FLUSH PRIVILEGES;
    
  3. 获取二进制日志位置
    在主服务器执行以下命令,记录下当前的二进制日志文件名和位置:

    SHOW MASTER STATUS;
    
3.2. 从服务器配置
  1. 配置服务器ID
    在从服务器的配置文件(my.cnfmy.ini)中配置唯一的 server-id

    [mysqld]
    server-id=2
    
  2. 设置复制源(Master)
    在从服务器上,使用以下命令连接到主服务器并指定主服务器的二进制日志位置:

    CHANGE MASTER TOMASTER_HOST='master_ip',MASTER_USER='replica_user',MASTER_PASSWORD='password',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=12345;
    
  3. 启动复制
    启动从服务器的复制进程:

    START SLAVE;
    
  4. 检查复制状态
    使用以下命令检查复制状态:

    SHOW SLAVE STATUS\G;
    

    关键字段:

    • Slave_IO_Running:显示是否正常接收主服务器的日志。
    • Slave_SQL_Running:显示是否正常执行接收到的日志。

二、MySQL 高可用架构

MySQL 的主从复制机制本身并不提供高可用性(HA)功能,因为主服务器发生故障时,从服务器可能无法自动接管任务。为了实现高可用,通常需要使用一些高可用方案来监控和自动故障转移。常见的高可用架构有以下几种:

1. MHA (Master High Availability)

MHA 是一个 MySQL 高可用解决方案,旨在提供自动的故障转移和恢复机制。其基本工作流程是:

  1. 故障检测:MHA 通过定期检查主服务器的健康状态,及时发现主服务器故障。
  2. 故障转移:一旦检测到主服务器故障,MHA 会自动选择一个健康的从服务器,将其提升为新的主服务器,并将其他从服务器配置为新的从服务器。
  3. 数据同步:确保数据的一致性和完整性,避免数据丢失。
MHA 配置
  • MHA 管理工具:MHA 提供了 master_ip_failovermanager 工具来帮助自动化切换和管理。
2. MySQL Router

MySQL Router 是一个由 MySQL 官方提供的中间件,用于高可用架构中的流量路由。它可以在多个 MySQL 服务器之间自动路由客户端请求,支持主从架构和组复制架构。

功能
  • 自动故障转移:当主服务器故障时,MySQL Router 会自动切换到新的主服务器。
  • 负载均衡:在多个从服务器之间分配查询请求。
3. ProxySQL

ProxySQL 是一个高性能的 MySQL 代理,支持高可用性、负载均衡和路由。它可以作为 MySQL 客户端和服务器之间的中间层,提供如下功能:

  • 负载均衡:根据服务器的健康状况,将查询请求分配给不同的服务器。
  • 自动故障转移:当主服务器发生故障时,ProxySQL 会自动将请求路由到新的主服务器。
4. MySQL Group Replication

MySQL Group Replication 是 MySQL 官方提供的同步复制解决方案,支持多主机环境,能够提供自动故障转移、数据一致性和高可用性。它通过 组复制 协议,允许多个节点(主节点)在集群中互相复制和同步。

优点
  • 同步复制:所有节点的数据是实时一致的。
  • 自动故障转移:当主节点发生故障时,集群中的其他节点会自动接管其角色。
5. MySQL Cluster

MySQL Cluster 是 MySQL 提供的一种基于 NDB 存储引擎的高可用集群解决方案。它提供数据的分布式存储和多主复制,适合大规模的高性能、高可用数据库场景。

特点
  • 分布式架构:数据被分布在多个节点上,避免单点故障。
  • 实时复制:支持实时数据同步,保证数据一致性。

三、MySQL 主从复制与高可用架构的实践和优化

1. 监控与告警
  • 配置监控系统,实时监控主从复制的状态。常见的监控工具有 PrometheusZabbix,可以监控 SHOW SLAVE STATUS 的关键字段,如 Slave_IO_RunningSlave_SQL_Running
  • 设置告警阈值,及时通知管理员进行干预。
2. 数据一致性与延迟
  • 由于 MySQL 主从复制默认是异步的,因此可能会有数据同步延迟。在高可用架构中,需要考虑如何处理延迟带来的数据不一致问题。
  • 通过 半同步复制(Semi-synchronous Replication) 可以在一定程度上减少延迟,确保主从之间的数据更一致。
3. 故障转移与恢复
  • 自动故障转移方案,如 MHA、MySQL Router、ProxySQL 等,可以在主服务器故障时自动将流量切换到新的主服务器。
  • 定期进行故障演练和备份,确保在故障发生时能够快速恢复。
4. 高可用与负载均衡
  • 使用 ProxySQLMySQL Router 等中间件来实现读写分离和负载均衡。这样可以分

相关文章:

MySQL 主从复制与高可用

在现代分布式系统中&#xff0c;数据库的高可用性和可靠性至关重要。MySQL 提供了主从复制&#xff08;Master-Slave Replication&#xff09;机制来实现数据的冗余和容错&#xff0c;保证在主数据库发生故障时能够继续提供服务。而在此基础上&#xff0c;通过进一步的高可用架…...

RCE总结

文章目录 常见漏洞执行函数&#xff1a;1.系统命令执行函数2.代码执行函数 命令拼接符读取文件命令绕过&#xff1a;空格过滤绕过关键字绕过长度过滤绕过无参数命令执行绕过无字母数字绕过利用%0A截断利用回溯绕过利用create_function()代码注入无回显RCE1.反弹shell2.dnslog外…...

基于UNITY3D的照片墙演示项目技术分享

unity实现超大图片墙演示,由于拥有海量图片&#xff0c;使用了CPU 多线程&#xff0c;unity dots技术&#xff0c;图片组成文字部分&#xff0c;使用了点阵图技术&#xff0c;提取文字像素。 &#xff08;关于点阵介绍&#xff09; 点阵字体是把每一个字符都分成1616或2424个点…...

随手记:小程序兼容后台的wangEditor富文本配置链接

场景&#xff1a; 在后台配置wangEditor富文本&#xff0c;可以文字配置链接&#xff0c;图片配置链接&#xff0c;产生的json格式为&#xff1a; 例子&#xff1a; <h1><a href"https://uniapp.dcloud.net.cn/" target"_blank"><span sty…...

maven项目运行时NoSuchMethodError问题排查记录(依赖冲突解决)

控制台异常如下&#xff1a; Handler dispatch failed; nested exception is java.lang.NoSuchMethodError: org.apache.commons.io.input.BoundedInputStream.builder()Lorg/apache/commons/io/input/BoundedInputStream$Builder;问题明显&#xff0c;根据NoSuchMethodError…...

ECharts关系图-关系图11,附视频讲解与代码下载

引言&#xff1a; 关系图&#xff08;或称网络图、关系网络图&#xff09;在数据可视化中扮演着至关重要的角色。它们通过节点&#xff08;代表实体&#xff0c;如人、物体、概念等&#xff09;和边&#xff08;代表实体之间的关系或连接&#xff09;的形式&#xff0c;直观地…...

【C语言】动态内存管理:详解malloc和free函数

前言 在C语言编程中&#xff0c;动态内存分配是一个非常重要的概念。与静态内存分配不同&#xff0c;动态内存分配允许程序在运行时根据需要分配和释放内存&#xff0c;从而更加灵活地管理内存资源。特别是在一些数据结构的引用中经常需要使用&#xff0c;下面我们就详细讲解一…...

EGO Swarm翻译

目录 摘要 Ⅰ 介绍 Ⅱ 相关工作 A . 单四旋翼局部规划 B . 拓扑规划 C. 分布式无人机集群 Ⅲ 基于梯度的局部规划隐式拓扑轨迹生成 A.无需ESDF梯度的局部路径规划 B.隐式拓扑轨迹生成 Ⅳ 无人机集群导航 A 机间避碰 B. 定位漂移补偿 C. 从深度图像中去除agent Ⅴ …...

Linux根目录

在Linux系统中&#xff0c;文件系统遵循一种标准化的目录结构&#xff0c;即文件系统层次结构标准&#xff08;Filesystem Hierarchy Standard&#xff0c;FHS&#xff09;。 根目录&#xff08;/&#xff09; /bin&#xff1a;包含二进制可执行文件&#xff0c;通常是用户和系…...

SAP-SD-参照退货订单补货时带不出行项目

业务场景&#xff1a; 当物料出现质量问题时&#xff0c;客户需要换货&#xff0c;不需要退款&#xff0c;就需要先做退货订单&#xff0c;然后参照退货订单进行补货&#xff0c;创建补货订单&#xff0c;但是创建补货订单时只是把抬头数据带入补货订单&#xff0c;没有带入行项…...

12-C语言单向链表

一、链表的概述 1.链表与数组对比 遍历数组中的数据&#xff0c;查询数据比较方便&#xff0c;但往数组中插入、删除数据需要移动大量数据&#xff1b;相反。链表遍历、查询数据不方便&#xff0c;但是插入、删除数据比较方便&#xff0c;不需要移动大量数据&#xff0c;直接…...

2024年11月 蓝桥杯青少组 STEMA考试 Scratch真题

2024年11月 蓝桥杯青少组 STEMA考试 Scratch真题&#xff08;选择题&#xff09; 题目总数&#xff1a;5 总分数&#xff1a;50 选择题 第 1 题 单选题 Scratch运行以下程宇后&#xff0c;小兔子会&#xff08; &#xff09;。 A. 变小 B. 变大 C. 变色 D. …...

FFmpeg 4.3 音视频-多路H265监控录放C++开发二十一.2,RTP协议-RTP协议概述,协议详情

前提: 为什么要学习 RTP&#xff08;Real-time Transport Protocol&#xff09;重点 简介&#xff1a;RTP是一个实时传输媒体数据的协议&#xff0c;通常与RTSP一起使用。它负责在网络上传输音视频数据。特点&#xff1a;RTP通过UDP或TCP传输媒体数据&#xff0c;提供时间戳和序…...

Linux系统编程——系统内核中的信号

目录 一、前言 二、系统内核中的信号 三、sigset_t 四、信号集操作 1、sigpending(); 2、sigemptyset(); 3、sigfillset(sigset_t *set); 4、int sigaddset ()和sigdelset() ​编辑 5、sigismember() 6、sigprocmask() 五、信号集操作代码演示 六、深入理解进程的信…...

delve调试环境搭建—golang

原文地址&#xff1a;delve调试环境搭建—golang – 无敌牛 欢迎参观我的个人博客&#xff1a;无敌牛 – 技术/著作/典籍/分享等 由于平时不用 IDE 开发环境&#xff0c;习惯在 linux终端vim 环境下开发&#xff0c;所以找了golang的调试工具&#xff0c;delve类似gdb的调试界…...

shell脚本的循环-----while和for循环

一、while 1.格式 while 条件表达式; do 命令 done 2.案例 &#xff1a; ping测试子网段的主机网段由用户输入&#xff0c;例如用户输入192.168.101 &#xff0c;则ping192.168.101.125 — 192.101.131 UP&#xff1a; /tmp/host_up.txt Down: /tmp/host_down.txt &#…...

【游戏设计原理】21 - 解谜游戏的设计

你想象一下&#xff0c;刚坐下准备玩游戏&#xff0c;想着“今天得挑战一下我的智商极限&#xff01;”可结果碰上一个谜题&#xff0c;傻眼了&#xff0c;心里默念&#xff1a;“这啥玩意儿&#xff1f;这游戏是在玩我吗&#xff1f;”如果这个谜题太简单了&#xff0c;你可能…...

【漏洞复现】Wordpress GutenKit 插件 远程文件写入致RCE漏洞复现(CVE-2024-9234)

🏘️个人主页: 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍+收藏💗支持一下哦 一、漏洞概述 1.1漏洞简介 漏洞名称:Wordpress GutenKit 插件 远程文件写入致RCE漏洞复现漏洞编号:CVE-2024-9234漏洞威胁等级:超危影响范围:GutenKit <= 2.1.0…...

深度学习任务简介:分类、回归和生成

深度学习任务简介&#xff1a;分类、回归和生成 文章目录 深度学习任务简介&#xff1a;分类、回归和生成一、分类任务&#xff08;Classification Task&#xff09;什么是分类任务&#xff1f;**分类任务的常见应用**分类任务的输出主要算法 二、回归任务&#xff08;Regressi…...

【测试】Unittest

近期更新完毕&#xff0c;建议关注收藏&#xff01; 目录 简介TestCaseTestSuiteTestRunnerTestLoaderFixture tips:ctrl? 可以看方法的help文档 简介 python自带的单元测试框架&#xff0c;也可以做自动化测试 组织多个用例去执行&#xff0c;用例都是用单独的目录存放的 丰…...

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 &#xff08;1&#xff09;设置网关 打开VMware虚拟机&#xff0c;点击编辑…...

剑指offer20_链表中环的入口节点

链表中环的入口节点 给定一个链表&#xff0c;若其中包含环&#xff0c;则输出环的入口节点。 若其中不包含环&#xff0c;则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...

Java多线程实现之Callable接口深度解析

Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...

如何将联系人从 iPhone 转移到 Android

从 iPhone 换到 Android 手机时&#xff0c;你可能需要保留重要的数据&#xff0c;例如通讯录。好在&#xff0c;将通讯录从 iPhone 转移到 Android 手机非常简单&#xff0c;你可以从本文中学习 6 种可靠的方法&#xff0c;确保随时保持连接&#xff0c;不错过任何信息。 第 1…...

Linux-07 ubuntu 的 chrome 启动不了

文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了&#xff0c;报错如下四、启动不了&#xff0c;解决如下 总结 问题原因 在应用中可以看到chrome&#xff0c;但是打不开(说明&#xff1a;原来的ubuntu系统出问题了&#xff0c;这个是备用的硬盘&a…...

C++中string流知识详解和示例

一、概览与类体系 C 提供三种基于内存字符串的流&#xff0c;定义在 <sstream> 中&#xff1a; std::istringstream&#xff1a;输入流&#xff0c;从已有字符串中读取并解析。std::ostringstream&#xff1a;输出流&#xff0c;向内部缓冲区写入内容&#xff0c;最终取…...

精益数据分析(97/126):邮件营销与用户参与度的关键指标优化指南

精益数据分析&#xff08;97/126&#xff09;&#xff1a;邮件营销与用户参与度的关键指标优化指南 在数字化营销时代&#xff0c;邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天&#xff0c;我们将深入解析邮件打开率、网站可用性、页面参与时…...

零基础在实践中学习网络安全-皮卡丘靶场(第九期-Unsafe Fileupload模块)(yakit方式)

本期内容并不是很难&#xff0c;相信大家会学的很愉快&#xff0c;当然对于有后端基础的朋友来说&#xff0c;本期内容更加容易了解&#xff0c;当然没有基础的也别担心&#xff0c;本期内容会详细解释有关内容 本期用到的软件&#xff1a;yakit&#xff08;因为经过之前好多期…...

【Linux系统】Linux环境变量:系统配置的隐形指挥官

。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量&#xff1a;setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...

关于easyexcel动态下拉选问题处理

前些日子突然碰到一个问题&#xff0c;说是客户的导入文件模版想支持部分导入内容的下拉选&#xff0c;于是我就找了easyexcel官网寻找解决方案&#xff0c;并没有找到合适的方案&#xff0c;没办法只能自己动手并分享出来&#xff0c;针对Java生成Excel下拉菜单时因选项过多导…...