MySQL BinLog实战应用之二
一、前言
二、Canal原理
我们知道MySQL主从复制是Mster将数据变更写入BinLog，然后Slave将Master的BinLog拷贝到它的中继日志，最后重放中继日志完成将数据同步到Slave。
Canal其实它就是参考主从复制原理，将自己伪装成Slave，接收Master推送的二进制日志。
Cannel包括两部分
-
服务端：将自己伪装成Slave并从Master获取Binlog以供消费端使用。
-
客户端：订阅服务端数据变更事件，处理后存储到对应的数据仓库中（RDB、HBase、ES）。
Canal的应用：可以用于做数据同步（在线库同步到离线库）、增量数据同步ES等。
三、Canal服务端安装配置
下载解压
Canal同步账号创建及授权
配置文件 conf/example/instance.properties
因为我Linux服务器上安装的是JDK17.用startup.sh启动报了一堆错，只需要将JAVA_OPTS中报错的配置删除即可，另外我机器内存只有1G,需要调整一下堆内存的最大值和初始值。
/bin/startup.sh 启动后可以查看到日志输出，日志没有报错就启动成功了。
四、canal客户端
依赖
消费端代码：类似于MQ的消息接收端
执行UPDATFE语句
接收端收到消息（变更前该记录所有字段值，变更后该记录所有字段值）
mysqlbinlog直接解析，canal要求mysqlBinlog配置为row
注：这里是仅单机环境，我们的场景单机也就可以了，如果要保证可靠性使用多个接收端，需要引入zk来保证同一时间只有一个消费端工作，因为canal通过ack保证必须按顺序消费，以免数据无序造成数据错乱。
相关文章：
MySQL BinLog实战应用之二
一、前言 上篇 MySQL Binlog实战应用之一 主要讲了BinLog的开启以及用MySQLBinLog读取BigLog二进制文件，但MySQLBinLog很难直接对接Java，所以有了Canal这个Alibaba开发的用于MySQL增量日志解析，提供增量数据的订阅和消费组件。 二、Canal原…...
Visual Studio Code 快 捷 键
个人总结 Visual Studio Code 快 捷 键！满足日常使用，提高工作效率！！ 1、搜索文件： Ctrl p 2、移到某一行： Ctrl g 一、切 换 行 注 释、切 换 块 注 释 1、行注释"//"快捷键…...
有色金属冶炼VR虚拟场景互动教学有何优势
真实模拟：VR虚拟现实技术可以提供一个真实的虚拟环境，模拟钢铁制造现场，包括设备、工艺流程、操作规程等，使学员获得直观、真实的体验。 安全可靠：钢铁制造技能培训可以在虚拟环境中进行，不会对人员或设备造…...
Python将知网导出的endnote题录转为Refworks模式
近期使用SATI文献分析系统，发现效果有限，vosviewer虽然聚类起来图片好看，但没有模块度以及轮廓值等评价标准，因此只能去找citespace，3000文献经过了筛选，重新在知网导一次太麻烦了，还是直接用py…...
单元测试反射注解
单元测试 就是针对最小的功能单元(方法)，编写测试代码对其进行正确性测试。 咱们之前是如何进行单元测试的？有啥问题 ？ Junit单元测试框架 可以用来对方法进行测试，它是由Junit公司开源出来的 具体步骤 Junit框架的常见注解…...
Android 交叉编译openssl 、libxml2静态库
openssl: Android下openssl编译和使用（一）_安卓编译openssl 交叉编译 for arch in armeabi-v7a arm64-v8a-CSDN博客 libxml2: LIBXML2 2.9.11 build for Android_libxml2 android静态库_fredhurui的博客-CSDN博客...
神经网络气温预测
#引用所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch import torch.optim as optim#优化器 #过滤警告 import warnings warnings.filterwarnings(“ignore”) %matplotlib inline featurespd.read_csv(‘temps.csv’) feat…...
体验SOLIDWORKS钣金切口工具增强 硕迪科技
在工业生产制造中，钣金加工是一种常用的加工方式，在SOLIDWORKS2024新版本中，钣金切口工具再次增强了，从SOLIDWORKS 2024 开始， 您可以使用切口工具在空心或薄壁圆柱体和圆锥体中生成切口。 只需在现有空心或薄壁圆柱体…...
（八）Flask之app.route装饰器函数的参数
app.route参数 app.route()是Flask框架中用于定义路由的装饰器函数，它接受一些参数来指定路由的URL规则、请求方法等。 app.route()参数如下： rule（必选）：定义URL规则的字符串，表示要匹配的URL路径。可以…...
ES6.8集群配置注意点
x-pack配置 当启用xpack.security.enabled时，确保集群中的所有节点都配置了此项，并确保所有节点都已重启。如果只有部分节点启用安全性，那么集群可能会遇到问题。 设置密码 使用elasticsearch-setup-passwords工具设置密码时，确保…...
Powercli批量修改分布式交换机端口组
背景 需求： 批量修改虚拟机的分布式端口组 解决方式一： 三条命令解决：先获取目标虚拟机、获取目标端口组、修改虚拟机端口组、检查虚拟机状态。 $vm Get-VM -Name <虚拟机名称> $portGroup Get-VirtualPortGroup -Name <端口…...
ZKP10.2 Efficient Recursion via Statement Folding (Nova)
ZKP学习笔记 ZK-Learning MOOC课程笔记 Lecture 10: Recursive SNARKs, Aggregation and Accumulation (Dan Boneh) 10.3 Efficient Recursion via Statement Folding: Nova, Supernova, and generalizations The difficulty with full recursion Prover P needs to build a…...
高浓度cod废水怎么处理
高浓度COD废水的处理方法主要有物理法、生物法和化学法。 物理法：一般通过加入絮凝剂，利用絮凝剂的吸附、电中和等作用将水中的颗粒物结团沉降下去，从而达到去除部分来自颗粒物的COD。此方法基本上只对浓度上万、上千的COD起作用，…...
Docker学习——②
文章目录 1、Docker是什么1.1 Docker本质1.2 Docker的引擎迭代1.3 Docker和虚拟机的区别1.4 Docker 为什么比虚拟机资源利用率高，启动快？1.5 Docker 和 JVM 虚拟化的区别？ 2、Docker架构3、Docker生态3.1 新时代软件诉求3.2 Docker 解决方案 …...
VSCode 设置平滑光标
1.点击左下角的设置按钮，再点击设置 2.点击文本编辑器，点击光标，勾选控制是否启用平滑插入动画。 3.随便打开一个文件，上下左右移动光标时，会发现非常的流畅。 原创作者：吴小糖 创作时间：2023…...
Spring、SpringMVC、Mybatis
一.Spring基础 1.Spring 框架是什么 Spring 是一款开源的轻量级 Java 开发框架，我们一般说 Spring 框架指的都是 Spring Framework，它是很多模块的集合，例如，Spring core、Spring JDBC、Spring MVC 等，使用这些模块可…...
Kubernetes 架构
Kubernetes 架构 Kubernetes 最初源于谷歌内部的 Borg，提供了面向应用的容器集群部署和管理系统。Kubernetes 的目标旨在消除编排物理 / 虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提…...
python---数据类型（列表）
组织列表 使用sort()方法对列表永久性排序 按照字母顺序排序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort()print(motorcycles) 字母倒序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort(reverseTrue)pri…...
CentOS 7升级gcc/G++版本
Centos 7默认gcc版本为4.8，有时需要更高版本，只需要执行几条命令，无需下载源码编译编译。 安装centos-release-scl sudo yum install centos-release-scl 安装devtoolset sudo yum install devtoolset-8-gcc* 注意，如果想安装…...
uni-app开发微信公众号 H5打开扫一扫功能
<!--引入微信sdk--> <script src"http://res.wx.qq.com/open/js/jweixin-1.6.0.js"></script>let url location.href.split(#)[0];newApi.getSignature({ url }).then(res > {if (res.code 0) {this.sdk.config({beta: true, // 必须这么写&a…...
RollBack RX Professional 快照管理避坑指南：锁定、任务属性设置与常见误区解析
RollBack RX Professional 快照管理避坑指南：锁定、任务属性设置与常见误区解析 在系统维护和数据安全领域，快照技术已经成为保障业务连续性的重要手段。RollBack RX Professional作为一款专业的系统还原工具，其快照管理功能在实际应用中展现…...
阿里云ECS新手避坑指南：搞定校园网、安全组和SSH端口映射（附XShell连接测试）
阿里云ECS新手全流程配置手册：从安全组到SSH连接的深度实践 第一次接触云服务器时，那种既兴奋又忐忑的心情我至今记忆犹新。看着控制台里各种陌生的术语和选项，明明按照教程一步步操作却总是卡在连接阶段，这种经历想必不少技术爱好…...
Zabbix监控华为防火墙丢包？可能是你的SNMP v2c配置没做对（附Python巡检脚本）
Zabbix监控华为防火墙丢包问题的深度排查与自动化解决方案 当Zabbix监控华为防火墙时出现丢包或数据异常，很多工程师的第一反应是检查网络连通性或Zabbix服务器配置，却忽略了防火墙自身SNMP v2c与安全策略的联动机制。本文将揭示这一常见误区的技术根源&…...
AMD GPU本地AI模型部署终极指南：ollama-for-amd让你的Radeon显卡焕发新生
AMD GPU本地AI模型部署终极指南：ollama-for-amd让你的Radeon显卡焕发新生 【免费下载链接】ollama-for-amd Get up and running with Llama 3, Mistral, Gemma, and other large language models.by adding more amd gpu support. 项目地址: https://gitcode.com/…...
COMTool图表插件使用教程：实时数据可视化与曲线绘制完整指南
COMTool图表插件使用教程：实时数据可视化与曲线绘制完整指南 【免费下载链接】COMTool Cross platform communicate assistant(Serial/network/terminal tool)（ 跨平台 串口调试助手 网络调试助手 终端工具 linux windows mac Raspberry Pi ）…...
Fluent瞬态计算踩坑记录：时间统计采样设置里的3个关键细节与避坑指南
Fluent瞬态计算时间统计功能深度解析：从原理到实践的3个高阶技巧 在计算流体动力学（CFD）的瞬态仿真中，时间统计功能就像一位隐形的数据分析师，默默记录着流场参数的每一次脉动与演变。许多工程师在使用Fluent进行瞬态计…...
嵌入式PID温度控制：从算法原理到C语言工程实现
1. 项目概述与核心思路最近在做一个智能热水器的嵌入式控制项目，核心任务就是让水温能又快又稳地达到我们设定的目标值。这听起来简单，但实际做起来，水温系统有惯性、有延迟，加热功率和环境散热也在实时变化，想实现精准…...
好书推荐《VirtualLab Fusion入门与进阶实用教程（第二版）》
目 录第一章 VirtualLab Fusion理论基础 1 1.1 几何光学和光线追迹 1 1.2 物理光学和光场追迹 1 1.2.1 统一场追迹 3 1.2.2 第二代场追迹 6 第二章 VirtualLab Fusion安装与更新 10 2.1 VirtualLab 版本说明及系统配置要求 10 2.2 VirtualLab安装与更新 11 2.3 安装过程中可能遇…...
NY352固态MT29F32T08GWLBHD6-24QJ:B
NY352固态MT29F32T08GWLBHD6-24QJ:B从你的笔记本到高性能服务器，从智能仪表到工业机器人，一块灵魂级的存储芯片往往决定了系统的稳定与寿命。在众多闪存颗粒中，MT29F32T08GWLBHD6-24QJ:B 无疑是最具代表性的存在之一。它看似不起眼࿰…...
Inter字体终极指南：从零开始掌握现代界面设计的免费开源字体方案
Inter字体终极指南：从零开始掌握现代界面设计的免费开源字体方案 【免费下载链接】inter The Inter font family 项目地址: https://gitcode.com/gh_mirrors/in/inter Inter字体是一款专为计算机屏幕精心设计的开源无衬线字体系统，凭借其卓越的可…...