MySQL BinLog实战应用之二
一、前言
二、Canal原理
我们知道MySQL主从复制是Mster将数据变更写入BinLog，然后Slave将Master的BinLog拷贝到它的中继日志，最后重放中继日志完成将数据同步到Slave。
Canal其实它就是参考主从复制原理，将自己伪装成Slave，接收Master推送的二进制日志。
Cannel包括两部分
-
服务端：将自己伪装成Slave并从Master获取Binlog以供消费端使用。
-
客户端：订阅服务端数据变更事件，处理后存储到对应的数据仓库中（RDB、HBase、ES）。
Canal的应用：可以用于做数据同步（在线库同步到离线库）、增量数据同步ES等。
三、Canal服务端安装配置
下载解压
Canal同步账号创建及授权
配置文件 conf/example/instance.properties
因为我Linux服务器上安装的是JDK17.用startup.sh启动报了一堆错，只需要将JAVA_OPTS中报错的配置删除即可，另外我机器内存只有1G,需要调整一下堆内存的最大值和初始值。
/bin/startup.sh 启动后可以查看到日志输出，日志没有报错就启动成功了。
四、canal客户端
依赖
消费端代码：类似于MQ的消息接收端
执行UPDATFE语句
接收端收到消息（变更前该记录所有字段值，变更后该记录所有字段值）
mysqlbinlog直接解析，canal要求mysqlBinlog配置为row
注：这里是仅单机环境，我们的场景单机也就可以了，如果要保证可靠性使用多个接收端，需要引入zk来保证同一时间只有一个消费端工作，因为canal通过ack保证必须按顺序消费，以免数据无序造成数据错乱。
相关文章：
MySQL BinLog实战应用之二
一、前言 上篇 MySQL Binlog实战应用之一 主要讲了BinLog的开启以及用MySQLBinLog读取BigLog二进制文件，但MySQLBinLog很难直接对接Java，所以有了Canal这个Alibaba开发的用于MySQL增量日志解析，提供增量数据的订阅和消费组件。 二、Canal原…...
Visual Studio Code 快 捷 键
个人总结 Visual Studio Code 快 捷 键！满足日常使用，提高工作效率！！ 1、搜索文件： Ctrl p 2、移到某一行： Ctrl g 一、切 换 行 注 释、切 换 块 注 释 1、行注释"//"快捷键…...
有色金属冶炼VR虚拟场景互动教学有何优势
真实模拟：VR虚拟现实技术可以提供一个真实的虚拟环境，模拟钢铁制造现场，包括设备、工艺流程、操作规程等，使学员获得直观、真实的体验。 安全可靠：钢铁制造技能培训可以在虚拟环境中进行，不会对人员或设备造…...
Python将知网导出的endnote题录转为Refworks模式
近期使用SATI文献分析系统，发现效果有限，vosviewer虽然聚类起来图片好看，但没有模块度以及轮廓值等评价标准，因此只能去找citespace，3000文献经过了筛选，重新在知网导一次太麻烦了，还是直接用py…...
单元测试反射注解
单元测试 就是针对最小的功能单元(方法)，编写测试代码对其进行正确性测试。 咱们之前是如何进行单元测试的？有啥问题 ？ Junit单元测试框架 可以用来对方法进行测试，它是由Junit公司开源出来的 具体步骤 Junit框架的常见注解…...
Android 交叉编译openssl 、libxml2静态库
openssl: Android下openssl编译和使用（一）_安卓编译openssl 交叉编译 for arch in armeabi-v7a arm64-v8a-CSDN博客 libxml2: LIBXML2 2.9.11 build for Android_libxml2 android静态库_fredhurui的博客-CSDN博客...
神经网络气温预测
#引用所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch import torch.optim as optim#优化器 #过滤警告 import warnings warnings.filterwarnings(“ignore”) %matplotlib inline featurespd.read_csv(‘temps.csv’) feat…...
体验SOLIDWORKS钣金切口工具增强 硕迪科技
在工业生产制造中，钣金加工是一种常用的加工方式，在SOLIDWORKS2024新版本中，钣金切口工具再次增强了，从SOLIDWORKS 2024 开始， 您可以使用切口工具在空心或薄壁圆柱体和圆锥体中生成切口。 只需在现有空心或薄壁圆柱体…...
（八）Flask之app.route装饰器函数的参数
app.route参数 app.route()是Flask框架中用于定义路由的装饰器函数，它接受一些参数来指定路由的URL规则、请求方法等。 app.route()参数如下： rule（必选）：定义URL规则的字符串，表示要匹配的URL路径。可以…...
ES6.8集群配置注意点
x-pack配置 当启用xpack.security.enabled时，确保集群中的所有节点都配置了此项，并确保所有节点都已重启。如果只有部分节点启用安全性，那么集群可能会遇到问题。 设置密码 使用elasticsearch-setup-passwords工具设置密码时，确保…...
Powercli批量修改分布式交换机端口组
背景 需求： 批量修改虚拟机的分布式端口组 解决方式一： 三条命令解决：先获取目标虚拟机、获取目标端口组、修改虚拟机端口组、检查虚拟机状态。 $vm Get-VM -Name <虚拟机名称> $portGroup Get-VirtualPortGroup -Name <端口…...
ZKP10.2 Efficient Recursion via Statement Folding (Nova)
ZKP学习笔记 ZK-Learning MOOC课程笔记 Lecture 10: Recursive SNARKs, Aggregation and Accumulation (Dan Boneh) 10.3 Efficient Recursion via Statement Folding: Nova, Supernova, and generalizations The difficulty with full recursion Prover P needs to build a…...
高浓度cod废水怎么处理
高浓度COD废水的处理方法主要有物理法、生物法和化学法。 物理法：一般通过加入絮凝剂，利用絮凝剂的吸附、电中和等作用将水中的颗粒物结团沉降下去，从而达到去除部分来自颗粒物的COD。此方法基本上只对浓度上万、上千的COD起作用，…...
Docker学习——②
文章目录 1、Docker是什么1.1 Docker本质1.2 Docker的引擎迭代1.3 Docker和虚拟机的区别1.4 Docker 为什么比虚拟机资源利用率高，启动快？1.5 Docker 和 JVM 虚拟化的区别？ 2、Docker架构3、Docker生态3.1 新时代软件诉求3.2 Docker 解决方案 …...
VSCode 设置平滑光标
1.点击左下角的设置按钮，再点击设置 2.点击文本编辑器，点击光标，勾选控制是否启用平滑插入动画。 3.随便打开一个文件，上下左右移动光标时，会发现非常的流畅。 原创作者：吴小糖 创作时间：2023…...
Spring、SpringMVC、Mybatis
一.Spring基础 1.Spring 框架是什么 Spring 是一款开源的轻量级 Java 开发框架，我们一般说 Spring 框架指的都是 Spring Framework，它是很多模块的集合，例如，Spring core、Spring JDBC、Spring MVC 等，使用这些模块可…...
Kubernetes 架构
Kubernetes 架构 Kubernetes 最初源于谷歌内部的 Borg，提供了面向应用的容器集群部署和管理系统。Kubernetes 的目标旨在消除编排物理 / 虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提…...
python---数据类型（列表）
组织列表 使用sort()方法对列表永久性排序 按照字母顺序排序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort()print(motorcycles) 字母倒序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort(reverseTrue)pri…...
CentOS 7升级gcc/G++版本
Centos 7默认gcc版本为4.8，有时需要更高版本，只需要执行几条命令，无需下载源码编译编译。 安装centos-release-scl sudo yum install centos-release-scl 安装devtoolset sudo yum install devtoolset-8-gcc* 注意，如果想安装…...
uni-app开发微信公众号 H5打开扫一扫功能
<!--引入微信sdk--> <script src"http://res.wx.qq.com/open/js/jweixin-1.6.0.js"></script>let url location.href.split(#)[0];newApi.getSignature({ url }).then(res > {if (res.code 0) {this.sdk.config({beta: true, // 必须这么写&a…...
Zustand 状态管理库：极简而强大的解决方案
Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...
k8s从入门到放弃之Ingress七层负载
k8s从入门到放弃之Ingress七层负载 在Kubernetes（简称K8s）中，Ingress是一个API对象，它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress，你可…...
解锁数据库简洁之道：FastAPI与SQLModel实战指南
在构建现代Web应用程序时，与数据库的交互无疑是核心环节。虽然传统的数据库操作方式（如直接编写SQL语句与psycopg2交互）赋予了我们精细的控制权，但在面对日益复杂的业务逻辑和快速迭代的需求时，这种方式的开发效率和可…...
【算法训练营Day07】字符串part1
文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接：344. 反转字符串 双指针法，两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...
Pinocchio 库详解及其在足式机器人上的应用
Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库，专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性，并提供了一个通用的框架&…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...
RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill
视觉语言模型（Vision-Language Models, VLMs），为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展，机器人仍难以胜任复杂的长时程任务（如家具装配），主要受限于人…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...
【Linux系统】Linux环境变量：系统配置的隐形指挥官
。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量：setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...
MySQL 主从同步异常处理
阅读原文：https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主，遇到的这个错误： Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一，通常表示ÿ…...