MySQL BinLog实战应用之二
一、前言
二、Canal原理
我们知道MySQL主从复制是Mster将数据变更写入BinLog，然后Slave将Master的BinLog拷贝到它的中继日志，最后重放中继日志完成将数据同步到Slave。
Canal其实它就是参考主从复制原理，将自己伪装成Slave，接收Master推送的二进制日志。
Cannel包括两部分
-
服务端：将自己伪装成Slave并从Master获取Binlog以供消费端使用。
-
客户端：订阅服务端数据变更事件，处理后存储到对应的数据仓库中（RDB、HBase、ES）。
Canal的应用：可以用于做数据同步（在线库同步到离线库）、增量数据同步ES等。
三、Canal服务端安装配置
下载解压
Canal同步账号创建及授权
配置文件 conf/example/instance.properties
因为我Linux服务器上安装的是JDK17.用startup.sh启动报了一堆错，只需要将JAVA_OPTS中报错的配置删除即可，另外我机器内存只有1G,需要调整一下堆内存的最大值和初始值。
/bin/startup.sh 启动后可以查看到日志输出，日志没有报错就启动成功了。
四、canal客户端
依赖
消费端代码：类似于MQ的消息接收端
执行UPDATFE语句
接收端收到消息（变更前该记录所有字段值，变更后该记录所有字段值）
mysqlbinlog直接解析，canal要求mysqlBinlog配置为row
注：这里是仅单机环境，我们的场景单机也就可以了，如果要保证可靠性使用多个接收端，需要引入zk来保证同一时间只有一个消费端工作，因为canal通过ack保证必须按顺序消费，以免数据无序造成数据错乱。
相关文章：
MySQL BinLog实战应用之二
一、前言 上篇 MySQL Binlog实战应用之一 主要讲了BinLog的开启以及用MySQLBinLog读取BigLog二进制文件，但MySQLBinLog很难直接对接Java，所以有了Canal这个Alibaba开发的用于MySQL增量日志解析，提供增量数据的订阅和消费组件。 二、Canal原…...
Visual Studio Code 快 捷 键
个人总结 Visual Studio Code 快 捷 键！满足日常使用，提高工作效率！！ 1、搜索文件： Ctrl p 2、移到某一行： Ctrl g 一、切 换 行 注 释、切 换 块 注 释 1、行注释"//"快捷键…...
有色金属冶炼VR虚拟场景互动教学有何优势
真实模拟：VR虚拟现实技术可以提供一个真实的虚拟环境，模拟钢铁制造现场，包括设备、工艺流程、操作规程等，使学员获得直观、真实的体验。 安全可靠：钢铁制造技能培训可以在虚拟环境中进行，不会对人员或设备造…...
Python将知网导出的endnote题录转为Refworks模式
近期使用SATI文献分析系统，发现效果有限，vosviewer虽然聚类起来图片好看，但没有模块度以及轮廓值等评价标准，因此只能去找citespace，3000文献经过了筛选，重新在知网导一次太麻烦了，还是直接用py…...
单元测试反射注解
单元测试 就是针对最小的功能单元(方法)，编写测试代码对其进行正确性测试。 咱们之前是如何进行单元测试的？有啥问题 ？ Junit单元测试框架 可以用来对方法进行测试，它是由Junit公司开源出来的 具体步骤 Junit框架的常见注解…...
Android 交叉编译openssl 、libxml2静态库
openssl: Android下openssl编译和使用（一）_安卓编译openssl 交叉编译 for arch in armeabi-v7a arm64-v8a-CSDN博客 libxml2: LIBXML2 2.9.11 build for Android_libxml2 android静态库_fredhurui的博客-CSDN博客...
神经网络气温预测
#引用所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch import torch.optim as optim#优化器 #过滤警告 import warnings warnings.filterwarnings(“ignore”) %matplotlib inline featurespd.read_csv(‘temps.csv’) feat…...
体验SOLIDWORKS钣金切口工具增强 硕迪科技
在工业生产制造中，钣金加工是一种常用的加工方式，在SOLIDWORKS2024新版本中，钣金切口工具再次增强了，从SOLIDWORKS 2024 开始， 您可以使用切口工具在空心或薄壁圆柱体和圆锥体中生成切口。 只需在现有空心或薄壁圆柱体…...
（八）Flask之app.route装饰器函数的参数
app.route参数 app.route()是Flask框架中用于定义路由的装饰器函数，它接受一些参数来指定路由的URL规则、请求方法等。 app.route()参数如下： rule（必选）：定义URL规则的字符串，表示要匹配的URL路径。可以…...
ES6.8集群配置注意点
x-pack配置 当启用xpack.security.enabled时，确保集群中的所有节点都配置了此项，并确保所有节点都已重启。如果只有部分节点启用安全性，那么集群可能会遇到问题。 设置密码 使用elasticsearch-setup-passwords工具设置密码时，确保…...
Powercli批量修改分布式交换机端口组
背景 需求： 批量修改虚拟机的分布式端口组 解决方式一： 三条命令解决：先获取目标虚拟机、获取目标端口组、修改虚拟机端口组、检查虚拟机状态。 $vm Get-VM -Name <虚拟机名称> $portGroup Get-VirtualPortGroup -Name <端口…...
ZKP10.2 Efficient Recursion via Statement Folding (Nova)
ZKP学习笔记 ZK-Learning MOOC课程笔记 Lecture 10: Recursive SNARKs, Aggregation and Accumulation (Dan Boneh) 10.3 Efficient Recursion via Statement Folding: Nova, Supernova, and generalizations The difficulty with full recursion Prover P needs to build a…...
高浓度cod废水怎么处理
高浓度COD废水的处理方法主要有物理法、生物法和化学法。 物理法：一般通过加入絮凝剂，利用絮凝剂的吸附、电中和等作用将水中的颗粒物结团沉降下去，从而达到去除部分来自颗粒物的COD。此方法基本上只对浓度上万、上千的COD起作用，…...
Docker学习——②
文章目录 1、Docker是什么1.1 Docker本质1.2 Docker的引擎迭代1.3 Docker和虚拟机的区别1.4 Docker 为什么比虚拟机资源利用率高，启动快？1.5 Docker 和 JVM 虚拟化的区别？ 2、Docker架构3、Docker生态3.1 新时代软件诉求3.2 Docker 解决方案 …...
VSCode 设置平滑光标
1.点击左下角的设置按钮，再点击设置 2.点击文本编辑器，点击光标，勾选控制是否启用平滑插入动画。 3.随便打开一个文件，上下左右移动光标时，会发现非常的流畅。 原创作者：吴小糖 创作时间：2023…...
Spring、SpringMVC、Mybatis
一.Spring基础 1.Spring 框架是什么 Spring 是一款开源的轻量级 Java 开发框架，我们一般说 Spring 框架指的都是 Spring Framework，它是很多模块的集合，例如，Spring core、Spring JDBC、Spring MVC 等，使用这些模块可…...
Kubernetes 架构
Kubernetes 架构 Kubernetes 最初源于谷歌内部的 Borg，提供了面向应用的容器集群部署和管理系统。Kubernetes 的目标旨在消除编排物理 / 虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提…...
python---数据类型（列表）
组织列表 使用sort()方法对列表永久性排序 按照字母顺序排序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort()print(motorcycles) 字母倒序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort(reverseTrue)pri…...
CentOS 7升级gcc/G++版本
Centos 7默认gcc版本为4.8，有时需要更高版本，只需要执行几条命令，无需下载源码编译编译。 安装centos-release-scl sudo yum install centos-release-scl 安装devtoolset sudo yum install devtoolset-8-gcc* 注意，如果想安装…...
uni-app开发微信公众号 H5打开扫一扫功能
<!--引入微信sdk--> <script src"http://res.wx.qq.com/open/js/jweixin-1.6.0.js"></script>let url location.href.split(#)[0];newApi.getSignature({ url }).then(res > {if (res.code 0) {this.sdk.config({beta: true, // 必须这么写&a…...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
label-studio的使用教程(导入本地路径)
文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...
从深圳崛起的“机器之眼”：赴港乐动机器人的万亿赛道赶考路
进入2025年以来，尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断，但全球市场热度依然高涨，入局者持续增加。 以国内市场为例，天眼查专业版数据显示，截至5月底，我国现存在业、存续状态的机器人相关企…...
镜像里切换为普通用户
如果你登录远程虚拟机默认就是 root 用户，但你不希望用 root 权限运行 ns-3（这是对的，ns3 工具会拒绝 root），你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案：创建非 roo…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
SpringTask-03.入门案例
一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...
css3笔记 （1） 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size：0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...
如何在最短时间内提升打ctf（web)的水平？
刚刚刷完2遍 bugku 的 web 题，前来答题。 每个人对刷题理解是不同，有的人是看了writeup就等于刷了，有的人是收藏了writeup就等于刷了，有的人是跟着writeup做了一遍就等于刷了，还有的人是独立思考做了一遍就等于刷了。…...
Java 二维码
Java 二维码 **技术：**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...
人工智能（大型语言模型 LLMs）对不同学科的影响以及由此产生的新学习方式
今天是关于AI如何在教学中增强学生的学习体验，我把重要信息标红了。人文学科的价值被低估了 ⬇️ 转型与必要性 人工智能正在深刻地改变教育，这并非炒作，而是已经发生的巨大变革。教育机构和教育者不能忽视它，试图简单地禁止学生使…...