MySQL BinLog实战应用之二
一、前言
二、Canal原理
我们知道MySQL主从复制是Mster将数据变更写入BinLog，然后Slave将Master的BinLog拷贝到它的中继日志，最后重放中继日志完成将数据同步到Slave。
Canal其实它就是参考主从复制原理，将自己伪装成Slave，接收Master推送的二进制日志。
Cannel包括两部分
-
服务端：将自己伪装成Slave并从Master获取Binlog以供消费端使用。
-
客户端：订阅服务端数据变更事件，处理后存储到对应的数据仓库中（RDB、HBase、ES）。
Canal的应用：可以用于做数据同步（在线库同步到离线库）、增量数据同步ES等。
三、Canal服务端安装配置
下载解压
Canal同步账号创建及授权
配置文件 conf/example/instance.properties
因为我Linux服务器上安装的是JDK17.用startup.sh启动报了一堆错，只需要将JAVA_OPTS中报错的配置删除即可，另外我机器内存只有1G,需要调整一下堆内存的最大值和初始值。
/bin/startup.sh 启动后可以查看到日志输出，日志没有报错就启动成功了。
四、canal客户端
依赖
消费端代码：类似于MQ的消息接收端
执行UPDATFE语句
接收端收到消息（变更前该记录所有字段值，变更后该记录所有字段值）
mysqlbinlog直接解析，canal要求mysqlBinlog配置为row
注：这里是仅单机环境，我们的场景单机也就可以了，如果要保证可靠性使用多个接收端，需要引入zk来保证同一时间只有一个消费端工作，因为canal通过ack保证必须按顺序消费，以免数据无序造成数据错乱。
相关文章：
MySQL BinLog实战应用之二
一、前言 上篇 MySQL Binlog实战应用之一 主要讲了BinLog的开启以及用MySQLBinLog读取BigLog二进制文件，但MySQLBinLog很难直接对接Java，所以有了Canal这个Alibaba开发的用于MySQL增量日志解析，提供增量数据的订阅和消费组件。 二、Canal原…...
Visual Studio Code 快 捷 键
个人总结 Visual Studio Code 快 捷 键！满足日常使用，提高工作效率！！ 1、搜索文件： Ctrl p 2、移到某一行： Ctrl g 一、切 换 行 注 释、切 换 块 注 释 1、行注释"//"快捷键…...
有色金属冶炼VR虚拟场景互动教学有何优势
真实模拟：VR虚拟现实技术可以提供一个真实的虚拟环境，模拟钢铁制造现场，包括设备、工艺流程、操作规程等，使学员获得直观、真实的体验。 安全可靠：钢铁制造技能培训可以在虚拟环境中进行，不会对人员或设备造…...
Python将知网导出的endnote题录转为Refworks模式
近期使用SATI文献分析系统，发现效果有限，vosviewer虽然聚类起来图片好看，但没有模块度以及轮廓值等评价标准，因此只能去找citespace，3000文献经过了筛选，重新在知网导一次太麻烦了，还是直接用py…...
单元测试反射注解
单元测试 就是针对最小的功能单元(方法)，编写测试代码对其进行正确性测试。 咱们之前是如何进行单元测试的？有啥问题 ？ Junit单元测试框架 可以用来对方法进行测试，它是由Junit公司开源出来的 具体步骤 Junit框架的常见注解…...
Android 交叉编译openssl 、libxml2静态库
openssl: Android下openssl编译和使用（一）_安卓编译openssl 交叉编译 for arch in armeabi-v7a arm64-v8a-CSDN博客 libxml2: LIBXML2 2.9.11 build for Android_libxml2 android静态库_fredhurui的博客-CSDN博客...
神经网络气温预测
#引用所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch import torch.optim as optim#优化器 #过滤警告 import warnings warnings.filterwarnings(“ignore”) %matplotlib inline featurespd.read_csv(‘temps.csv’) feat…...
体验SOLIDWORKS钣金切口工具增强 硕迪科技
在工业生产制造中，钣金加工是一种常用的加工方式，在SOLIDWORKS2024新版本中，钣金切口工具再次增强了，从SOLIDWORKS 2024 开始， 您可以使用切口工具在空心或薄壁圆柱体和圆锥体中生成切口。 只需在现有空心或薄壁圆柱体…...
（八）Flask之app.route装饰器函数的参数
app.route参数 app.route()是Flask框架中用于定义路由的装饰器函数，它接受一些参数来指定路由的URL规则、请求方法等。 app.route()参数如下： rule（必选）：定义URL规则的字符串，表示要匹配的URL路径。可以…...
ES6.8集群配置注意点
x-pack配置 当启用xpack.security.enabled时，确保集群中的所有节点都配置了此项，并确保所有节点都已重启。如果只有部分节点启用安全性，那么集群可能会遇到问题。 设置密码 使用elasticsearch-setup-passwords工具设置密码时，确保…...
Powercli批量修改分布式交换机端口组
背景 需求： 批量修改虚拟机的分布式端口组 解决方式一： 三条命令解决：先获取目标虚拟机、获取目标端口组、修改虚拟机端口组、检查虚拟机状态。 $vm Get-VM -Name <虚拟机名称> $portGroup Get-VirtualPortGroup -Name <端口…...
ZKP10.2 Efficient Recursion via Statement Folding (Nova)
ZKP学习笔记 ZK-Learning MOOC课程笔记 Lecture 10: Recursive SNARKs, Aggregation and Accumulation (Dan Boneh) 10.3 Efficient Recursion via Statement Folding: Nova, Supernova, and generalizations The difficulty with full recursion Prover P needs to build a…...
高浓度cod废水怎么处理
高浓度COD废水的处理方法主要有物理法、生物法和化学法。 物理法：一般通过加入絮凝剂，利用絮凝剂的吸附、电中和等作用将水中的颗粒物结团沉降下去，从而达到去除部分来自颗粒物的COD。此方法基本上只对浓度上万、上千的COD起作用，…...
Docker学习——②
文章目录 1、Docker是什么1.1 Docker本质1.2 Docker的引擎迭代1.3 Docker和虚拟机的区别1.4 Docker 为什么比虚拟机资源利用率高，启动快？1.5 Docker 和 JVM 虚拟化的区别？ 2、Docker架构3、Docker生态3.1 新时代软件诉求3.2 Docker 解决方案 …...
VSCode 设置平滑光标
1.点击左下角的设置按钮，再点击设置 2.点击文本编辑器，点击光标，勾选控制是否启用平滑插入动画。 3.随便打开一个文件，上下左右移动光标时，会发现非常的流畅。 原创作者：吴小糖 创作时间：2023…...
Spring、SpringMVC、Mybatis
一.Spring基础 1.Spring 框架是什么 Spring 是一款开源的轻量级 Java 开发框架，我们一般说 Spring 框架指的都是 Spring Framework，它是很多模块的集合，例如，Spring core、Spring JDBC、Spring MVC 等，使用这些模块可…...
Kubernetes 架构
Kubernetes 架构 Kubernetes 最初源于谷歌内部的 Borg，提供了面向应用的容器集群部署和管理系统。Kubernetes 的目标旨在消除编排物理 / 虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提…...
python---数据类型（列表）
组织列表 使用sort()方法对列表永久性排序 按照字母顺序排序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort()print(motorcycles) 字母倒序： motorcycles [chunlan, yamaha, dayun, jianshe]motorcycles.sort(reverseTrue)pri…...
CentOS 7升级gcc/G++版本
Centos 7默认gcc版本为4.8，有时需要更高版本，只需要执行几条命令，无需下载源码编译编译。 安装centos-release-scl sudo yum install centos-release-scl 安装devtoolset sudo yum install devtoolset-8-gcc* 注意，如果想安装…...
uni-app开发微信公众号 H5打开扫一扫功能
<!--引入微信sdk--> <script src"http://res.wx.qq.com/open/js/jweixin-1.6.0.js"></script>let url location.href.split(#)[0];newApi.getSignature({ url }).then(res > {if (res.code 0) {this.sdk.config({beta: true, // 必须这么写&a…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
HBuilderX安装（uni-app和小程序开发）
下载HBuilderX 访问官方网站：https://www.dcloud.io/hbuilderx.html 根据您的操作系统选择合适版本： Windows版（推荐下载标准版） Windows系统安装步骤 运行安装程序： 双击下载的.exe安装文件 如果出现安全提示&…...
基于 TAPD 进行项目管理
起因 自己写了个小工具，仓库用的Github。之前在用markdown进行需求管理，现在随着功能的增加，感觉有点难以管理了，所以用TAPD这个工具进行需求、Bug管理。 操作流程 注册 TAPD，需要提供一个企业名新建一个项目&#…...
虚拟电厂发展三大趋势：市场化、技术主导、车网互联
市场化：从政策驱动到多元盈利 政策全面赋能 2025年4月，国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》，首次明确虚拟电厂为“独立市场主体”，提出硬性目标：2027年全国调节能力≥2000万千瓦࿰…...
关于uniapp展示PDF的解决方案
在 UniApp 的 H5 环境中使用 pdf-vue3 组件可以实现完整的 PDF 预览功能。以下是详细实现步骤和注意事项： 一、安装依赖 安装 pdf-vue3 和 PDF.js 核心库： npm install pdf-vue3 pdfjs-dist二、基本使用示例 <template><view class"con…...
Bean 作用域有哪些？如何答出技术深度？
导语： Spring 面试绕不开 Bean 的作用域问题，这是面试官考察候选人对 Spring 框架理解深度的常见方式。本文将围绕“Spring 中的 Bean 作用域”展开，结合典型面试题及实战场景，帮你厘清重点，打破模板式回答，…...
LOOI机器人的技术实现解析：从手势识别到边缘检测
LOOI机器人作为一款创新的AI硬件产品，通过将智能手机转变为具有情感交互能力的桌面机器人，展示了前沿AI技术与传统硬件设计的完美结合。作为AI与玩具领域的专家，我将全面解析LOOI的技术实现架构，特别是其手势识别、物体识别和环境…...
ubuntu系统文件误删(/lib/x86_64-linux-gnu/libc.so.6)修复方案 [成功解决]
报错信息：libc.so.6: cannot open shared object file: No such file or directory： #ls, ln, sudo...命令都不能用 error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory重启后报错信息&…...
Python环境安装与虚拟环境配置详解
本文档旨在为Python开发者提供一站式的环境安装与虚拟环境配置指南，适用于Windows、macOS和Linux系统。无论你是初学者还是有经验的开发者，都能在此找到适合自己的环境搭建方法和常见问题的解决方案。 快速开始 一分钟快速安装与虚拟环境配置 # macOS/…...
在Zenodo下载文件 用到googlecolab googledrive
方法：Figshare/Zenodo上的数据/文件下载不下来？尝试利用Google Colab ：https://zhuanlan.zhihu.com/p/1898503078782674027 参考： 通过Colab&谷歌云下载Figshare数据，超级实用！！࿰…...