当前位置： 首页 > news >正文

Debezium系列之：记录一次SQLServer数据库数据不采集，恢复采集造成下游承压的情况，以及相对应的详细解决方案

news 2025/11/7 17:37:16

Debezium系列之：记录一次SQLServer数据库数据不采集，恢复采集造成下游承压的情况，以及相对应的详细解决方案

  • 一、背景
  • 二、查看CDC表情况
  • 三、 排查数据库是否开启代理
  • 四、排查表是否开启CDC
  • 五、下游承压情况
  • 六、解决方案

一、背景

  • Connector状态正常，但几十台SQLServer数据库不采集数据了，因此需要定位排查数据库不采集的原因

思路：

  • 查看CDC表是否有新数据
  • 查看数据库代理是否开启
  • 查看数据库表是否开启CDC

二、查看CDC表情况

  • 发现CDC表没有新数据
  • 进一步去排查数据库代理是否开启

三、 排查数据库是否开启代理

  • 发现SQLServer数据库重启过，重启后代理没有开启
  • 因此，需要开启SQLServer数据库代理
  • 采集的表从采集中断以来有新数据的话，代理开启后，查看CDC表是否同步到新数据
  • 如果CDC表有新数据，再去判断Debezium是否采集到数据，如果CDC表没有新数据，再去判断表的CDC设置情况

建议

  • 把SQLServer数据库代理设置为自动开启，这样下次数据库重启后采集能够立即恢复

四、排查表是否开启CDC

EXEC sys.sp_cdc_help_change_data_capture
GO
  • 代理恢复后，CDC表没有新数据，则去查看CDC表设置情况
  • 可以考虑删除表的CDC设置，冲新设置表的CDC

表设置CDC可以参考下面的技术文章：

相关文章：

Debezium系列之：记录一次SQLServer数据库数据不采集，恢复采集造成下游承压的情况，以及相对应的详细解决方案

Debezium系列之：记录一次SQLServer数据库数据不采集，恢复采集造成下游承压的情况，以及相对应的详细解决方案 一、背景二、查看CDC表情况三、 排查数据库是否开启代理四、排查表是否开启CDC五、下游承压情况六、解决方案一、背景 Connector状态正常，但几十台SQLServer数据库…...

编程日记 2024/8/16 18:49:20

Linux线程基础学习记录

0.线程特点 （1）.线程共享资源：一个进程下的多个线程共享以下资源 可执行的指令 静态数据 进程中打开的文件描述符 当前工作目录 用户ID 用户组ID （2）.线程私有资源： 线程ID PC(程序计数器）和相…...

编程日记 2024/8/16 18:48:19

【Python学习-UI界面】PyQt5 小部件12-QStackedWidget 多页显示

功能和 QTabWidget 类似，它也有助于高效利用窗口的客户区域。 QStackedWidget 提供了一个窗口堆栈，每次只能查看一个窗口。它是建立在 QStackedLayout 之上的一个有用的布局。 样式如下: 右键可以变型为QTabWidget...

编程日记 2024/8/16 18:47:18

Mybatis中好用的元对象反射工具类 - MetaObject

一、前言 在获取map对象或者是其他深层嵌套对象，如果你的做法是挨个取出判空然后继续再向下查找，那么可以看看本文的方案，它或许能让你打开新的思路。 作为一名java开发人员，Mybatis几乎是我们无法避开的ORM框架，如果你…...

编程日记 2024/8/16 18:45:15

javaEE WebServlet、SpringWebMVC、SpringBoot实现跨域访问的4种方式及优先级，nginx配置跨域

文章目录 1. 前置知识2. 原理和解决方案总结2.1. 跨域不通过原理流程图2.2. 实现原理：添加以下http响应头2.3. 四种跨域实现方式及优先级（从高到低） 3. 具体实现代码3.1. 跨域全局配置方式-Filter(全适用)3.2. 跨域全局配置方式-SpringMvc3.3…...

编程日记 2024/8/16 18:44:14

深入理解JavaScript性能优化：从基础到高级

引言 在当今快速发展的Web世界中,性能已经成为衡量应用质量的关键指标。随着Web应用复杂度的不断提升,JavaScript作为前端开发的核心语言,其性能优化变得尤为重要。本文旨在全面深入地探讨JavaScript性能优化的各个方面,从基础概念到高级技巧,帮助开发者构建高效、流畅的Web应用…...

编程日记 2024/8/16 18:41:10

java+springboot实现定时任务

由于是初级程序员，基于注解的形式实现了一个简单的定时任务； 1. 使用Scheduled注解 Spring的Scheduled注解是一种非常简单和便捷的实现定时任务的方式。通过在方法上添加Scheduled注解，我们可以指定方法在特定的时间间隔或固定的时间点执行…...

编程日记 2024/8/16 18:40:09

1.3 数据库的发展历史与演变

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏： 工💗重💗hao💗：野老杂谈 ⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.…...

编程日记 2024/8/16 18:39:08

The field file exceeds its maximum permitted size of 1048576 bytes

场景: 再系统后台上传解析对账文件时大小超过1M就会报错 分析: 排查错误时了解MultipartFile默认上传大小就是1M,但是发现项目配置文件配置了上传大小100M,但是这个大小没有生效 因为项目启动并没有使用到这个配置大小并把他应用到file配置里面,经过测试发现只需要增加配置…...

编程日记 2024/8/16 18:38:07

【Es】python es操作

表 因为es是集群所以es_hosts是列表 from elasticsearch import Elasticsearch ES_HOSTS ["127.0.0.1:9200"] ES_HTTP_AUTH "******************"# 连接Es es Elasticsearch(hostsES_HOSTS ,http_authES_HTTP_AUTH ,maxsize60,timeout30,max_retries3…...

编程日记 2024/8/16 18:37:05

吃透前端文件上传与文件相关操作 多文件上传 大文件切片上传 拖拽上传 后续还会更新 断点续传等等

最近在学文件上传的操作,所以想把学习到东西写成一文章 这片文章是我以小白视角 慢慢学习并熟悉前端文件相关操作的流程总结出来的 前端文件上传 我首先想到是 <input type"file">**选择文件**</input>如果我们想限制上传文件的格式,大小或进行裁剪分片…...

编程日记 2024/8/16 18:35:03

用python制作88键赛博钢琴（能用鼠标键盘进行弹奏）

用python制作88键赛博钢琴 前言 恭喜这位博主终于想起了自己的账号密码&#xff01; 时光荏苒&#xff0c;转眼间已逾一年未曾在此留下墨香。尽管这一年间&#xff0c;博主投身于无尽的忙碌与挑战之中&#xff0c;但令人欣慰的是&#xff0c;那份初心与热情似乎并未因岁月的流…...

编程日记 2024/8/16 18:34:02

zdpgo_gin_login 框架20240815更新，增加注册路由的功能，一个方法自动拥有注册和登录两个API接口

zdpgo_gin_login 适配gin框架的登录注册功能组件&#xff0c;通过本框架轻松拥有登录注册相关的API接口 特性&#xff1a; 自动生成注册接口&#xff0c;具备密码加密的功能自动生成登录接口&#xff0c;具备JWT Token生成的功能 安装 go get github.com/zhangdapeng520/z…...

编程日记 2024/8/16 18:28:56

搭配Intel第13代酷睿处理器

高性能内存硬盘这么买 intel第13代酷睿已经于2022年10月底正式上市。相比于第12代酷睿性能大涨，内置20条PCle通道（16条PCle 5.0和4条PCle 4.0）、可最多支持128GB DDR5 5600/DDR4 3200双通道内存，搭配Z790系列主板组建高端性能平台，满足未来设计、游戏、专业应用等需求。如…...

编程日记 2024/8/16 18:27:55

uniapp快速回顾，新学websocket连接和BLE连接

Uni APP的学习 官方文档 uni-app官网 (dcloud.net.cn) 任何的博客都不如官方文档 一、快速复习 文件结构 main.js 功能&#xff1a;项目的入口文件&#xff0c;初始化 Vue 实例。 App.vue功能&#xff1a;根组件&#xff0c;包含应用的基本结构和全局样式。 manifest.js…...

编程日记 2024/8/16 18:25:52

激光测距传感器

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划 文章目录 前言一、产品原理&#xff1a;二、产品介绍&#xff1a;三、应用特点四、应用案例&#xff1a;1.冶金钢铁板卷材开卷工…...

编程日记 2024/8/16 18:24:51

从数据分析到智能生产：AI在工业中的应用与未来

导语 | 人工智能技术的迅猛发展&#xff0c;正在引领第四次工业革命悄然而至。尽管 AI 技术在工业领域的部署仍有诸多难题亟待解决&#xff0c;但这并不能阻挡历史趋势的车轮滚滚向前&#xff0c;AI 正在为工业领域带来新的变革。今天&#xff0c;我们特邀了上海腾展长融董事 &…...

编程日记 2024/8/16 18:23:50

讲讲android art虚拟机的内存

Android 的 ART&#xff08;Android Runtime&#xff09;虚拟机的内存管理是一个复杂但重要的部分。 ART 虚拟机的内存主要包括以下几个关键区域&#xff1a; Java 堆&#xff08;Java Heap&#xff09;&#xff1a; 这是存储 Java 对象实例的主要区域。堆内存被进一步划分为不…...

编程日记 2024/8/16 18:21:46

构建高效社群生态：探索社群系统的力量与未来

在数字化时代的大潮中&#xff0c;社群系统作为连接人与人、促进信息交流与资源共享的重要平台&#xff0c;正日益成为企业、组织乃至个人不可或缺的一部分。它不仅为成员提供了展示自我、学习成长的舞台&#xff0c;更为社群管理者创造了高效管理、精准运营的工具。今天&#…...

编程日记 2024/8/16 18:17:40

数据结构——排序（3）：交换排序（续）

目录 一、快速排序 (1)hoare版本 ①思路 ②过程图示 ③思考 ④代码实现 ⑤代码解释 &#xff08;2&#xff09;挖坑法 ①思路 ②过程图示 ③思考 ④代码实现 ⑤代码解释 &#xff08;3&#xff09;lomuto前后指针 ①思路 ②过程图示 ③思考 ④代码实现 ⑤代…...

编程日记 2024/8/16 18:16:38

19c补丁后oracle属主变化，导致不能识别磁盘组

补丁后服务器重启&#xff0c;数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后&#xff0c;存在与用户组权限相关的问题。具体表现为&#xff0c;Oracle 实例的运行用户&#xff08;oracle&#xff09;和集…...

编程新知 2025/11/7 9:56:01

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好&#xff0c;欢迎来到《云原生核心技术》系列的第七篇&#xff01; 在上一篇&#xff0c;我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在&#xff0c;我们就像一个拥有了一块崭新数字土地的农场主&#xff0c;是时…...

编程新知 2025/9/6 5:44:49

cf2117E

原题链接&#xff1a;https://codeforces.com/contest/2117/problem/E 题目背景&#xff1a; 给定两个数组a,b&#xff0c;可以执行多次以下操作&#xff1a;选择 i (1 < i < n - 1)&#xff0c;并设置 或&#xff0c;也可以在执行上述操作前执行一次删除任意 和 。求…...

编程新知 2025/11/6 21:11:45

Linux 中如何提取压缩文件 ？

Linux 是一种流行的开源操作系统&#xff0c;它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间&#xff0c;使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的&#xff0c;要在 …...

编程新知 2025/10/27 11:51:48

Java求职者面试指南：计算机基础与源码原理深度解析

Java求职者面试指南&#xff1a;计算机基础与源码原理深度解析 第一轮提问&#xff1a;基础概念问题 1. 请解释什么是进程和线程的区别&#xff1f; 面试官&#xff1a;进程是程序的一次执行过程&#xff0c;是系统进行资源分配和调度的基本单位&#xff1b;而线程是进程中的…...

编程新知 2025/10/7 19:05:44

腾讯云V3签名

想要接入腾讯云的Api&#xff0c;必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口&#xff0c;但总是卡在签名这一步&#xff0c;最后放弃选择SDK&#xff0c;这次终于自己代码实现。 可能腾讯云翻新了接口文档&#xff0c;现在阅读起来&#xff0c;清晰了很多&…...

编程新知 2025/10/19 18:56:12

WEB3全栈开发——面试专业技能点P7前端与链上集成

一、Next.js技术栈 ✅ 概念介绍 Next.js 是一个基于 React 的 服务端渲染&#xff08;SSR&#xff09;与静态网站生成&#xff08;SSG&#xff09; 框架&#xff0c;由 Vercel 开发。它简化了构建生产级 React 应用的过程&#xff0c;并内置了很多特性&#xff1a; ✅ 文件系…...

编程新知 2025/9/30 4:51:15

机器学习的数学基础：线性模型

线性模型 线性模型的基本形式为&#xff1a; f ( x ) ω T x b f\left(\boldsymbol{x}\right)\boldsymbol{\omega}^\text{T}\boldsymbol{x}b f(x)ωTxb 回归问题 利用最小二乘法&#xff0c;得到 ω \boldsymbol{\omega} ω和 b b b的参数估计$ \boldsymbol{\hat{\omega}}…...

编程新知 2025/10/2 9:07:50

2025年低延迟业务DDoS防护全攻略：高可用架构与实战方案

一、延迟敏感行业面临的DDoS攻击新挑战 2025年&#xff0c;金融交易、实时竞技游戏、工业物联网等低延迟业务成为DDoS攻击的首要目标。攻击呈现三大特征&#xff1a; AI驱动的自适应攻击&#xff1a;攻击流量模拟真实用户行为&#xff0c;差异率低至0.5%&#xff0c;传统规则引…...

编程新知 2025/8/29 1:00:19

写一个shell脚本，把局域网内，把能ping通的IP和不能ping通的IP分类，并保存到两个文本文件里

写一个shell脚本&#xff0c;把局域网内&#xff0c;把能ping通的IP和不能ping通的IP分类&#xff0c;并保存到两个文本文件里 脚本1 #!/bin/bash #定义变量 ip10.1.1 #循环去ping主机的IP for ((i1;i<10;i)) doping -c1 $ip.$i &>/dev/null[ $? -eq 0 ] &&am…...

编程新知 2025/10/25 10:55:30