当前位置： 首页 > news >正文

Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因

news 2026/3/29 10:39:05

Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因

  • 一、背景
  • 二、查找数据丢失流程
  • 三、数据丢失原因
  • 四、解决方法

一、背景

  • 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因

数据丢失一般常见需求排查的方向：

  • 数据是否采集到hdfs上
  • 采集到hdfs的话，进一步去确认数据是否是因为Spark任务资源不够导致没有加载到hive表中
  • 数据没有采集到的话，进一步定位分析没有采集到的原因，目前比较常见的是数据库原因导致、业务场景导致

二、查找数据丢失流程

  • 首先拿一条丢失数据的id，去确认这条数据是否采集到hdfs上，发现成功采集到了hdfs上
  • 观察hdfs文件生成时间，发现这张表的数据文件生成时间比较晚
    • 初步判断出现了数据库主从延迟或者采集延迟，但是spark任务会等到主从延迟或者采集延迟结束才会执行，这样应该能确保不会遗漏数据，进一步确认任务执行情况
    • 发现spark任务并没有出现延迟执行的情况，因此就出现了特殊情况
  • 再去查看数据库中其他表的采集情况，发现其他表的hdfs数据文件生成并没有延迟，这就说明只有这张数据丢失的表产生了采集延迟，进一步排查分析这张表
  • 发现丢失数据这张表近一天的hdfs文件生成时间是在同一时间点生成的，这表明近一天的数据是在同一时间采集到了hdfs
  • 查看这张数据丢失表数据情况，发现这张表在不同小时的数据工用了相同的gtid，这表明这些数据来自同一个事件
  • 进一步查看数据库其他表在不同小时gtid的情况，通过比较gtid，发现丢失数据这张表使用的gtid符合递增情况
  • 至此，基本找到数据没有加载到hive的原因
    • <

相关文章：

Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因

Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因 一、背景二、查找数据丢失流程三、数据丢失原因四、解决方法一、背景 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因数据丢失一般常见需求排查的方向： 数据是否采集到hdfs上采集…...

编程日记 2024/7/10 6:16:00

爆破器材期刊

《爆破器材》简介 　　《爆破器材》自1958年创刊以来&#xff0c;深受广大读者喜爱&#xff0c;是中国兵工学会主办的中央级技术刊物&#xff0c;在国内外公开发行&#xff0c;近几年已发行到10个国家和地区。《爆破器材》杂志被美国著名检索机构《化学文摘》&#xff08;CA&a…...

编程日记 2024/7/10 6:14:59

Nginx Websocket 协议配置支持

前后分离的 Web 架构应用&#xff0c;在开发环境启动是可以直接连接支持 websocket 协议&#xff0c;因为没有中间件做转发处理。 当我们对前端进行编译后&#xff0c;通过 nginx 反向代理访问时&#xff0c;需要在nginx 配置文件中增加一些特定的头信息&#xff0c;让服务端识…...

编程日记 2024/7/10 6:13:58

【生成式对抗网络】GANs在数据生成、艺术创作，以及在增强现实和虚拟现实中的应用

一、GANs在数据生成中的应用 生成对抗网络&#xff08;Generative Adversarial Networks, GANs&#xff09;在数据生成领域具有显著的应用价值。GANs通过生成器&#xff08;Generator&#xff09;和判别器&#xff08;Discriminator&#xff09;两个相互竞争的神经网络&#x…...

编程日记 2024/7/10 6:12:58

大模型面试（三）

这次是某家公司的一个电话面试&#xff0c;问的过程还比较简单直接。 问&#xff1a;我们在大模型开源项目的应用上遇到了什么困难&#xff1f; 这个。。有两个困难&#xff0c;一个是RAG的优化&#xff0c;一开始RAG是比较慢的&#xff0c;而且召回率不高&#xff1b; 后来…...

编程日记 2024/7/10 6:11:56

pycharm中快捷键汇总

Pycarm指令汇总 Ctrl鼠标 单击&#xff0c;能直接查看其用法 Ctrl/ 快速注释 CtrlC 在pycharm的terminal中可以停止运行, 其他的地方可以复制。 CtrlV 粘贴 CtrlA 全选 CtrlP 查看&#xff08;&#xff09;中需要填写什么参数 Altenter 自动不补全所需要的库...

编程日记 2024/7/10 6:10:55

TCP/IP协议族结构和协议

TCP/IP协议族是互联网及许多其他网络的基础，它由一系列相互关联的协议组成，用于实现网络通信。TCP/IP协议族采用ARPANET参考模型，大致可以分为四个层次：链路层、网络层、传输层和应用层。每个层次都有特定的协议和功能，确保数据能够从一个网络设备传输到另一个网络设备。 …...

编程日记 2024/7/10 6:07:53

大模型一些概念的理解 - 线性层、前向传播、后向传播

文章目录 前言一、线性层1. 什么是线性层&#xff1f;2. 通俗解释3. 示例 二、前向传播1. 什么是前向传播&#xff1f;2. 通俗解释3. 示例 三、后向传播1. 什么是后向传播&#xff1f;2. 通俗解释3. 具体步骤 四、示例五、在 PyTorch 中的后向传播 前言 最近提问里有问到一些名…...

编程日记 2024/7/10 6:06:52

AWS 云安全性：检测 SSH 暴力攻击

由于开源、低成本、可靠性和灵活性等优势&#xff0c;云基础设施主要由基于linux的机器主导&#xff0c;然而&#xff0c;它们也不能幸免于黑客的攻击&#xff0c;从而影响云的安全性。攻击Linux机器最流行的方法之一是通过SSH通道。 什么是 SSH 安全外壳协议&#xff08;Sec…...

编程日记 2024/7/10 6:03:49

7.9数据结构

思维导图 作业 doubleloop.h #ifndef __DOUBLELOOP_H__ #define __DOUBLELOOP_H__#include <stdio.h> #include <stdlib.h>typedef int datatype; typedef struct node {union{int len;datatype data;};struct node *pri;//前驱指针struct node *next;//后继指针…...

编程日记 2024/7/10 6:02:48

Python 文件操作：打开数据处理的大门

在 Python 的学习之旅中&#xff0c;文件操作是一个非常实用且必不可少的技能。不论是数据分析还是日常的数据处理&#xff0c;良好的文件操作技巧都能让你的编程之路更加顺畅。今天&#xff0c;我将带你走进 Python 文件操作的世界&#xff0c;不仅教你如何读写文件&#xff0…...

编程日记 2024/7/10 6:01:47

单对以太网连接器多场景应用

单对以太网连接器应用场景概述 单对以太网&#xff08;Single Pair Ethernet&#xff0c;简称SPE&#xff09;作为一种新兴的以太网技术&#xff0c;以其独特的优势在多个领域得到了广泛的应用。SPE通过单对电缆进行数据传输&#xff0c;支持高速数据传输&#xff0c;同时还能…...

编程日记 2024/7/10 6:00:46

Python pip的更新问题

你是否也出现了更新pip的情况 1、提示更新pip版本 pip install --upgrade pip2、更新操作&#xff0c;我操作了 pip install --upgrade pip更新了&#xff0c;等啊等。。。 然后就是连接超时&#xff0c;安装失败 3、我不信&#xff0c;我就要更新&#xff0c;我还要使用镜…...

编程日记 2024/7/10 5:59:44

[Linux][Shell][Shell基础] -- [Shebang][特殊符号][变量][父子Shell]详细讲解

目录 0.前置知识1.Shebang2.Linux特殊符号整理3.变量4.环境变量5.父子shell0.概念1.创建进程列表(创建子shell执行命令) 6.内置命令 vs 外置命令 0.前置知识 #用于注释shell脚本语⾔属于⼀种弱类型语⾔&#xff1a;⽆需声明变量类型&#xff0c;直接定义使⽤shell三剑客&#…...

编程日记 2024/7/10 5:58:43

DS200CVMAG1AEB处理器 控制器 模块

DS200CVMAG1AEB特征&#xff1a; 高性能&#xff1a;采用先进的控制算法和高功率IGBT器件&#xff0c;可提供高电流和精确的运动控制。 高精度&#xff1a;采用高分辨率编码器和位置环路技术&#xff0c;位置精度可达0.1μm&#xff0c;适用于各种精密机械应用&#xff0c;如数…...

编程日记 2024/7/10 5:57:42

阈值分割后配合Connection算子和箭头工具快速知道区域的ID并选择指定区域

代码 dev_close_window () read_image (Image, E:/机器视觉学习/海康视觉平台/二期VM视觉学习/二期VM视觉学习/机器视觉程序/标定相机找圆心和焊头修正相机找圆心之算法软件/标定相机找圆心和焊头修正相机找圆心之算法软件/03 标定相机找圆心/S2/1号机/1.bmp) get_image_size …...

编程日记 2024/7/10 5:55:40

【work】AI八股-神经网络相关

Deep-Learning-Interview-Book/docs/深度学习.md at master amusi/Deep-Learning-Interview-Book GitHub 网上相关总结&#xff1a; 小菜鸡写一写基础深度学习的问题&#xff08;复制大佬的&#xff0c;自己复习用&#xff09; - 知乎 (zhihu.com) CV面试问题准备持续更新贴 …...

编程日记 2024/7/10 5:54:39

【LeetCode】12. 小张刷题计划

稳住&#xff0c;能赢&#xff01;没有经验的同学在面试岗位的时候&#xff0c;总是显得手忙脚乱&#xff0c;所以多练习&#xff0c;把技能提升&#xff0c;眼界提升&#xff0c;接着心态放平和&#xff0c;不要慌张&#xff0c;把面试题目读懂读透彻就会大大提升赢的概率。 1…...

编程日记 2024/7/10 5:53:38

Tomcat部署以及优化

1、tomcat tomcat是用java代码的程序&#xff0c;运行的是java的web服务器 tomcat和php一样都是用来处理动态页面&#xff0c;tomcat也可以做为web应用服务器&#xff0c;开源的 php处理.php为结尾的 tomcat 处理.jsp nginx 处理 .html 2、tomcat的特点和功能 1、servle…...

编程日记 2024/7/10 5:51:36

ubuntu 22 安装 lua 环境 编译lua cjson 模块

在 windows 下使用 cygwin 编译 lua 和 cjson 简直就是灾难&#xff0c;最后还是到 ubuntu 下完成了。 1、下载lua源码&#xff08;我下载的 5.1 版本&#xff0c;后面还有一个小插曲), 直接解压编译&#xff0c;遇到一个 readline.h not found 的问题&#xff0c;需要安装 re…...

编程日记 2024/7/10 5:50:35

OpenClaw技能商店：分享自定义nanobot模块开发经验

OpenClaw技能商店&#xff1a;分享自定义nanobot模块开发经验 1. 为什么需要自定义技能模块 去年夏天&#xff0c;当我第一次接触OpenClaw时&#xff0c;就被它的自动化能力所吸引。但很快我发现&#xff0c;官方提供的标准技能虽然强大&#xff0c;却无法完全满足我的个性化…...

编程新知 2026/3/29 8:47:54

CosyVoice集成Java Web应用：构建智能语音播报后端服务

CosyVoice集成Java Web应用&#xff1a;构建智能语音播报后端服务 最近在做一个在线教育平台的项目&#xff0c;需要给课程内容加上语音播报功能。一开始我们试过一些现成的语音合成服务&#xff0c;要么价格太贵&#xff0c;要么声音不够自然。后来发现星图GPU平台上有个Cosy…...

编程新知 2026/3/29 8:35:47

4个突破性功能步骤：全面兼容让Switch手柄实现跨平台操控自由

4个突破性功能步骤&#xff1a;全面兼容让Switch手柄实现跨平台操控自由 【免费下载链接】BetterJoy Allows the Nintendo Switch Pro Controller, Joycons and SNES controller to be used with CEMU, Citra, Dolphin, Yuzu and as generic XInput 项目地址: https://gitcod…...

编程新知 2026/3/29 7:47:30

STEP3-VL-10B实战案例：科研论文截图→公式识别→LaTeX还原→语义解释生成

STEP3-VL-10B实战案例&#xff1a;科研论文截图→公式识别→LaTeX还原→语义解释生成 1. 引言&#xff1a;当科研遇上多模态AI 如果你经常需要阅读英文论文&#xff0c;特别是那些数学、物理、计算机科学领域的文章&#xff0c;一定遇到过这样的困扰&#xff1a;论文里密密麻…...

编程新知 2026/3/29 7:27:24

C++ constexpr 在工程中的应用场景

C constexpr 在工程中的应用场景 在现代C开发中&#xff0c;constexpr关键字因其强大的编译时计算能力&#xff0c;逐渐成为提升性能与代码可维护性的利器。它允许开发者在编译期完成复杂的计算和初始化&#xff0c;从而减少运行时开销&#xff0c;同时增强代码的静态安全性。…...

编程新知 2026/3/29 7:21:23

零基础玩转像素幻梦：快速生成《光纹苔藓姑苏幻梦》同款像素画

零基础玩转像素幻梦&#xff1a;快速生成《光纹苔藓姑苏幻梦》同款像素画 1. 像素幻梦初体验 1.1 什么是像素幻梦创意工坊 像素幻梦创意工坊&#xff08;Pixel Dream Workshop&#xff09;是一款基于FLUX.1-dev扩散模型构建的AI像素艺术生成工具。它采用明亮的16-bit像素风格…...

编程新知 2026/3/29 6:48:57

Qwen3-0.6B-FP8实操手册：多轮对话记忆机制与上下文控制技巧

Qwen3-0.6B-FP8实操手册&#xff1a;多轮对话记忆机制与上下文控制技巧 1. 引言&#xff1a;为什么你需要关注对话记忆&#xff1f; 想象一下&#xff0c;你跟一个朋友聊天&#xff0c;聊了十分钟后&#xff0c;你问他&#xff1a;“我们刚才说到哪了&#xff1f;”他一脸茫然…...

编程新知 2026/3/29 5:38:01

AIGlasses_for_navigation 模型微调教程：使用自定义数据适配特定场景

AIGlasses_for_navigation 模型微调教程&#xff1a;使用自定义数据适配特定场景 你是不是觉得&#xff0c;那些通用的导航模型&#xff0c;在工厂车间或者医院走廊里用起来&#xff0c;总有点“水土不服”&#xff1f;路线规划可能没错&#xff0c;但遇到一些特殊的设备、标识…...

编程新知 2026/3/29 5:30:00

新手零压力入门：借助快马ai互动教程轻松搞定node.js安装与环境搭建

最近在学前端开发&#xff0c;发现很多教程都提到要安装Node.js。作为一个纯小白&#xff0c;第一次看到"环境变量"、"包管理器"这些词简直一头雾水。好在发现了InsCode(快马)平台&#xff0c;它把复杂的安装过程变成了可以边学边做的互动教程&#xff0c;…...

编程新知 2026/3/29 4:35:20

OpenClaw技能开发：为nanobot编写天气查询插件

OpenClaw技能开发&#xff1a;为nanobot编写天气查询插件 1. 为什么需要自定义技能 当我第一次接触OpenClaw时&#xff0c;最吸引我的不是它预置的那些功能&#xff0c;而是它允许开发者自由扩展能力的开放架构。作为一个经常需要查询天气的开发者&#xff0c;我发现现有的天…...

编程新知 2026/3/29 4:31:17