Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
- 一、背景
- 二、查找数据丢失流程
- 三、数据丢失原因
- 四、解决方法
一、背景
- 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因
数据丢失一般常见需求排查的方向：
- 数据是否采集到hdfs上
- 采集到hdfs的话，进一步去确认数据是否是因为Spark任务资源不够导致没有加载到hive表中
- 数据没有采集到的话，进一步定位分析没有采集到的原因，目前比较常见的是数据库原因导致、业务场景导致
二、查找数据丢失流程
- 首先拿一条丢失数据的id，去确认这条数据是否采集到hdfs上，发现成功采集到了hdfs上
- 观察hdfs文件生成时间，发现这张表的数据文件生成时间比较晚
- 初步判断出现了数据库主从延迟或者采集延迟，但是spark任务会等到主从延迟或者采集延迟结束才会执行，这样应该能确保不会遗漏数据，进一步确认任务执行情况
- 发现spark任务并没有出现延迟执行的情况，因此就出现了特殊情况
- 再去查看数据库中其他表的采集情况，发现其他表的hdfs数据文件生成并没有延迟，这就说明只有这张数据丢失的表产生了采集延迟，进一步排查分析这张表
- 发现丢失数据这张表近一天的hdfs文件生成时间是在同一时间点生成的，这表明近一天的数据是在同一时间采集到了hdfs
- 查看这张数据丢失表数据情况，发现这张表在不同小时的数据工用了相同的gtid，这表明这些数据来自同一个事件
- 进一步查看数据库其他表在不同小时gtid的情况，通过比较gtid，发现丢失数据这张表使用的gtid符合递增情况
- 至此，基本找到数据没有加载到hive的原因 <
相关文章：
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因 一、背景二、查找数据丢失流程三、数据丢失原因四、解决方法一、背景 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因数据丢失一般常见需求排查的方向： 数据是否采集到hdfs上采集…...
爆破器材期刊
《爆破器材》简介 《爆破器材》自1958年创刊以来，深受广大读者喜爱，是中国兵工学会主办的中央级技术刊物，在国内外公开发行，近几年已发行到10个国家和地区。《爆破器材》杂志被美国著名检索机构《化学文摘》（CA&a…...
Nginx Websocket 协议配置支持
前后分离的 Web 架构应用，在开发环境启动是可以直接连接支持 websocket 协议，因为没有中间件做转发处理。 当我们对前端进行编译后，通过 nginx 反向代理访问时，需要在nginx 配置文件中增加一些特定的头信息，让服务端识…...
【生成式对抗网络】GANs在数据生成、艺术创作，以及在增强现实和虚拟现实中的应用
一、GANs在数据生成中的应用 生成对抗网络（Generative Adversarial Networks, GANs）在数据生成领域具有显著的应用价值。GANs通过生成器（Generator）和判别器（Discriminator）两个相互竞争的神经网络&#x…...
大模型面试（三）
这次是某家公司的一个电话面试，问的过程还比较简单直接。 问：我们在大模型开源项目的应用上遇到了什么困难？ 这个。。有两个困难，一个是RAG的优化，一开始RAG是比较慢的，而且召回率不高； 后来…...
pycharm中快捷键汇总
Pycarm指令汇总 Ctrl鼠标 单击，能直接查看其用法 Ctrl/ 快速注释 CtrlC 在pycharm的terminal中可以停止运行, 其他的地方可以复制。 CtrlV 粘贴 CtrlA 全选 CtrlP 查看（）中需要填写什么参数 Altenter 自动不补全所需要的库...
TCP/IP协议族结构和协议
TCP/IP协议族是互联网及许多其他网络的基础，它由一系列相互关联的协议组成，用于实现网络通信。TCP/IP协议族采用ARPANET参考模型，大致可以分为四个层次：链路层、网络层、传输层和应用层。每个层次都有特定的协议和功能，确保数据能够从一个网络设备传输到另一个网络设备。 …...
大模型一些概念的理解 - 线性层、前向传播、后向传播
文章目录 前言一、线性层1. 什么是线性层？2. 通俗解释3. 示例 二、前向传播1. 什么是前向传播？2. 通俗解释3. 示例 三、后向传播1. 什么是后向传播？2. 通俗解释3. 具体步骤 四、示例五、在 PyTorch 中的后向传播 前言 最近提问里有问到一些名…...
AWS 云安全性：检测 SSH 暴力攻击
由于开源、低成本、可靠性和灵活性等优势，云基础设施主要由基于linux的机器主导，然而，它们也不能幸免于黑客的攻击，从而影响云的安全性。攻击Linux机器最流行的方法之一是通过SSH通道。 什么是 SSH 安全外壳协议（Sec…...
7.9数据结构
思维导图 作业 doubleloop.h #ifndef __DOUBLELOOP_H__ #define __DOUBLELOOP_H__#include <stdio.h> #include <stdlib.h>typedef int datatype; typedef struct node {union{int len;datatype data;};struct node *pri;//前驱指针struct node *next;//后继指针…...
Python 文件操作：打开数据处理的大门
在 Python 的学习之旅中，文件操作是一个非常实用且必不可少的技能。不论是数据分析还是日常的数据处理，良好的文件操作技巧都能让你的编程之路更加顺畅。今天，我将带你走进 Python 文件操作的世界，不仅教你如何读写文件࿰…...
单对以太网连接器多场景应用
单对以太网连接器应用场景概述 单对以太网（Single Pair Ethernet，简称SPE）作为一种新兴的以太网技术，以其独特的优势在多个领域得到了广泛的应用。SPE通过单对电缆进行数据传输，支持高速数据传输，同时还能…...
Python pip的更新问题
你是否也出现了更新pip的情况 1、提示更新pip版本 pip install --upgrade pip2、更新操作，我操作了 pip install --upgrade pip更新了，等啊等。。。 然后就是连接超时，安装失败 3、我不信，我就要更新，我还要使用镜…...
[Linux][Shell][Shell基础] -- [Shebang][特殊符号][变量][父子Shell]详细讲解
目录 0.前置知识1.Shebang2.Linux特殊符号整理3.变量4.环境变量5.父子shell0.概念1.创建进程列表(创建子shell执行命令) 6.内置命令 vs 外置命令 0.前置知识 #用于注释shell脚本语⾔属于⼀种弱类型语⾔：⽆需声明变量类型，直接定义使⽤shell三剑客&#…...
DS200CVMAG1AEB处理器 控制器 模块
DS200CVMAG1AEB特征： 高性能：采用先进的控制算法和高功率IGBT器件，可提供高电流和精确的运动控制。 高精度：采用高分辨率编码器和位置环路技术，位置精度可达0.1μm，适用于各种精密机械应用，如数…...
阈值分割后配合Connection算子和箭头工具快速知道区域的ID并选择指定区域
代码 dev_close_window () read_image (Image, E:/机器视觉学习/海康视觉平台/二期VM视觉学习/二期VM视觉学习/机器视觉程序/标定相机找圆心和焊头修正相机找圆心之算法软件/标定相机找圆心和焊头修正相机找圆心之算法软件/03 标定相机找圆心/S2/1号机/1.bmp) get_image_size …...
【work】AI八股-神经网络相关
Deep-Learning-Interview-Book/docs/深度学习.md at master amusi/Deep-Learning-Interview-Book GitHub 网上相关总结： 小菜鸡写一写基础深度学习的问题（复制大佬的，自己复习用） - 知乎 (zhihu.com) CV面试问题准备持续更新贴 …...
【LeetCode】12. 小张刷题计划
稳住，能赢！没有经验的同学在面试岗位的时候，总是显得手忙脚乱，所以多练习，把技能提升，眼界提升，接着心态放平和，不要慌张，把面试题目读懂读透彻就会大大提升赢的概率。 1…...
Tomcat部署以及优化
1、tomcat tomcat是用java代码的程序，运行的是java的web服务器 tomcat和php一样都是用来处理动态页面，tomcat也可以做为web应用服务器，开源的 php处理.php为结尾的 tomcat 处理.jsp nginx 处理 .html 2、tomcat的特点和功能 1、servle…...
ubuntu 22 安装 lua 环境 编译lua cjson 模块
在 windows 下使用 cygwin 编译 lua 和 cjson 简直就是灾难，最后还是到 ubuntu 下完成了。 1、下载lua源码（我下载的 5.1 版本，后面还有一个小插曲), 直接解压编译，遇到一个 readline.h not found 的问题，需要安装 re…...
架构范式转移：DeepSeek-Coder-V2如何重构企业级代码智能的ROI模型
架构范式转移：DeepSeek-Coder-V2如何重构企业级代码智能的ROI模型 【免费下载链接】DeepSeek-Coder-V2 DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence 项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-Code…...
手把手教你用Intel System Debugger和DCI OOB盒子抓取开机日志（附CSME解码文件获取指南）
硬件调试实战：Intel System Debugger与DCI OOB盒子的替代方案指南 当主板开机卡死在LOGO界面或出现花屏时，传统调试工具链的突然失效往往让工程师陷入困境。我曾亲眼见过一位同事因为误改GDK7开发板的BIOS设置，导致价值上万的DCI-USB3调试线缆…...
3个步骤搭建Sunshine游戏串流服务器：从零到一的完整指南
3个步骤搭建Sunshine游戏串流服务器：从零到一的完整指南 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine 你是否曾经梦想过在客厅的电视上玩书房电脑里的3A大作…...
暨十三届第四期“麓峰”交叉科学论坛)
【湖南师范大学主办 | ACM出版，检索快且稳定 | 往届均已见刊并完成EI、Scopus检索】第三届智慧教育与计算机技术国际学术会议 (IECT 2026)暨十三届第四期“麓峰”交叉科学论坛
已通过ACM出版，ISBN号：979-8-4007-2365-0 教育方向结合：计算机、信息技术、人工智能、多媒体技术、大数据等主题均可投递 第三届智慧教育与计算机技术国际学术会议 (IECT 2026)暨十三届第四期“麓峰”交叉科学论坛 2026 3rd International…...
从零构建高效项目脚手架：自动化项目初始化与最佳实践
1. 项目概述：一个为开发者准备的“瑞士军刀”式工具集最近在GitHub上闲逛，发现了一个挺有意思的项目，叫jpKuji/clawstrate。乍一看这个名字，有点摸不着头脑，既不像常见的框架名，也不像某个具体的应用。点进…...
Apache Weex内存泄漏终极解决方案：7个技巧让应用性能飙升
Apache Weex内存泄漏终极解决方案：7个技巧让应用性能飙升 【免费下载链接】incubator-weex Apache Weex (Incubating) 项目地址: https://gitcode.com/gh_mirrors/in/incubator-weex Apache Weex作为一款高性能的跨平台移动开发框架，在带来便捷开…...
NotebookLM未公开的Obsidian插件桥接协议（内部文档泄露版），仅限前500名技术决策者获取
更多请点击： https://intelliparadigm.com 第一章：NotebookLM与Obsidian整合的架构全景图 NotebookLM（Google 推出的 AI 原生研究助手）与 Obsidian（本地优先、双向链接的知识图谱工具）的整合，正…...
QQ音乐加密文件解密终极指南：qmcdump实战深度解析
QQ音乐加密文件解密终极指南：qmcdump实战深度解析 【免费下载链接】qmcdump 一个简单的QQ音乐解码（qmcflac/qmc0/qmc3 转 flac/mp3），仅为个人学习参考用。 项目地址: https://gitcode.com/gh_mirrors/qm/qmcdump 你是否遇到…...
长沙定制开发本地生活APP打造城市便民消费场景
随着长沙城市发展，市民对便民消费的需求越来越高，长沙本地生活APP定制开发也逐渐成为本地商家、政企单位布局数字化的重要选择。不同于通用模板APP，长沙定制本地生活APP可根据长沙本地特色，整合餐饮、生鲜、家政、休闲娱乐、政务便…...
喜马拉雅音频离线收藏：这款跨平台下载器如何帮你永久保存付费内容？
喜马拉雅音频离线收藏：这款跨平台下载器如何帮你永久保存付费内容？ 【免费下载链接】xmly-downloader-qt5 喜马拉雅FM专辑下载器. 支持VIP与付费专辑. 使用GoQt5编写(Not Qt Binding). 项目地址: https://gitcode.com/gh_mirrors/xm/xmly-downloader-q…...