数据迁移一致性测试探索与实践
背景
量级庞大的日志通过mysql不足以支撑业务需求,以前通过任务调度定时跑批从mysql同步到hive存储,这种方式时效性为T+1,也就是说今天的日志,明天才能同步到hive,总而言之时效性不高。为了提高时效性,改为流式计算flink实时同步
- 那么作为测试人员,我们如何保证切换同步方式后的数据正确性呢?通过对比新旧表数据是否一致显然是最简单的方法
- 这次改动涉及600多张表,每一张表的字段数基本在千以上,甚至部分表字段数达万以上,面对如此庞大的数据量,通过人眼一个个去对比显然不太现实
探索与实践
方案一:sql脚本
SELECT column_names, COUNT(*) AS count_diff
FROM (SELECT CONCAT_WS(',',A,B) FROM udc_test.s000 WHERE dt='20230814'UNION ALL SELECT CONCAT_WS(',',A,B) FROM test.s000 WHERE dt = '20230814' and rule_log_id in (select rule_log_id from udc_test.s000)
) AS combined
GROUP BY column_names
HAVING COUNT(column_names) = 1select * from (select 'table1',A,B from udc_test.s000 WHERE dt='20230814' and rule_log_id in ('123456')union all select 'table2',A,B from test.s000 WHERE dt='20230814' and rule_log_id in ('123456')
)a order by a.table1 asc
方案二:python脚本
from pyhive import hive
from datetime import datetimeif __name__ == '__main__':#换成生产的连接conn = hive.Connection(host="xxx", port='xxx', auth="xxx", database='xxx', username='xxx',password='xxx')#这里换成需要比较的表名tableName1 = 'test.ssc_python_compare_fields1'tableName2 = 'test.ssc_python_compare_fields2'current_time = datetime.now()hash_code = str(hash(current_time))# 获取表结构query1 = 'desc ' + tableName1query2 = 'desc ' + tableName2cursor = conn.cursor()cursor.execute(query1)columns1 = [row[0] for row in cursor.fetchall()]cursor.execute(query2)columns2 = [row[0] for row in cursor.fetchall()]# 去除掉不需要比较的字段columns1.remove('# Partition Information')columns1.remove('# col_name')columns1.remove('dt')columns2.remove('# Partition Information')columns2.remove('# col_name')columns2.remove('dt')set1 = set(columns1)set2 = set(columns2)# 取出来表1特有的字段,可以保存到文件diffrence1 = set1 - set2print(diffrence1)# 取出来表2特有的字段,可以保存到文件diffrence2 = set2 - set1print(diffrence2)# 取表1和表2共有的字段,用于比较差异intersection = set1 & set2# 生成比较的sqlsql = 'select 'for element in intersection:sql = sql + 'if( nvl(t1.' + element + ',' + hash_code + ' )!= nvl( t2.' + element + ',' + hash_code + ') , \'no\',\'yes\') as ' + element + ' , '#print(sql)sql = sql[:-2]#print(sql)#sql中的dt可以改成具体需要比较的日期sql = sql + ' from ' + tableName1 + ' as t1 left join ' + tableName2 \+ ' as t2 on t1.rule_log_id=t2.rule_log_id ' \' and t1.dt= \'20230815\' and t2.dt = \'20230815\' and t1.apply_type=t2.apply_type where 'for element in intersection:sql = sql + ' t1.' + element + '!=t2.' + element + ' or 'sql = sql[:-3]print(sql)sql = sql + ' limit 1 '# 执行sql,获取到结果,如果两列不相等的话,值为no,相等的话值为yescursor.execute(sql)result = cursor.fetchone()# print(result)# 获取上述sql的元数据信息metadatas = cursor.descriptionprint('============================================================')# 遍历结果集,查找出比较结果不相同的数据,拿到列名index = 0while index < len(metadatas):if (result[index] != 'yes'):print(metadatas[index][0])index += 1print('============================================================')相关文章:
数据迁移一致性测试探索与实践
背景 量级庞大的日志通过mysql不足以支撑业务需求,以前通过任务调度定时跑批从mysql同步到hive存储,这种方式时效性为T1,也就是说今天的日志,明天才能同步到hive,总而言之时效性不高。为了提高时效性,改为…...
---图的遍历和最小生成树
广度优先遍历 --- 针对的是顶点遍历 深度优先遍历 如果给的图不是连通图?以某个点为起点就没有遍历完成。那么怎么保证遍历完剩下的点呢?? 在标记数组当中找没有遍历过的点,在进行遍历 最小生成树 生成树:一个连通…...
中文编程工具开发语言编程案例:会员VIP管理系统软件实例
中文编程工具开发语言编程案例:会员VIP管理系统软件实例 中文编程工具开发语言编程案例:会员VIP管理系统软件实例。 软件功能: 1、系统设置:参数设定,账号及权限设置,系统初始化,卡类型设置&a…...
Hive用户中文使用手册系列(四)
Python Client 在github 上上可以使用 Python client 驱动程序。有关安装说明,请参阅设置 HiveServer2:Python Client 驱动程序。 Ruby Client 一个 Ruby client 驱动程序在https://github.com/forward3d/rbhive的 github 上可用。 与 SQuirrel SQL …...
高级深入--day37
手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item):name scrapy.Field()# 存储照片的名字imagesUrls scrapy.Field()# 照片的url路径imagesPath scrapy.Field()# 照片保存在本地的路径2. spiders/douyu.py import scrapy import json from douyuSpider.it…...
Web自动化测试:测试用例断言!
运行测试用例时,需要判断用例是否执行成功,此时需要有一个我们期望的结果来进行验证。这里unittest中,如果一个case执行的过程中报错,或者我们判断结果不符合期望,就会判定此条用例执行失败,判断的条件主要…...
基于SSM的培训学校教学管理平台的设计与实现
末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:Vue 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目:是 目录…...
2019年亚太杯APMCM数学建模大赛A题基于图像分析的二氧化硅熔化表示模型求解全过程文档及程序
2019年亚太杯APMCM数学建模大赛 A题 基于图像分析的二氧化硅熔化表示模型 原题再现 铁尾矿的主要成分是二氧化硅,而二氧化硅是铁尾矿成分中最难熔化的部分。因此,铁尾矿的熔融行为可以用二氧化硅的熔融行为来表示。然而,高温熔池的温度超过…...
C++之继承<2>【详解】
C之继承<2>【详解】 1. 派生类的默认成员函数1.1 1. 构造成员函数1.2 拷贝复制1.3 构造函数和析构函数的执行顺序 2. 继承和友元3. 继承与静态成员 1. 派生类的默认成员函数 1.1 1. 构造成员函数 派生类的构造函数必须调用基类的构造函数初始化基类的那…...
解决Kafka新消费者组导致重复消费的问题
问题描述:在使用Kafka时,当我们向新的消费者组中添加消费者时,可能会遇到重复消费的问题。本文将介绍一些解决这个问题的方法,帮助开发者更好地处理Kafka中的消费者组和消费偏移量。 Kafka是一个强大的分布式消息队列系统…...
公允价值会计(fair-value accounting)
《公允价值会计》是2008年经济科学出版社出版图书。 公允价值会计又称市值会计,是指以市场价值或未来现金流量的现值作为资产和负债的主要计量属性的会计模式。随着现代交通和通讯技术的发展,在工业社会中相互分割的市场正在走向世界一体化,…...
【java调取第三方接口,获取数据并保存至数据库】
java调取第三方接口,获取数据并保存至数据库 Overridepublic void doPost() {// 创建Httpclient对象CloseableHttpClient httpClient HttpClients.createDefault();CloseableHttpResponse response null;String resultString "";String url "htt…...
图论01-【无权无向】-图的基本表示-邻接矩阵/邻接表
文章目录 1. 代码仓库2. 图的基本表示的比较3. 邻接矩阵:Array和TreeSet3.1 图示3.2 Array主要代码解析3.3 测试输出3.4 使用TreeSet的代码 4. 邻接表:LinkedList4.1 图示4.2 LinkedList主要代码解析4.3 测试输出 5. 完整代码5.1 邻接表 - Array5.2 邻接…...
Bootstrap的列表组相关知识
目录 01-列表组的相关基础知识02-一个简单的列表组示例03-激活或禁用列表组的一行或多行04-设置列表项的颜色05-给列表项添加徽章 01-列表组的相关基础知识 Bootstrap的list-group是一个用于创建列表组件的CSS类,通常用于显示一个项目列表,如导航菜单或…...
Linux简单安装ffmpeg 实现用PHP压缩音频
一、下载安装 1、官方下载地址:Download FFmpeg 2、下载完上传到服务器然 然后解压就算安装完成了 tar -xf ffmpeg-git-amd64-static.tar.xz 3、然后配置一下全局变量(当然也可以不用配置 使用的时候带上文件路径就行) cd /usr/bin ln -s…...
Vue解决 npm -v 报错(一)
报错内容: npm WARN config global --global, --local are deprecated. Use --locationglobal instead. 解决方案: 代码: prefix -g 替换为: prefix --locationglobal 原创作者:吴小糖 创作时间:2023.1…...
IP地址是如何定位的
IP地址定位原理和方法 在互联网时代,了解设备或用户的地理位置对于各种应用和服务至关重要,从广告定向到网络安全。IP地址定位是一种常用的方法,允许确定IP地址背后的实际地理位置。本文将介绍IP地址定位的原理和方法。 IP地址基础…...
【分布式】入门级NCCL多机并行实践 - 02
# 背景知识 大模型和分布式训练对数据的吞吐量以及并行度都有很高的要求,NCCL就是在这个背景下诞生的。 如果你是一个只会写写Python,调用PyTorch和Horovod的算法萌新,可能对于分布式底层的东西不太了解,在下岗热潮中被主管逼着…...
Rust的模式匹配
文章目录 match匹配if let匹配 match匹配 match可以结合枚举使用,例如 enum IpVersion {V4,V6, }fn ParseIpVersion(version: IpVersion) -> String {match version {IpVersion::V4 > String::from("ipv4"),IpVersion::V6 > String::from(&quo…...
操作系统【OS】虚拟机
定义 使用虚拟化技术,将一台物理机器虚化为多台虚拟机器VM,每个虚拟机器都可用独立运行一个操作系统 分类 传统计算机 第一类VMM 第二类VMM...
AgentBench:大语言模型智能体综合评估平台深度解析与实践指南
1. 项目概述:AgentBench是什么,以及它为何重要如果你最近在关注大语言模型(LLM)和智能体(Agent)领域,大概率已经听过“THUDM/AgentBench”这个名字。这不仅仅是一个GitHub上的开源项目ÿ…...
CUDA Tile编程与矩阵乘法优化实践
1. 理解CUDA Tile编程与矩阵乘法优化 在GPU编程领域,矩阵乘法是最基础也是最重要的运算之一。作为深度学习、图形渲染和科学计算的核心操作,其性能优化直接影响着整个系统的效率。传统CUDA编程需要开发者手动管理线程组织、共享内存和寄存器使用…...
DeepChat:开源AI智能体平台,统一管理多模型与工具调用
1. 项目概述:一个桌面端的全能AI智能体平台 如果你和我一样,每天需要在DeepSeek、Claude、GPT-4o、Gemini以及本地部署的Ollama模型之间来回切换,同时还要处理代码执行、网页搜索、文件操作等工具调用,那么你一定会对DeepChat这个…...
12天实现Transformer神经机器翻译:从原理到PyTorch实战
1. 项目概述:12天实现Transformer神经机器翻译器第一次接触Transformer架构时,我被它的注意力机制彻底震撼了——这种完全摒弃循环神经网络的全新结构,在机器翻译任务上实现了质的飞跃。这个12天速成项目将带您从零实现一个基于Transformer的…...
第八章 电容和电感的重要公式及单位换算(附带截至频率小结)
一 公式1.1 电容:电容两端电压的变化速度变换公式::是一个恒流源(当电流是定值时电压的变化率是恒定的)例子:用1A的恒流源给1mF的电容充电,再充到1ms时,电容电压会充到1V。1V。1.2 电感…...
VSCode低代码插件踩坑实录:17个致命兼容性问题+官方未公开的API调用黑盒(内部泄露版)
更多请点击: https://intelliparadigm.com 第一章:VSCode 2026低代码拖拽插件的演进脉络与定位重构 VSCode 2026 版本正式将低代码拖拽能力从实验性扩展(Preview Extension)升格为核心编辑器原生能力层,其插件架构由传…...
深入解析Nuxt 3中的图标使用
在使用Nuxt 3开发应用时,图标的管理和使用是一个常见且关键的问题。本文将通过一个实际的例子,深入探讨如何在Nuxt 3应用中有效地管理和使用图标。 背景介绍 我们假设有一个Nuxt 3应用,采用了NuxtUI作为UI框架。为了避免图标名称的拼写错误和重复引用,我们创建了一个工具…...
机器学习算法核心六问:从原理到实战
1. 算法认知的六个黄金问题第一次接触机器学习算法时,我常被各种数学符号和术语淹没。直到导师告诉我:"任何算法本质上都是在回答六个核心问题。"这套方法帮我节省了数百小时的学习时间,现在我把这套方法论拆解给你。这六个问题就像…...
量子化学计算与变分量子算法在分子模拟中的应用
1. 量子化学计算与变分量子算法概述量子计算在模拟分子系统方面展现出经典计算机无法比拟的优势。传统量子化学方法如Hartree-Fock或密度泛函理论(DFT)在处理中等规模分子体系时面临计算复杂度指数增长的问题。以F2分子为例,其12量子比特的哈密顿量在经典计算机上精…...
mysql如何排查连接数爆满原因_mysql show processlist分析
连接数爆满主因是线程卡住而非数量多,应重点关注SHOW FULL PROCESSLIST中State非Sleep且Time>60秒的阻塞线程,优先排查应用端连接未释放、监控脚本高频查询及本地进程异常连接。直接看 SHOW PROCESSLIST 里哪些线程在“卡住”连接数爆满&…...
