当前位置: 首页 > news >正文

kettle 数据库迁移 使用分页原理实现 数据库mysql

使用 kettle 9.0 

先修改配置文件:

C:\Users\xx\.kettle

新增如下配置,解决mysql 空字符串 自动转 null bug

KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

git地址: GitHub - 2292011451/kettle_tool

第一步:

先把要迁移的表进行读取,循环查询每个表的最大数量以及页数,追加到excel

第二部:

使用java代码读取excel数据算出每个表页码

package com.hw.payment.test;import com.alibaba.excel.EasyExcel;
import org.junit.Test;
import org.springframework.beans.BeanUtils;import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;public class TableTest {/*** 计算分页数据*/@Testpublic void synchronousRead() {String fileName = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\db_list.xls";// 这里 需要指定读用哪个class去读,然后读取第一个sheet 同步读取会自动finishList<TablePageNum> list = EasyExcel.read(fileName).head(TablePageNum.class).sheet().doReadSync();//移除pagesize==0List<TablePageNum> collect = list.stream().filter(x -> x.getPageNum() != 0).collect(Collectors.toList());//正序排序List<TablePageNum> sortedPeople = collect.stream().sorted(Comparator.comparingLong(TablePageNum::getMaxNum).thenComparing(TablePageNum::getPageNum)).collect(Collectors.toList());Long sortedPeopleNum = sortedPeople.stream().map(TablePageNum::getMaxNum).reduce(0L, Long::sum);//按大小切割数据Long maxNum = 0L;List<TablePageNum> dataList = new ArrayList<>();List<List<TablePageNum>> datas = new ArrayList<>();boolean b = sortedPeople.size() == 1;if (b) {datas.add(dataList);} else {for (TablePageNum sortedPerson : sortedPeople) {maxNum += sortedPerson.getMaxNum();if (maxNum <= 7000000) {dataList.add(sortedPerson);} else if (maxNum > 7000000 && maxNum < 12000000) {dataList.add(sortedPerson);datas.add(dataList);dataList = new ArrayList<>();maxNum = 0L;} else {dataList.add(sortedPerson);datas.add(dataList);dataList = new ArrayList<>();maxNum = 0L;}}}Long maxNumNew = 0L;for (int k = 0; k < datas.size(); k++) {List<TablePageNum> tablePageNums = datas.get(k);List<TablePageNum> dataNew = new ArrayList<>();for (TablePageNum tablePageNum : tablePageNums) {maxNumNew += tablePageNum.getMaxNum();//排除定时任务等表boolean contains = true;String[] tables = {"qrtz"};for (String table : tables) {//排除表contains = tablePageNum.getTableName().contains(table);if (contains) {contains = false;break;}}if (!contains) {Integer pageNum = tablePageNum.getPageNum();Integer pageSize = tablePageNum.getPageSize();for (int i = 1; i <= pageNum; i++) {TablePageNum data = new TablePageNum();int pageNumIndex = (i - 1) * pageSize;BeanUtils.copyProperties(tablePageNum, data);data.setPageNum(pageNumIndex);dataNew.add(data);}}}String fileNameOut = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\page_data\\db_list" + k + ".xlsx";// 这里 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭// 如果这里想使用03 则 传入excelType参数即可EasyExcel.write(fileNameOut, TablePageNum.class).sheet("模板").doWrite(dataNew);}System.out.println(sortedPeopleNum + ":" + maxNumNew);}
}

输出页码数据

第三部:

读取页码数据循环查询数据插入到新库

相关文章:

kettle 数据库迁移 使用分页原理实现 数据库mysql

使用 kettle 9.0 先修改配置文件: C:\Users\xx\.kettle 新增如下配置,解决mysql 空字符串 自动转 null bug KETTLE_EMPTY_STRING_DIFFERS_FROM_NULLY git地址: GitHub - 2292011451/kettle_tool 第一步: 先把要迁移的表进行读取,循环查询每个表的最大数量以及页数,追加到…...

量化回测bt框架,策略类bt.Strategy详解,不是backtrader!提供bt双均线策略示例,比backtrader还简单

前言 也不说那么多了&#xff0c;要用到bt&#xff0c;肯定也知道他是干嘛的&#xff0c;&#xff0c;给博主点点关注点点赞&#xff01;&#xff01;&#xff01;这样博主才能更新更多免费的教程&#xff0c;不然就直接丢付费专栏里了 正文 bt.Strategy 是 bt 库中用于定义交…...

网络安全宣传周 | DNS安全威胁与应对措施分享

随着网络技术的快速发展和国际形势的日趋复杂&#xff0c;网络安全问题日益凸显&#xff0c;网络安全威胁开始呈现多样化、隐蔽化、高频化、系统化的发展态势。黑客攻击、网络诈骗、数据泄露等事件频发&#xff0c;不仅威胁到个人隐私和财产安全&#xff0c;也严重影响到国家政…...

【图书介绍】《Altium Designer 24入门与案例实践(视频教学版)》

本书重点 配套资源丰富&#xff0c;包括示例源文件、PPT课件、教学视频、电子教案、课程标准、教学大纲、模拟试题、作者微信群答疑服务。 内容简介 《Altium Designer 24入门与案例实践:视频教学版》以当前**的板卡级设计软件Altium Designer 24为基础&#xff0c;全面讲述…...

mysql事务的隔离级别学习

事务的隔离级别: ⅰ. 读未提交 ⅱ. 对已提交 &#xff08;解决 脏读&#xff09; ⅲ. 可重复读 &#xff08;解决 不可重复读&#xff09; ⅳ. 串行化 &#xff08;解决 脏读 不可重复读 幻读 问题 &#xff09; 隔离级别分类如下&#xff0c;在不同的隔离级别下可能产生不…...

Chainlit集成Langchain并使用通义千问实现和数据库交互的网页对话应用增强扩展(text2sql)

前言 我在上一篇文章中《Chainlit集成Langchain并使用通义千问实现和数据库交互的网页对话应用&#xff08;text2sql&#xff09;》 利用langchain 中create_sql_agent 创建一个数据库代理智能体&#xff0c;但是实测中发现&#xff0c;使用 create_sql_agent 在对话中&#x…...

rapidocr 提取汇总

rapidocr介绍 A cross platform OCR Library based on OnnxRuntime. 以下资料是根据RapidOCR获得2024中国互联网发展创新与投资大赛(开源)二等奖整理汇编的 支持识别的文种如下: 中、英、日、韩、中文繁体、泰卢固文、卡纳达文、泰米尔文、拉丁文、 阿拉伯字母 、斯拉夫字…...

Linux:用户账号管理和组账号管理

用户账号管理 账号控制总述 用户账户 作用: 1.可以登陆操作系统 2.不同的用户具备不同的权限 唯一标识&#xff1a;UID&#xff08;编号从0开始的编号&#xff0c;默认最大60000&#xff09;zhangsan(UID 1200) 管理员root的UID&#xff1a;永远为0 系统用户&#xff08;为程…...

MyBatis-Plus分页查询、分组查询

目录 准备工作1. 实体类2. Mapper类3. 分页插件4. 数据 分页查询1. 使用条件构造器2. 使用自定义sql 分组查询1. 分组结果类2. 自定义sql3. 测试类 准备工作 1. 实体类 对地址字段address使用字段类型转换器&#xff0c;将List转为字符串数组保存在数据库中 package com.exa…...

2024年9月HarmonyOS鸿蒙应用开发者高级认证全新题库(覆盖99%考题)

一个小时通过鸿蒙高级认证 1、在开发 Harmony0S 应用工程时&#xff0c; 随着业务的发展&#xff0c;现在需要创建一个模块&#xff0c; 关于在 DevEco Studio 中创建 Module &#xff0c; 下列选项哪种方式是错误的? 必对 在 hvigor 目录下&#xff0c;单击鼠标右键&#xf…...

大工程师插件下载 官方地址

https://download.3dsource.cn/3DSource_Client.exe...

rtems 5.3 qemu realview_pbx_a9 环境搭建:生成 rtems arm 工具链

前言 rtems 是一款比较优秀的 RTOS&#xff0c;官方网址 https://www.rtems.org/ 当前 rtems 最新发布的版本&#xff1a;rtems-5.3 版本&#xff0c; 下载地址 https://ftp.rtems.org/pub/rtems/releases/5/5.3/ rtems 支持的 平台也是比较多的&#xff0c;当前支持 STM32F4…...

【算法】栈与模拟

【ps】本篇有 5 道 leetcode OJ。 目录 一、算法简介 二、相关例题 1&#xff09;删除字符串中的所有相邻重复项 .1- 题目解析 .2- 代码编写 2&#xff09;比较含退格的字符串 .1- 题目解析 .2- 代码编写 3&#xff09;基本计算器 II .1- 题目解析 .2- 代码编写 4&…...

【Django】Django AI 聊天机器人项目:基于 ChatGPT 的 Django REST API

Django AI 聊天机器人项目&#xff1a;基于 ChatGPT 的 Django REST API 本文档将介绍如何使用 Django 和 Django REST Framework 构建一个 AI 聊天机器人项目&#xff0c;并结合 OpenAI 的 GPT 模型提供代码解释服务。步骤包括创建 Django 项目、配置 API、与 OpenAI 集成&am…...

System.out源码解读——err 和 out 一起用导致的顺序异常Bug

前言 笔者在写一个小 Demo 的过程中&#xff0c;发现了一个奇怪的问题。问题如下&#xff1a; // 当 flagtrue 时打印 a1 &#xff1b;当 flagfalse 时打印 a2。 public static void main(String[] args) {boolean flag false;for (int i 0; i < 10; i) {if (flag) {Sys…...

汽车软件开发之敏捷开发

一、前言 目前汽车电子产品&#xff0c;特别是汽车几大域控&#xff08;如&#xff1a;智能座舱、智能驾驶、智能网联、车身控制&#xff09;市场竞争激烈&#xff0c;消费者对汽车的需求逐渐多元化和个性化&#xff0c;用户对座舱和智驾产品的要求也越来越高。他们不仅要求产…...

ListBox显示最新数据、左移和右移操作

1、程序 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.IO; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms; using static Sys…...

mysql实用系列:日期格式化

在MySQL中&#xff0c;你可以使用DATE_FORMAT()函数来格式化日期。DATE_FORMAT() 函数通常用于格式化 DATETIME 或 TIMESTAMP类型的字段。这个函数允许你按照指定的格式来显示日期和时间。下面是一些常见的日期格式化的例子&#xff1a; 显示年-月-日&#xff1a; SELECT DATE_…...

时钟频率、AI采样率与AO更新率的关系

在数据采集和信号生成设备&#xff08;如NI板卡&#xff09;中&#xff0c;时钟频率、AI&#xff08;模拟输入&#xff09;采样率、以及AO&#xff08;模拟输出&#xff09;更新率是三个至关重要的参数。它们共同决定了设备在信号采集与生成时的性能表现。本文将详细分析它们之…...

代理IP设置后IP不变?可能的原因及解决方法

在使用代理IP时&#xff0c;有时会遇到代理设置后IP地址却没有变化的情况。这种问题可能会让人感到困惑&#xff0c;但其实背后有多种原因。本文将详细探讨这些原因&#xff0c;并提供相应的解决方法&#xff0c;帮助你顺利解决问题。 可能的原因 代理IP设置后IP地址不变的原…...

终极指南:REFramework - 让RE引擎游戏体验焕然一新的完整解决方案

终极指南&#xff1a;REFramework - 让RE引擎游戏体验焕然一新的完整解决方案 【免费下载链接】REFramework REFramework 是 RE 引擎游戏的 mod 框架、脚本平台和工具集&#xff0c;能安装各类 mod&#xff0c;修复游戏崩溃、卡顿等问题&#xff0c;还有开发者工具&#xff0c;…...

函数信号发生器电路仿真、原理图及PCB设计

函数信号发生器电路仿真&#xff0c;原理图&#xff0c;PCB拆开手头的旧音响翻出几颗运放&#xff0c;突然想搞个函数信号发生器玩玩。这玩意儿说难不难&#xff0c;关键得让方波、三角波、正弦波乖乖听话。咱们今天直接从电路仿真干起&#xff0c;免得焊板子时炸电容。先上LTs…...

状态量: 轮速、滑移率、附着系数

基于分布式驱动电动汽车的路面附着系数估计&#xff0c;分别采用无迹卡尔曼滤波&#xff08;UKF&#xff09;和容积卡尔曼滤波&#xff08;CKF&#xff09;对电动汽车四个车轮的路面附着系数进行估计。可高速&#xff0c;低速&#xff0c;高附着系数&#xff0c;低附着系数&…...

银河麒麟V4.0.2-sp4系统初始化实战:网络、DNS与软件源一站式配置指南

1. 银河麒麟V4.0.2-sp4网络配置实战 刚装完系统的银河麒麟服务器就像刚交房的新家&#xff0c;水电网络都没通。作为系统管理员&#xff0c;配置网络就是给服务器"通水电"的第一步。我遇到过不少新手直接照着网上教程操作&#xff0c;结果把网卡配置搞乱导致服务器失…...

亚马逊 API 签名认证机制详解

在调用亚马逊开放平台、亚马逊云服务&#xff08;AWS&#xff09;各类 API 时&#xff0c;签名认证是请求合法的核心门槛&#xff0c;目前主流采用 Signature Version 4&#xff08;SigV4&#xff09; 签名机制。它通过对请求内容与密钥做加密计算&#xff0c;实现身份校验、防…...

DW_apb_uart初始化全流程解析:从时钟门控到中断配置的15个关键步骤

DW_apb_uart深度初始化指南&#xff1a;从寄存器配置到中断优化的15个实战要点 在嵌入式系统开发中&#xff0c;UART通信作为最基础却又最关键的接口之一&#xff0c;其稳定性和性能直接影响整个系统的可靠性。DW_apb_uart作为业界广泛使用的高性能UART IP核&#xff0c;其初始…...

FreeFileSync 14.9更新:多维度优化提升使用体验

FreeFileSync 14.9&#xff1a;核心功能更新亮点FreeFileSync作为一款适用于Windows、macOS和Linux的开源文件夹对比和同步软件&#xff0c;在14.9版本有了诸多重要更新。在Linux系统方面&#xff0c;支持高DPI显示器上的200%显示缩放&#xff0c;这对于使用高分辨率显示器的用…...

避坑指南:RuoYi-Vue2集成Flowable 6.7.2时,关于database-schema-update和nullCatalogMeansCurrent的配置详解

深度解析&#xff1a;RuoYi-Vue2集成Flowable 6.7.2的数据库配置陷阱与实战策略 当企业级应用需要引入工作流引擎时&#xff0c;Flowable因其轻量化和高性能成为许多开发团队的首选。然而在RuoYi-Vue2框架中集成Flowable 6.7.2版本时&#xff0c;数据库配置环节往往成为开发者的…...

导师推荐!2026年最值得用的专业AI论文写作工具

2026年AI论文写作工具已从“单点辅助”升级为智能化学术研究系统&#xff0c;核心评价维度涵盖文献真实性、格式合规性、长文本逻辑、查重降重、AIGC合规等关键指标。本次测评覆盖6款主流工具&#xff0c;测试场景包括中文与英文论文、全流程与专项功能、免费与付费版本&#x…...

STM32实战指南_基于STM32F103的智能交通灯系统设计与实现(硬件+软件+调试)

1. 项目背景与需求分析 十字路口的交通拥堵是城市治理的经典难题。传统定时切换的交通灯就像个固执的老头子&#xff0c;不管车多车少都按固定节奏工作&#xff0c;经常出现一边排长龙、另一边空荡荡的尴尬场景。这次我们要用STM32F103这颗"最强大脑"给交通灯装上&qu…...