当前位置： 首页 > news >正文

【NIFI】实现ORACLE-＞ORACLE数据同步

news 2026/4/1 15:23:05

【NIFI】实现ORACLE->ORACLE数据同步

需求

  • 使用nifi实现 oracle->oracle 不同数据库之间的数据同步， 如果想实现 oracle->oracle技术有很多，例如使用oracle golden gate或者是kettle等，或者是使用oralce的dblink技术也能实现。当让如果使用dblink就不是数据同步了，属于数据共享了。

配置如下

在这里插入图片描述

1、QueryDatabaseTable：用于读取数据
2、ConvertAvroToJSON：读取数据转换JSON
3、ConvertJSONToSQL： 转换插入语句
4、PutSQL： 执插入语句
5、ConvertJSONToSQL： 转换更新语句
6、PutSQL： 执更新语句

1、QueryDatabaseTable 配置

在这里插入图片描述

  • Database Connection Pooling Service：数据库连接池，点击后面红色的按钮可以添加：
    在这里插入图片描述
    在这里插入图片描述

Database Connection URL：jdbc:oracle:thin:@<ip>:<port>/<db>
DatabaseDriver Class Name:oracle.jdbc.driver.OracleDriver
Database DriverLocation(s):/app/nifi-1.27.0/extensions/ojdbc6-11.2.0.4.0-atlassian-hosted.jar
Database User:<username>
Password:<password>

以上根据实际情况配置，如果存在多个jar可以只填写到文件夹；
在这里插入图片描述
点击小闪电可以启动获取是关闭连接池

  • JDBC Connection Pool：ORACLE-TEST-CA-155
  • Database Type：ORALCE
  • Table Name:application_20230210
  • Maximum-value Columns:OID

Maximum-value Columns：填写了意味着每次只比上一次同步记录值大的数据；

2、ConvertAvroToJSON 配置

在这里插入图片描述
不用做任何调整，使用默认位置

3、ConvertJSONToSQL 配置

在这里插入图片描述

  • JDBC Connection Pool：ORACLE-DEV-PO-119
  • Statement Type：INSERT
  • Table Name:APPLICATION_20230210
  • Update Keys:OID

注意避坑：Table Name 必须大写，ORACLE 默认大小写不敏感的，否则无法实现数据同，ConvertJSONToSQL 在生成sql时候去读的是oracle表的字段

4、PutSQL 配置

在这里插入图片描述

  • JDBC Connection Pool：ORACLE-DEV-PO-119

5、ConvertJSONToSQL 配置

在这里插入图片描述

  • JDBC Connection Pool：ORACLE-DEV-PO-119
  • Statement Type：UPDATE
  • Table Name:APPLICATION_20230210
  • Update Keys:OID

注意避坑：Table Name 必须大写，ORACLE 默认大小写不敏感的，否则无法实现数据同，ConvertJSONToSQL 在生成sql时候去读的是oracle表的字段

6、PutSQL 配置

在这里插入图片描述

  • JDBC Connection Pool：ORACLE-DEV-PO-119

连线配置

1、QueryDatabaseTable：用于读取数据
2、ConvertAvroToJSON：读取数据转换JSON
3、ConvertJSONToSQL： 转换插入语句
4、PutSQL： 执插入语句
5、ConvertJSONToSQL： 转换更新语句
6、PutSQL： 执更新语句

1->2 QueryDatabaseTable -> ConvertAvroToJSON

在这里插入图片描述

2->3 ConvertAvroToJSON-> ConvertJSONToSQL

在这里插入图片描述

3->4ConvertJSONToSQL -> PutSQL

在这里插入图片描述

2->5 ConvertAvroToJSON -> ConvertJSONToSQL

在这里插入图片描述

5->6ConvertJSONToSQL -> PutSQL

在这里插入图片描述
其他场景的均终止即可
在这里插入图片描述
最后节点的关系是全部终止
在这里插入图片描述

启动流程

对流程中的每个步骤进行启动
在这里插入图片描述
这样就完成了同步的配置，接下来就能去检查数据表中的数据了

相关文章：

【NIFI】实现ORACLE-＞ORACLE数据同步

【NIFI】实现ORACLE->ORACLE数据同步 需求 使用nifi实现 oracle->oracle 不同数据库之间的数据同步&#xff0c; 如果想实现 oracle->oracle技术有很多&#xff0c;例如使用oracle golden gate或者是kettle等&#xff0c;或者是使用oralce的dblink技术也能实现。当让…...

编程日记 2024/12/28 22:57:05

单例模式的写法

单例模式&#xff08;Singleton Pattern&#xff09;是一种设计模式&#xff0c;确保一个类只有一个实例&#xff0c;并提供一个全局访问点。常用于管理共享资源&#xff08;如数据库连接、配置文件、线程池等&#xff09;。在实际编码中&#xff0c;有多种实现单例模式的方法&…...

编程日记 2024/12/28 22:53:56

Selenium实践总结

1.使用显示等待而不是隐式等待 隐式等待可能会导致不可预测的测试行为&#xff0c;尤其是在动态 Web 应用程序中。显式等待&#xff0c;它允许您 等待特定条件发生后再继续测试&#xff0c;这种方法提供了更多的控制和可靠性。 WebDriverWait wait new WebDriverWait(drive…...

编程日记 2024/12/28 22:52:54

Python数据可视化小项目

英雄联盟S14世界赛选手数据可视化 由于本学期有一门数据可视化课程&#xff0c;课程结课作业要求完成一个数据可视化的小Demo&#xff0c;于是便有了这个小项目&#xff0c;课程老师要求比较简单&#xff0c;只要求熟练运用可视化工具展示数据&#xff0c;并不要求数据来源&am…...

编程日记 2024/12/28 22:49:50

Python毕业设计选题：基于python的白酒数据推荐系统_django+hive

开发语言&#xff1a;Python框架&#xff1a;djangoPython版本&#xff1a;python3.7.7数据库&#xff1a;mysql 5.7数据库工具&#xff1a;Navicat11开发软件&#xff1a;PyCharm 系统展示 管理员登录 管理员功能界面 用户管理 白酒管理 系统管理 看板展示 系统首页 白酒详情…...

编程日记 2024/12/28 22:47:48

SQL-leetcode-180. 连续出现的数字

180. 连续出现的数字 表&#xff1a;Logs -------------------- | Column Name | Type | -------------------- | id | int | | num | varchar | -------------------- 在 SQL 中&#xff0c;id 是该表的主键。 id 是一个自增列。 找出所有至少连续出现三次的数字。 返回的…...

编程日记 2024/12/28 22:45:45

Unity中如何修改Sprite的渲染网格

首先打开SpriteEditor 选择Custom OutLine,点击Genrate 则在图片边缘会出现边缘线&#xff0c;调整白色小方块可以调整边缘 调整后&#xff0c;Sprite就会按照调整后的网格渲染了。 如何在UI中使用&#xff1f; 只要在UI的Image组件中选择Use Sprite Mesh 即可 结果&#xff1…...

编程日记 2024/12/28 22:38:37

跟着 8.6k Star 的开源数据库，搞 RAG！

过去 9 年里&#xff0c;HelloGitHub 月刊累计收录了 3000 多个开源项目。然而&#xff0c;随着项目数量的增加&#xff0c;不少用户反馈&#xff1a;“搜索功能不好用&#xff0c;找不到想要的项目&#xff01;” 这让我意识到&#xff0c;仅仅收录项目是不够的&#xff0c;还…...

编程日记 2024/12/28 22:28:24

每日一题 345. 反转字符串中的元音字母

345. 反转字符串中的元音字母 简单 class Solution { public:string reverseVowels(string s) {int l 0;int r s.size() - 1;unordered_set<char> st {a,A,E,e,i,I,O,o,U,u};while(l < r){while(l<r && !st.count(s[l]) ){l;}while(l<r &&…...

编程日记 2024/12/28 22:26:21

Stream API 的设计融合了多个经典设计模式

Stream API 的设计融合了多个经典设计模式&#xff1a; 1. 策略模式&#xff08;Strategy Pattern&#xff09; 策略模式定义了一个算法的家族&#xff0c;将每个算法封装起来&#xff0c;并使它们可以互换。Stream API 中的每个操作&#xff08;如 filter(), map()&#xff…...

编程日记 2024/12/28 22:25:20

jmeter混合场景测试，设置多业务并发比例（吞吐量控制器）

jmeter混合场景测试&#xff0c;设置多业务并发比例&#xff08;吞吐量控制器&#xff09; 测试目的 为了验证需求提出的性能要求&#xff0c;结合实际可能的高压力场景&#xff0c;较全面的检测系统的性能表现。 测试方法 根据需求调研的业务模型和交易占比&#xff0c;设置不…...

编程日记 2024/12/28 22:24:18

直流有刷电机多环控制(PID闭环死区和积分分离)

直流有刷电机多环控制 提高部分-第8讲 直流有刷电机多环控制实现(1)_哔哩哔哩_bilibili PID模型 外环的输出作为内环的输入，外环是最主要控制的效果，主要控制电机的位置。改变位置可以改变速度，改变速度是受电流控制。 实验环境 【 ！】功能简介： 按下KEY1使能电机,按下…...

编程日记 2024/12/28 22:23:16

vue-axios+springboot实现文件流下载

前端vue代码&#xff1a; <template><div class"app-container documentation-container"><div><el-button type"primary" click"downloadFile(test.xlsx)">下载test.xlsx</el-button></div></div> …...

编程日记 2024/12/28 22:21:15

selenium执行js

JS知识 获取元素 document.getElement 移除属性&#xff1a;removeAttribute("xx") 窗口移动&#xff1a;window.scrollTo(0, document.body.scrollHeight)方法 drivier.execute_script(js)场景&#xff1a; 日期选择框&#xff0c;不能输入&#xff0c;只能设置…...

编程日记 2024/12/28 22:19:10

每日算法Day11【左叶子之和、找树左下角的值、路径总和】

404.左叶子之和 算法链接: 404. 左叶子之和 - 力扣&#xff08;LeetCode&#xff09; 类型: 二叉树 难度: 简单 思路&#xff1a;要判断一个节点是否为左叶子节点&#xff0c;只能通过其父节点进行判断。 题解: /*** Definition for a binary tree node.* public class Tr…...

编程日记 2024/12/28 22:18:08

分享一下使用 AI 开发个人工具的迭代过程

分享一下使用 AI 开发个人工具的迭代过程&#xff1a;1. 找 gpt/claude 要一个 super shady coder 的人设 prompt&#xff1b;2. 简单介绍项目背景和基础需求给 gemini&#xff0c;生成最初的细化需求&#xff1b;3. 根据细化需求再次分析&#xff0c;完善边界条件&#xff0c;…...

编程日记 2024/12/28 22:15:01

大型语言模型（LLMs）演化树 Large Language Models

大型语言模型&#xff08;LLMs&#xff09;演化树 Large Language Models flyfish 下面的图来自论文地址 Transformer 模型&#xff08;如 BERT 和 GPT-3&#xff09;已经给自然语言处理&#xff08;NLP&#xff09;领域带来了革命性的变化。这得益于它们具备并行化能力&…...

编程日记 2024/12/28 22:12:59

部分背包问题

本节学习解决部分背包问题,部分背包代表物品可以按照一定比例被分割,而后放入背包内.这是十分经典的用贪心算法解决的问题. 问题描述: 给定一些物品,用matrix表示各个物品的属性,第一项表示物品的质量,第二项表示物品的总价值.现有一背包最大承重为M,试求如何让背包中所装物品…...

编程日记 2024/12/28 22:11:57

教师管理系统

大概功能&#xff1a; 1.显示所有教师 2.按姓名查找教师 3.按工号查找教师 4.增加教师 5.删除教师 6.退出 数据会保存到 txt 文件里面 姓名&#xff1a;必须是中文 手机号码&#xff1a;必须是11位&#xff0c;必须是数字 效果展示&#xff1a; 代码展示&#xff1a; Teache…...

编程日记 2024/12/28 22:07:53

Word论文交叉引用一键上标

Word论文交叉引用一键上标 1.进入Microsoft word使用CtrlH快捷键或单击替换按钮 2.在查找内容中输入[^#] 3.鼠标点击&#xff0c;标签为“替换为&#xff1a;”的文本框&#xff0c;注意光标一定要打在图红色方框圈中的文本框中&#xff01; 4.点击格式选择字体 5.勾选上标…...

编程日记 2024/12/28 22:04:49

威联通NAS安全防护全攻略：10个必做设置让你的数据固若金汤

威联通NAS安全防护全攻略&#xff1a;10个必做设置让你的数据固若金汤 在数字化时代&#xff0c;数据安全已成为个人和企业最关注的议题之一。威联通NAS作为专业级网络存储设备&#xff0c;凭借其强大的硬件性能和丰富的软件生态&#xff0c;成为许多用户存储重要数据的首选。然…...

编程新知 2026/4/1 15:03:29

Windows系统维护新体验：告别繁琐手动操作，用WinUtil一键搞定所有

Windows系统维护新体验&#xff1a;告别繁琐手动操作&#xff0c;用WinUtil一键搞定所有 【免费下载链接】winutil Chris Titus Techs Windows Utility - Install Programs, Tweaks, Fixes, and Updates 项目地址: https://gitcode.com/GitHub_Trending/wi/winutil 你是…...

编程新知 2026/4/1 14:43:08

解锁PlotJuggler数据可视化：工业时序数据处理与分析指南

解锁PlotJuggler数据可视化&#xff1a;工业时序数据处理与分析指南 【免费下载链接】PlotJuggler The Time Series Visualization Tool that you deserve. 项目地址: https://gitcode.com/gh_mirrors/pl/PlotJuggler PlotJuggler是一款专业的时序数据可视化工具&#x…...

编程新知 2026/4/1 13:26:57

别再死记硬背了！用FPGA和Verilog HDL手把手带你玩转数字电路设计（附避坑指南）

用FPGA和Verilog HDL玩转数字电路设计&#xff1a;从理论到实战的避坑指南 数字电路设计常常让初学者感到抽象和枯燥——真值表、状态机、时序约束这些概念看似冰冷&#xff0c;但当你亲手用FPGA开发板点亮第一个LED时&#xff0c;一切都会变得生动起来。本文将带你用Xilinx Ar…...

编程新知 2026/4/1 12:54:27

科大奥锐虚拟仿真实验避坑指南：从85分到95分，我的密度测量实验复盘与代码优化

科大奥锐虚拟仿真实验提分实战&#xff1a;从85分到95分的密度测量实验深度优化 第一次接触科大奥锐的密度测量虚拟仿真实验时&#xff0c;我和大多数同学一样&#xff0c;以为按照指导手册操作就能轻松拿高分。直到连续三次实验分数卡在85-87分之间&#xff0c;才意识到这个看…...

编程新知 2026/4/1 11:45:45

掌握LSLib：解锁《神界原罪》与《博德之门3》MOD制作的神器

掌握LSLib&#xff1a;解锁《神界原罪》与《博德之门3》MOD制作的神器 【免费下载链接】lslib Tools for manipulating Divinity Original Sin and Baldurs Gate 3 files 项目地址: https://gitcode.com/gh_mirrors/ls/lslib LSLib是一个功能强大的开源工具集&#xff0…...

编程新知 2026/4/1 11:01:22

我的实用设计模式之 关于Policy-based design在Windows Mobile网络连接管理的应用

Raw Data&#xff08;原数据&#xff09;使用不要的分析器&#xff08;分析器使用不同的算法&#xff09;分析出关心的Event&#xff08;事件&#xff0c;对象&#xff0c;告警等等&#xff09;。同时作为behavior模式之一&#xff0c;stragety模式也可以使用在 定义多个behavi…...

编程新知 2026/4/1 10:35:05

Java EE开发技术 （报错解决 BeanCreationException）

该报错因为使用构造注入时没有提供参数列表或没有提供有参构造而造成的修改静态工厂中的参数列表即可...

编程新知 2026/4/1 10:33:00

HALCON实战：从一维码到复杂OCR，图像增强与运算的工业视觉全流程解析

1. 工业视觉检测的挑战与HALCON解决方案 在自动化产线上&#xff0c;产品表面的一维码、二维码和字符识别是质量控制的关键环节。我曾在某电子元件生产线遇到这样的场景&#xff1a;传送带以每秒3米的速度移动&#xff0c;产品表面既有激光刻印的微小点阵字符&#xff0c;又有喷…...

编程新知 2026/4/1 8:08:06

快速原型构建遇阻？用快马AI一键绕过npm error 128，聚焦核心功能验证

最近在尝试用Node.js快速验证一个Web服务原型时&#xff0c;遇到了烦人的npm error code 128问题。这个错误通常和Git仓库权限相关&#xff0c;会直接卡住依赖安装流程。经过一番折腾&#xff0c;我总结出一套在InsCode(快马)平台快速绕开这个坑的实践方案&#xff0c;分享给同…...

编程新知 2026/4/1 2:03:58