当前位置： 首页 > news >正文

全域数据集成平台ETL

news 2025/7/5 5:04:26

全域数据集成平台ETL

Restcloud 工作原理

RestCloud数据集成平台采用SpringCloud微服务架构技术开发，底层基于纯Java语言采用前后端分离架构，前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流+工作流引擎的架构进行研发的，底层设计了一个专门为数据处理任务流而研发的工作流引擎用以支撑任意复杂的数据流处理包括：串行、同步并行、异步并行、同步子流程、异步子流程、事务控制、循环任务执行、多流合并、数据折分、数据流复制等，而不是基于DAG这种简单的有向无环图的数据流程处理逻辑，得益于我们在工作流上面积累的优势我们不但可以做DAG这种简单的依赖任务处理还可以做复杂的多层任务调度能力，企业可以把数据处理任务分为原子层、逻辑组合层、调度层等方式来组合企业的复杂任务调度需求，可以把一个复杂的数据集成流程拆分成多个可复用的子任务来进行调度。

在RestCloud数据集成平台中数据作为流在多个节点中进行流动、数据可以穿透多个节点以及子任务，这样数据流可以被多个节点以及任务中被访问到，以实现数据复用和分发。 为了保障系统的任务调度的稳定性我们做了大量的工作以及尝试，目前在产品中已经支持了多种调度模式包括：队列模式、主备模式、调度机模式等等目的都是为了保障任务能够被准时执行，同时在任务失败时提供了自动重跑、断点重跑、重跑指定节点、重跑所有下游节点的能力。

请添加图片描述

ETL数据同步CDC实时数据集成操作手册

1.创建数据源

请添加图片描述

2.选择新建数据源

请添加图片描述

3.创建离线数据集成

请添加图片描述

4.新建应用

请添加图片描述

5.新建流程进行流程设计

请添加图片描述

6.新建流程步骤

请添加图片描述

7.同步到Doris的离线流程设计

请添加图片描述

8.实时输入流配置

请添加图片描述

9.实时输入流字段来源

请添加图片描述

10.字段映射配置

请添加图片描述

11.字段映射，一一对应

请添加图片描述

12.数据过滤器配置

请添加图片描述

13.数据过滤器的过滤条件

请添加图片描述

14.Doris快速输出配置

请添加图片描述

15.Doris快速输出字段需要重新读取

请添加图片描述

16.配置实时数据集成

请添加图片描述

17.新建监听器

请添加图片描述

18.监听器配置

请添加图片描述

19.接收端配置

请添加图片描述

20.开启全量+增量/增量模式

请添加图片描述

21.一个监听器监听多张表配置

现场的ETL工具是否使用监听多表视情况而定

由于目前社区版是有限制的，流程数量+监听器数量<=30,如果单独使用一张表一个监听器一个流程，就是资源浪费

看现场具体情况，如果一些不是经常操作（新增，修改，删除）的表可以将这些表放到同一个流程里面，只需要一个监听器一个流程就可以达到效果

当一个流程内表的操作比较频繁，可能会造成数据堵塞，状态一直处于运行中，丢失数据，可以在流程上方的流程属性中增加并发数，注意并发数不能过多（消耗CPU）

创建多表离线流程

请添加图片描述

配置开始处的分支流程线

请添加图片描述

新建多表监听器请添加图片描述

相关文章：

全域数据集成平台ETL

全域数据集成平台ETL Restcloud 工作原理 RestCloud数据集成平台采用SpringCloud微服务架构技术开发&#xff0c;底层基于纯Java语言采用前后端分离架构&#xff0c;前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流工作流引擎的架构进行研发的&#xff0c;底…...

编程日记 2024/12/21 6:24:57

海外储能电站双向计量表功能参数介绍

摘要 随着全球能源结构的转型和储能技术的发展&#xff0c;对于电力系统的监控和管理提出了更高的要求。ADL3000-E-B 导轨式多功能电能表&#xff0c;由安科瑞电气股份有限公司研发&#xff0c;是一款为电力系统、工矿企业、公用设施设计的智能仪表。本文将从海外储能背景出发…...

编程日记 2024/12/21 6:23:56

javase-15、正则表达式

一、初识正则表达式 1、概念 正则表达式是对字符串操作的一种逻辑公式&#xff0c;它会将事先定义好的一些特定字符&#xff0c;以及这些特定字符的组合&#xff0c;组成一个规则字符串&#xff0c;并且通过这个规则字符串表达对给定字符串的过滤逻辑。 一条正则表达式也称为…...

编程日记 2024/12/21 6:22:55

【SpringSecurity】SpringSecurity+JWT实现登录

1. SpringSecurity介绍 Spring Security 是一个功能强大且高度可定制的身份验证和访问控制框架。它是为Java应用程序设计的&#xff0c;特别是那些基于Spring的应用程序。Spring Security是一个社区驱动的开源项目&#xff0c;它提供了全面的安全性解决方案&#xff0c;包括防…...

编程日记 2024/12/21 6:18:52

jmeter连接mysql

查询mysql数据库版本 SELECT VERSION(); 下载jmeter mysql 驱动jar包&#xff0c;版本低于mysql版本&#xff0c;放在jmeter的lib 路径下 MySQL :: Download MySQL Connector/J (Archived Versions) 添加JDBC Connection Configuration 填写 variable name 及数据库信息 注意…...

编程日记 2024/12/21 6:17:50

图书馆管理系统（三）基于jquery、ajax

任务3.4 借书还书页面 任务描述 这部分主要是制作借书还书的界面&#xff0c;这里我分别制作了两个网页分别用来借书和还书。此页面&#xff0c;也是通过获取books.txt内容然后添加到表格中&#xff0c;但是借还的操作没有添加到后端中去&#xff0c;只是一个简单的前端操作。…...

编程日记 2024/12/21 6:16:49

Nginx Location 配置块全解析与示例

Nginx Location 配置块全解析与示例 摘要&#xff1a; 本文深入探讨了 Nginx 中 location 配置块的功能、语法规则以及多种实际应用场景下的配置示例&#xff0c;旨在帮助读者全面理解并熟练掌握 location 配置块&#xff0c;以便在 Nginx 服务器配置中灵活运用&#xff0c;实…...

编程日记 2024/12/21 6:14:48

javalock（八）ReentrantReadWriteLock

ReentrantReadWriteLock: 同时实现了共享锁和排它锁。内部有一个sync&#xff0c;同时实现了tryAcquire/tryReleases、tryAcquireShared/tryReleasesShared&#xff0c;一共四个函数&#xff0c;然后ReentrantReadWriteLock内部还实现了一个ReadLock和一个WriteLock&#xff0c…...

编程日记 2024/12/21 6:12:46

反射和设计模式

一、反射 1. 相关概念 (1) 类的对象&#xff1a;基于定义好的一个类&#xff0c;创建该类的实例&#xff0c;即利用 new 创建的实例就为类的对象。 (2) 类对象&#xff1a;类加载的产物&#xff0c;封装了一个类的所有信息 ( 包名、类名、父类、接口、属性、方法、构造方…...

编程日记 2024/12/21 6:11:46

双指针---和为s的两个数字

这里写自定义目录标题 题目链接问题分析代码解决执行用时 题目链接 购物车内的商品价格按照升序记录于数组 price。请在购物车中找到两个商品的价格总和刚好是 target。若存在多种情况&#xff0c;返回任一结果即可。 问题分析 暴⼒解法&#xff0c;会超时 &#xff08;两层…...

编程日记 2024/12/21 6:09:40

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct

环境安装 git clone https://gitcode.com/gh_mirrors/ll/LLaMA-Factory.git 下载模型 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct 微调 llamafactory-cli train \--st…...

编程日记 2024/12/21 6:06:38

智慧农业云平台与水肥一体化：道品科技引领农业现代化新潮流

在当今科技飞速发展的时代&#xff0c;农业也正经历着一场深刻的变革。智慧农业云平台和水肥一体化技术的出现&#xff0c;为农业生产带来了前所未有的机遇和挑战。 一、智慧农业云平台&#xff1a;农业生产的 “智慧大脑” 智慧农业云平台就像是农业生产的 “智慧大脑”&…...

编程日记 2024/12/21 6:05:37

241207_MindNLP中的大模型微调

241207_基于MindNLP的大模型高效微调 现在的大模型体量非常庞大&#xff0c;全量微调所需要的算力也特别庞大&#xff0c;个人开发者没有条件微调。参数量达到7B的模型才刚刚有涌现能力&#xff0c;但是我们要微调7B的模型的话&#xff0c;就需要328G的显存&#xff0c;至少需…...

编程日记 2024/12/21 6:04:35

MongoDB、Mongoose使用教程

文章目录 一&#xff1a;MongoDB 简介1.1 什么是 MongoDB1.2 特点1.3 与关系数据库的区别&#xff1a;1.4 资源链接&#xff1a; 二&#xff1a;安装 MongoDB2.1 安装前的准备2.2 安装、启动 MongoDB2.3 创建用户 MongoDB 三、连接四&#xff1a;MongoDB 基础操作4.1 库操作&am…...

编程日记 2024/12/21 6:00:30

单片机：实现控制步进电机正反转（附带源码）

1. 步进电机概述 步进电机&#xff08;Step Motor&#xff09;是一种能够将电能转换为机械能的电动机。其独特之处在于能够精确地控制转动角度&#xff0c;因此被广泛应用于需要精确控制的场合&#xff0c;如打印机、机器人、数控机床、自动化设备等。 步进电机的转动是以“步…...

编程日记 2024/12/21 5:59:28

安装指南｜OpenCSG Starship上架GitHub Marketplace

在代码开发的日常中&#xff0c;你是否常常被以下问题困扰&#xff1f; 代码审查耗时太长&#xff0c;拖慢项目进度&#xff1f; 审查质量参差不齐&#xff0c;一些关键问题被遗漏&#xff1f; 复杂代码变更看不懂&#xff0c;审查者需要大量时间理解意图&#xff1f; 别担…...

编程日记 2024/12/21 5:58:27

Excel设置生日自动智能提醒，公式可直接套用！

大家好&#xff0c;我是小鱼。 今天跟大家分享一个WPS表格中根据出生日期&#xff0c;设置生日提醒&#xff0c;并且根据距离生日天数自动标记数据颜色。简单又实用&#xff0c;一个公式轻松搞定&#xff01; 接下来我们先学习一下需要使用到的函数&#xff0c;然后再根据实例让…...

编程日记 2024/12/21 5:57:26

同步异步日志系统：前置知识

一、日志项目的介绍 1.1 为什么要有日志系统 1、⽣产环境的产品为了保证其稳定性及安全性是不允许开发⼈员附加调试器去排查问题&#xff0c;可以借助日志系统来打印⼀些⽇志帮助开发⼈员解决问题 为什么不直接printf打印在屏幕上呢&#xff1f;&#xff1f;因为现实中没有…...

编程日记 2024/12/21 5:56:25

微服务设计原则——功能设计

文章目录 1.ID生成2.数值精度3.DB操作4.性能测试5.版本兼容5.1 向旧兼容5.2 向新兼容 6.异步时序问题7.并发问题7.1 并发时序7.2 并发数据竞争 参考文献 1.ID生成 在分布式系统中&#xff0c;生成全局唯一ID是非常重要的需求&#xff0c;因为需要确保不同节点、服务或实例在并…...

编程日记 2024/12/21 5:54:24

低代码软件搭建自学的第一天——熟悉PyQt

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 学习计划第 1 步&#xff1a;环境搭建1.1 安装 Python1.2 安装 PyQt安装命令&#xff1a;验证安装&#xff1a; 第 2 步&#xff1a;PyQt 基础知识2.1 创建第一个窗…...

编程日记 2024/12/21 5:52:22

深入剖析AI大模型：大模型时代的 Prompt 工程全解析

今天聊的内容&#xff0c;我认为是AI开发里面非常重要的内容。它在AI开发里无处不在&#xff0c;当你对 AI 助手说 "用李白的风格写一首关于人工智能的诗"&#xff0c;或者让翻译模型 "将这段合同翻译成商务日语" 时&#xff0c;输入的这句话就是 Prompt。…...

编程新知 2025/7/1 6:09:18

【位运算】消失的两个数字（hard）

消失的两个数字&#xff08;hard&#xff09; 题⽬描述&#xff1a;解法&#xff08;位运算&#xff09;&#xff1a;Java 算法代码&#xff1a;更简便代码 题⽬链接&#xff1a;⾯试题 17.19. 消失的两个数字 题⽬描述&#xff1a; 给定⼀个数组&#xff0c;包含从 1 到 N 所有…...

编程新知 2025/6/27 23:52:01

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中&#xff0c;高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术&#xff0c;实现年省电费15%-60%&#xff0c;且不改动原有装备、安装快捷、…...

编程新知 2025/6/25 0:28:07

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2025/6/19 14:22:44

C# 类和继承(抽象类)

抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...

编程新知 2025/6/21 6:59:57

今日科技热点速览

&#x1f525; 今日科技热点速览 &#x1f3ae; 任天堂Switch 2 正式发售 任天堂新一代游戏主机 Switch 2 今日正式上线发售&#xff0c;主打更强图形性能与沉浸式体验&#xff0c;支持多模态交互&#xff0c;受到全球玩家热捧 。 &#x1f916; 人工智能持续突破 DeepSeek-R1&…...

编程新知 2025/6/20 19:12:10

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库&#xff0c;例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体&#xff0c;比如 SnowballFight、Huggy the Do…...

编程新知 2025/6/26 3:44:44

DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”

目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...

编程新知 2025/6/21 15:39:02

稳定币的深度剖析与展望

一、引言 在当今数字化浪潮席卷全球的时代&#xff0c;加密货币作为一种新兴的金融现象&#xff0c;正以前所未有的速度改变着我们对传统货币和金融体系的认知。然而&#xff0c;加密货币市场的高度波动性却成为了其广泛应用和普及的一大障碍。在这样的背景下&#xff0c;稳定…...

编程新知 2025/6/20 12:51:17

浪潮交换机配置track检测实现高速公路收费网络主备切换NQA

浪潮交换机track配置 项目背景高速网络拓扑网络情况分析通信线路收费网络路由 收费汇聚交换机相应配置收费汇聚track配置 项目背景 在实施省内一条高速公路时遇到的需求&#xff0c;本次涉及的主要是收费汇聚交换机的配置&#xff0c;浪潮网络设备在高速项目很少&#xff0c;通…...

编程新知 2025/6/26 1:25:59