当前位置： 首页 > news >正文

全域数据集成平台ETL

news 2026/2/10 18:04:32

全域数据集成平台ETL

Restcloud 工作原理

RestCloud数据集成平台采用SpringCloud微服务架构技术开发，底层基于纯Java语言采用前后端分离架构，前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流+工作流引擎的架构进行研发的，底层设计了一个专门为数据处理任务流而研发的工作流引擎用以支撑任意复杂的数据流处理包括：串行、同步并行、异步并行、同步子流程、异步子流程、事务控制、循环任务执行、多流合并、数据折分、数据流复制等，而不是基于DAG这种简单的有向无环图的数据流程处理逻辑，得益于我们在工作流上面积累的优势我们不但可以做DAG这种简单的依赖任务处理还可以做复杂的多层任务调度能力，企业可以把数据处理任务分为原子层、逻辑组合层、调度层等方式来组合企业的复杂任务调度需求，可以把一个复杂的数据集成流程拆分成多个可复用的子任务来进行调度。

在RestCloud数据集成平台中数据作为流在多个节点中进行流动、数据可以穿透多个节点以及子任务，这样数据流可以被多个节点以及任务中被访问到，以实现数据复用和分发。 为了保障系统的任务调度的稳定性我们做了大量的工作以及尝试，目前在产品中已经支持了多种调度模式包括：队列模式、主备模式、调度机模式等等目的都是为了保障任务能够被准时执行，同时在任务失败时提供了自动重跑、断点重跑、重跑指定节点、重跑所有下游节点的能力。

请添加图片描述

ETL数据同步CDC实时数据集成操作手册

1.创建数据源

请添加图片描述

2.选择新建数据源

请添加图片描述

3.创建离线数据集成

请添加图片描述

4.新建应用

请添加图片描述

5.新建流程进行流程设计

请添加图片描述

6.新建流程步骤

请添加图片描述

7.同步到Doris的离线流程设计

请添加图片描述

8.实时输入流配置

请添加图片描述

9.实时输入流字段来源

请添加图片描述

10.字段映射配置

请添加图片描述

11.字段映射，一一对应

请添加图片描述

12.数据过滤器配置

请添加图片描述

13.数据过滤器的过滤条件

请添加图片描述

14.Doris快速输出配置

请添加图片描述

15.Doris快速输出字段需要重新读取

请添加图片描述

16.配置实时数据集成

请添加图片描述

17.新建监听器

请添加图片描述

18.监听器配置

请添加图片描述

19.接收端配置

请添加图片描述

20.开启全量+增量/增量模式

请添加图片描述

21.一个监听器监听多张表配置

现场的ETL工具是否使用监听多表视情况而定

由于目前社区版是有限制的，流程数量+监听器数量<=30,如果单独使用一张表一个监听器一个流程，就是资源浪费

看现场具体情况，如果一些不是经常操作（新增，修改，删除）的表可以将这些表放到同一个流程里面，只需要一个监听器一个流程就可以达到效果

当一个流程内表的操作比较频繁，可能会造成数据堵塞，状态一直处于运行中，丢失数据，可以在流程上方的流程属性中增加并发数，注意并发数不能过多（消耗CPU）

创建多表离线流程

请添加图片描述

配置开始处的分支流程线

请添加图片描述

新建多表监听器请添加图片描述

相关文章：

全域数据集成平台ETL

全域数据集成平台ETL Restcloud 工作原理 RestCloud数据集成平台采用SpringCloud微服务架构技术开发&#xff0c;底层基于纯Java语言采用前后端分离架构&#xff0c;前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流工作流引擎的架构进行研发的&#xff0c;底…...

编程日记 2024/12/21 6:24:57

海外储能电站双向计量表功能参数介绍

摘要 随着全球能源结构的转型和储能技术的发展&#xff0c;对于电力系统的监控和管理提出了更高的要求。ADL3000-E-B 导轨式多功能电能表&#xff0c;由安科瑞电气股份有限公司研发&#xff0c;是一款为电力系统、工矿企业、公用设施设计的智能仪表。本文将从海外储能背景出发…...

编程日记 2024/12/21 6:23:56

javase-15、正则表达式

一、初识正则表达式 1、概念 正则表达式是对字符串操作的一种逻辑公式&#xff0c;它会将事先定义好的一些特定字符&#xff0c;以及这些特定字符的组合&#xff0c;组成一个规则字符串&#xff0c;并且通过这个规则字符串表达对给定字符串的过滤逻辑。 一条正则表达式也称为…...

编程日记 2024/12/21 6:22:55

【SpringSecurity】SpringSecurity+JWT实现登录

1. SpringSecurity介绍 Spring Security 是一个功能强大且高度可定制的身份验证和访问控制框架。它是为Java应用程序设计的&#xff0c;特别是那些基于Spring的应用程序。Spring Security是一个社区驱动的开源项目&#xff0c;它提供了全面的安全性解决方案&#xff0c;包括防…...

编程日记 2024/12/21 6:18:52

jmeter连接mysql

查询mysql数据库版本 SELECT VERSION(); 下载jmeter mysql 驱动jar包&#xff0c;版本低于mysql版本&#xff0c;放在jmeter的lib 路径下 MySQL :: Download MySQL Connector/J (Archived Versions) 添加JDBC Connection Configuration 填写 variable name 及数据库信息 注意…...

编程日记 2024/12/21 6:17:50

图书馆管理系统（三）基于jquery、ajax

任务3.4 借书还书页面 任务描述 这部分主要是制作借书还书的界面&#xff0c;这里我分别制作了两个网页分别用来借书和还书。此页面&#xff0c;也是通过获取books.txt内容然后添加到表格中&#xff0c;但是借还的操作没有添加到后端中去&#xff0c;只是一个简单的前端操作。…...

编程日记 2024/12/21 6:16:49

Nginx Location 配置块全解析与示例

Nginx Location 配置块全解析与示例 摘要&#xff1a; 本文深入探讨了 Nginx 中 location 配置块的功能、语法规则以及多种实际应用场景下的配置示例&#xff0c;旨在帮助读者全面理解并熟练掌握 location 配置块&#xff0c;以便在 Nginx 服务器配置中灵活运用&#xff0c;实…...

编程日记 2024/12/21 6:14:48

javalock（八）ReentrantReadWriteLock

ReentrantReadWriteLock: 同时实现了共享锁和排它锁。内部有一个sync&#xff0c;同时实现了tryAcquire/tryReleases、tryAcquireShared/tryReleasesShared&#xff0c;一共四个函数&#xff0c;然后ReentrantReadWriteLock内部还实现了一个ReadLock和一个WriteLock&#xff0c…...

编程日记 2024/12/21 6:12:46

反射和设计模式

一、反射 1. 相关概念 (1) 类的对象&#xff1a;基于定义好的一个类&#xff0c;创建该类的实例&#xff0c;即利用 new 创建的实例就为类的对象。 (2) 类对象&#xff1a;类加载的产物&#xff0c;封装了一个类的所有信息 ( 包名、类名、父类、接口、属性、方法、构造方…...

编程日记 2024/12/21 6:11:46

双指针---和为s的两个数字

这里写自定义目录标题 题目链接问题分析代码解决执行用时 题目链接 购物车内的商品价格按照升序记录于数组 price。请在购物车中找到两个商品的价格总和刚好是 target。若存在多种情况&#xff0c;返回任一结果即可。 问题分析 暴⼒解法&#xff0c;会超时 &#xff08;两层…...

编程日记 2024/12/21 6:09:40

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct

环境安装 git clone https://gitcode.com/gh_mirrors/ll/LLaMA-Factory.git 下载模型 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct 微调 llamafactory-cli train \--st…...

编程日记 2024/12/21 6:06:38

智慧农业云平台与水肥一体化：道品科技引领农业现代化新潮流

在当今科技飞速发展的时代&#xff0c;农业也正经历着一场深刻的变革。智慧农业云平台和水肥一体化技术的出现&#xff0c;为农业生产带来了前所未有的机遇和挑战。 一、智慧农业云平台&#xff1a;农业生产的 “智慧大脑” 智慧农业云平台就像是农业生产的 “智慧大脑”&…...

编程日记 2024/12/21 6:05:37

241207_MindNLP中的大模型微调

241207_基于MindNLP的大模型高效微调 现在的大模型体量非常庞大&#xff0c;全量微调所需要的算力也特别庞大&#xff0c;个人开发者没有条件微调。参数量达到7B的模型才刚刚有涌现能力&#xff0c;但是我们要微调7B的模型的话&#xff0c;就需要328G的显存&#xff0c;至少需…...

编程日记 2024/12/21 6:04:35

MongoDB、Mongoose使用教程

文章目录 一&#xff1a;MongoDB 简介1.1 什么是 MongoDB1.2 特点1.3 与关系数据库的区别&#xff1a;1.4 资源链接&#xff1a; 二&#xff1a;安装 MongoDB2.1 安装前的准备2.2 安装、启动 MongoDB2.3 创建用户 MongoDB 三、连接四&#xff1a;MongoDB 基础操作4.1 库操作&am…...

编程日记 2024/12/21 6:00:30

单片机：实现控制步进电机正反转（附带源码）

1. 步进电机概述 步进电机&#xff08;Step Motor&#xff09;是一种能够将电能转换为机械能的电动机。其独特之处在于能够精确地控制转动角度&#xff0c;因此被广泛应用于需要精确控制的场合&#xff0c;如打印机、机器人、数控机床、自动化设备等。 步进电机的转动是以“步…...

编程日记 2024/12/21 5:59:28

安装指南｜OpenCSG Starship上架GitHub Marketplace

在代码开发的日常中&#xff0c;你是否常常被以下问题困扰&#xff1f; 代码审查耗时太长&#xff0c;拖慢项目进度&#xff1f; 审查质量参差不齐&#xff0c;一些关键问题被遗漏&#xff1f; 复杂代码变更看不懂&#xff0c;审查者需要大量时间理解意图&#xff1f; 别担…...

编程日记 2024/12/21 5:58:27

Excel设置生日自动智能提醒，公式可直接套用！

大家好&#xff0c;我是小鱼。 今天跟大家分享一个WPS表格中根据出生日期&#xff0c;设置生日提醒&#xff0c;并且根据距离生日天数自动标记数据颜色。简单又实用&#xff0c;一个公式轻松搞定&#xff01; 接下来我们先学习一下需要使用到的函数&#xff0c;然后再根据实例让…...

编程日记 2024/12/21 5:57:26

同步异步日志系统：前置知识

一、日志项目的介绍 1.1 为什么要有日志系统 1、⽣产环境的产品为了保证其稳定性及安全性是不允许开发⼈员附加调试器去排查问题&#xff0c;可以借助日志系统来打印⼀些⽇志帮助开发⼈员解决问题 为什么不直接printf打印在屏幕上呢&#xff1f;&#xff1f;因为现实中没有…...

编程日记 2024/12/21 5:56:25

微服务设计原则——功能设计

文章目录 1.ID生成2.数值精度3.DB操作4.性能测试5.版本兼容5.1 向旧兼容5.2 向新兼容 6.异步时序问题7.并发问题7.1 并发时序7.2 并发数据竞争 参考文献 1.ID生成 在分布式系统中&#xff0c;生成全局唯一ID是非常重要的需求&#xff0c;因为需要确保不同节点、服务或实例在并…...

编程日记 2024/12/21 5:54:24

低代码软件搭建自学的第一天——熟悉PyQt

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 学习计划第 1 步&#xff1a;环境搭建1.1 安装 Python1.2 安装 PyQt安装命令&#xff1a;验证安装&#xff1a; 第 2 步&#xff1a;PyQt 基础知识2.1 创建第一个窗…...

编程日记 2024/12/21 5:52:22

KubeSphere 容器平台高可用：环境搭建与可视化操作指南

Linux_k8s篇 欢迎来到Linux的世界&#xff0c;看笔记好好学多敲多打&#xff0c;每个人都是大神&#xff01; 题目&#xff1a;KubeSphere 容器平台高可用&#xff1a;环境搭建与可视化操作指南 版本号: 1.0,0 作者: 老王要学习 日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

编程新知 2026/2/9 18:19:34

使用VSCode开发Django指南

使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架&#xff0c;专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用&#xff0c;其中包含三个使用通用基本模板的页面。在此…...

编程新知 2026/2/8 16:24:38

【人工智能】神经网络的优化器optimizer（二）：Adagrad自适应学习率优化器

一.自适应梯度算法Adagrad概述 Adagrad&#xff08;Adaptive Gradient Algorithm&#xff09;是一种自适应学习率的优化算法&#xff0c;由Duchi等人在2011年提出。其核心思想是针对不同参数自动调整学习率&#xff0c;适合处理稀疏数据和不同参数梯度差异较大的场景。Adagrad通…...

编程新知 2026/2/10 15:08:56

前端倒计时误差!

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

编程新知 2025/9/8 23:14:43

Mybatis逆向工程，动态创建实体类、条件扩展类、Mapper接口、Mapper.xml映射文件

今天呢&#xff0c;博主的学习进度也是步入了Java Mybatis 框架&#xff0c;目前正在逐步杨帆旗航。 那么接下来就给大家出一期有关 Mybatis 逆向工程的教学&#xff0c;希望能对大家有所帮助&#xff0c;也特别欢迎大家指点不足之处&#xff0c;小生很乐意接受正确的建议&…...

编程新知 2026/1/31 15:00:15

centos 7 部署awstats 网站访问检测

一、基础环境准备&#xff08;两种安装方式都要做&#xff09; bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2026/1/23 8:33:56

UDP(Echoserver)

网络命令 Ping 命令 检测网络是否连通 使用方法: ping -c 次数 网址ping -c 3 www.baidu.comnetstat 命令 netstat 是一个用来查看网络状态的重要工具. 语法&#xff1a;netstat [选项] 功能&#xff1a;查看网络状态 常用选项&#xff1a; n 拒绝显示别名&#…...

编程新知 2026/1/24 7:56:15

基于当前项目通过npm包形式暴露公共组件

1.package.sjon文件配置 其中xh-flowable就是暴露出去的npm包名 2.创建tpyes文件夹&#xff0c;并新增内容 3.创建package文件夹...

编程新知 2026/2/1 21:58:45

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2026/1/29 17:54:05

工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配

AI3D视觉的工业赋能者 迁移科技成立于2017年&#xff0c;作为行业领先的3D工业相机及视觉系统供应商&#xff0c;累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成&#xff0c;通过稳定、易用、高回报的AI3D视觉系统&#xff0c;为汽车、新能源、金属制造等行…...

编程新知 2025/11/25 4:59:47