当前位置： 首页 > news >正文

全域数据集成平台ETL

news 文章来源：https://blog.csdn.net/weixin_56770318/article/details/144609909 2025/5/1 5:07:05

全域数据集成平台ETL

Restcloud 工作原理

RestCloud数据集成平台采用SpringCloud微服务架构技术开发，底层基于纯Java语言采用前后端分离架构，前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流+工作流引擎的架构进行研发的，底层设计了一个专门为数据处理任务流而研发的工作流引擎用以支撑任意复杂的数据流处理包括：串行、同步并行、异步并行、同步子流程、异步子流程、事务控制、循环任务执行、多流合并、数据折分、数据流复制等，而不是基于DAG这种简单的有向无环图的数据流程处理逻辑，得益于我们在工作流上面积累的优势我们不但可以做DAG这种简单的依赖任务处理还可以做复杂的多层任务调度能力，企业可以把数据处理任务分为原子层、逻辑组合层、调度层等方式来组合企业的复杂任务调度需求，可以把一个复杂的数据集成流程拆分成多个可复用的子任务来进行调度。

在RestCloud数据集成平台中数据作为流在多个节点中进行流动、数据可以穿透多个节点以及子任务，这样数据流可以被多个节点以及任务中被访问到，以实现数据复用和分发。 为了保障系统的任务调度的稳定性我们做了大量的工作以及尝试，目前在产品中已经支持了多种调度模式包括：队列模式、主备模式、调度机模式等等目的都是为了保障任务能够被准时执行，同时在任务失败时提供了自动重跑、断点重跑、重跑指定节点、重跑所有下游节点的能力。

请添加图片描述

ETL数据同步CDC实时数据集成操作手册

1.创建数据源

请添加图片描述

2.选择新建数据源

请添加图片描述

3.创建离线数据集成

请添加图片描述

4.新建应用

请添加图片描述

5.新建流程进行流程设计

请添加图片描述

6.新建流程步骤

请添加图片描述

7.同步到Doris的离线流程设计

请添加图片描述

8.实时输入流配置

请添加图片描述

9.实时输入流字段来源

请添加图片描述

10.字段映射配置

请添加图片描述

11.字段映射，一一对应

请添加图片描述

12.数据过滤器配置

请添加图片描述

13.数据过滤器的过滤条件

请添加图片描述

14.Doris快速输出配置

请添加图片描述

15.Doris快速输出字段需要重新读取

请添加图片描述

16.配置实时数据集成

请添加图片描述

17.新建监听器

请添加图片描述

18.监听器配置

请添加图片描述

19.接收端配置

请添加图片描述

20.开启全量+增量/增量模式

请添加图片描述

21.一个监听器监听多张表配置

现场的ETL工具是否使用监听多表视情况而定

由于目前社区版是有限制的，流程数量+监听器数量<=30,如果单独使用一张表一个监听器一个流程，就是资源浪费

看现场具体情况，如果一些不是经常操作（新增，修改，删除）的表可以将这些表放到同一个流程里面，只需要一个监听器一个流程就可以达到效果

当一个流程内表的操作比较频繁，可能会造成数据堵塞，状态一直处于运行中，丢失数据，可以在流程上方的流程属性中增加并发数，注意并发数不能过多（消耗CPU）

创建多表离线流程

请添加图片描述

配置开始处的分支流程线

请添加图片描述

新建多表监听器请添加图片描述

相关文章：

全域数据集成平台ETL

全域数据集成平台ETL Restcloud 工作原理 RestCloud数据集成平台采用SpringCloud微服务架构技术开发&#xff0c;底层基于纯Java语言采用前后端分离架构&#xff0c;前端采用React技术进行开发。 RestCloud数据集成平台是基于数据流工作流引擎的架构进行研发的&#xff0c;底…...

编程日记 2024/12/21 6:24:57

海外储能电站双向计量表功能参数介绍

摘要 随着全球能源结构的转型和储能技术的发展&#xff0c;对于电力系统的监控和管理提出了更高的要求。ADL3000-E-B 导轨式多功能电能表&#xff0c;由安科瑞电气股份有限公司研发&#xff0c;是一款为电力系统、工矿企业、公用设施设计的智能仪表。本文将从海外储能背景出发…...

编程日记 2024/12/21 6:23:56

javase-15、正则表达式

一、初识正则表达式 1、概念 正则表达式是对字符串操作的一种逻辑公式&#xff0c;它会将事先定义好的一些特定字符&#xff0c;以及这些特定字符的组合&#xff0c;组成一个规则字符串&#xff0c;并且通过这个规则字符串表达对给定字符串的过滤逻辑。 一条正则表达式也称为…...

编程日记 2024/12/21 6:22:55

【SpringSecurity】SpringSecurity+JWT实现登录

1. SpringSecurity介绍 Spring Security 是一个功能强大且高度可定制的身份验证和访问控制框架。它是为Java应用程序设计的&#xff0c;特别是那些基于Spring的应用程序。Spring Security是一个社区驱动的开源项目&#xff0c;它提供了全面的安全性解决方案&#xff0c;包括防…...

编程日记 2024/12/21 6:18:52

jmeter连接mysql

查询mysql数据库版本 SELECT VERSION(); 下载jmeter mysql 驱动jar包&#xff0c;版本低于mysql版本&#xff0c;放在jmeter的lib 路径下 MySQL :: Download MySQL Connector/J (Archived Versions) 添加JDBC Connection Configuration 填写 variable name 及数据库信息 注意…...

编程日记 2024/12/21 6:17:50

图书馆管理系统（三）基于jquery、ajax

任务3.4 借书还书页面 任务描述 这部分主要是制作借书还书的界面&#xff0c;这里我分别制作了两个网页分别用来借书和还书。此页面&#xff0c;也是通过获取books.txt内容然后添加到表格中&#xff0c;但是借还的操作没有添加到后端中去&#xff0c;只是一个简单的前端操作。…...

编程日记 2024/12/21 6:16:49

Nginx Location 配置块全解析与示例

Nginx Location 配置块全解析与示例 摘要&#xff1a; 本文深入探讨了 Nginx 中 location 配置块的功能、语法规则以及多种实际应用场景下的配置示例&#xff0c;旨在帮助读者全面理解并熟练掌握 location 配置块&#xff0c;以便在 Nginx 服务器配置中灵活运用&#xff0c;实…...

编程日记 2024/12/21 6:14:48

javalock（八）ReentrantReadWriteLock

ReentrantReadWriteLock: 同时实现了共享锁和排它锁。内部有一个sync&#xff0c;同时实现了tryAcquire/tryReleases、tryAcquireShared/tryReleasesShared&#xff0c;一共四个函数&#xff0c;然后ReentrantReadWriteLock内部还实现了一个ReadLock和一个WriteLock&#xff0c…...

编程日记 2024/12/21 6:12:46

反射和设计模式

一、反射 1. 相关概念 (1) 类的对象&#xff1a;基于定义好的一个类&#xff0c;创建该类的实例&#xff0c;即利用 new 创建的实例就为类的对象。 (2) 类对象&#xff1a;类加载的产物&#xff0c;封装了一个类的所有信息 ( 包名、类名、父类、接口、属性、方法、构造方…...

编程日记 2024/12/21 6:11:46

双指针---和为s的两个数字

这里写自定义目录标题 题目链接问题分析代码解决执行用时 题目链接 购物车内的商品价格按照升序记录于数组 price。请在购物车中找到两个商品的价格总和刚好是 target。若存在多种情况&#xff0c;返回任一结果即可。 问题分析 暴⼒解法&#xff0c;会超时 &#xff08;两层…...

编程日记 2024/12/21 6:09:40

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct

环境安装 git clone https://gitcode.com/gh_mirrors/ll/LLaMA-Factory.git 下载模型 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct 微调 llamafactory-cli train \--st…...

编程日记 2024/12/21 6:06:38

智慧农业云平台与水肥一体化：道品科技引领农业现代化新潮流

在当今科技飞速发展的时代&#xff0c;农业也正经历着一场深刻的变革。智慧农业云平台和水肥一体化技术的出现&#xff0c;为农业生产带来了前所未有的机遇和挑战。 一、智慧农业云平台&#xff1a;农业生产的 “智慧大脑” 智慧农业云平台就像是农业生产的 “智慧大脑”&…...

编程日记 2024/12/21 6:05:37

241207_MindNLP中的大模型微调

241207_基于MindNLP的大模型高效微调 现在的大模型体量非常庞大&#xff0c;全量微调所需要的算力也特别庞大&#xff0c;个人开发者没有条件微调。参数量达到7B的模型才刚刚有涌现能力&#xff0c;但是我们要微调7B的模型的话&#xff0c;就需要328G的显存&#xff0c;至少需…...

编程日记 2024/12/21 6:04:35

MongoDB、Mongoose使用教程

文章目录 一&#xff1a;MongoDB 简介1.1 什么是 MongoDB1.2 特点1.3 与关系数据库的区别&#xff1a;1.4 资源链接&#xff1a; 二&#xff1a;安装 MongoDB2.1 安装前的准备2.2 安装、启动 MongoDB2.3 创建用户 MongoDB 三、连接四&#xff1a;MongoDB 基础操作4.1 库操作&am…...

编程日记 2024/12/21 6:00:30

单片机：实现控制步进电机正反转（附带源码）

1. 步进电机概述 步进电机&#xff08;Step Motor&#xff09;是一种能够将电能转换为机械能的电动机。其独特之处在于能够精确地控制转动角度&#xff0c;因此被广泛应用于需要精确控制的场合&#xff0c;如打印机、机器人、数控机床、自动化设备等。 步进电机的转动是以“步…...

编程日记 2024/12/21 5:59:28

安装指南｜OpenCSG Starship上架GitHub Marketplace

在代码开发的日常中&#xff0c;你是否常常被以下问题困扰&#xff1f; 代码审查耗时太长&#xff0c;拖慢项目进度&#xff1f; 审查质量参差不齐&#xff0c;一些关键问题被遗漏&#xff1f; 复杂代码变更看不懂&#xff0c;审查者需要大量时间理解意图&#xff1f; 别担…...

编程日记 2024/12/21 5:58:27

Excel设置生日自动智能提醒，公式可直接套用！

大家好&#xff0c;我是小鱼。 今天跟大家分享一个WPS表格中根据出生日期&#xff0c;设置生日提醒&#xff0c;并且根据距离生日天数自动标记数据颜色。简单又实用&#xff0c;一个公式轻松搞定&#xff01; 接下来我们先学习一下需要使用到的函数&#xff0c;然后再根据实例让…...

编程日记 2024/12/21 5:57:26

同步异步日志系统：前置知识

一、日志项目的介绍 1.1 为什么要有日志系统 1、⽣产环境的产品为了保证其稳定性及安全性是不允许开发⼈员附加调试器去排查问题&#xff0c;可以借助日志系统来打印⼀些⽇志帮助开发⼈员解决问题 为什么不直接printf打印在屏幕上呢&#xff1f;&#xff1f;因为现实中没有…...

编程日记 2024/12/21 5:56:25

微服务设计原则——功能设计

文章目录 1.ID生成2.数值精度3.DB操作4.性能测试5.版本兼容5.1 向旧兼容5.2 向新兼容 6.异步时序问题7.并发问题7.1 并发时序7.2 并发数据竞争 参考文献 1.ID生成 在分布式系统中&#xff0c;生成全局唯一ID是非常重要的需求&#xff0c;因为需要确保不同节点、服务或实例在并…...

编程日记 2024/12/21 5:54:24

低代码软件搭建自学的第一天——熟悉PyQt

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 学习计划第 1 步&#xff1a;环境搭建1.1 安装 Python1.2 安装 PyQt安装命令&#xff1a;验证安装&#xff1a; 第 2 步&#xff1a;PyQt 基础知识2.1 创建第一个窗…...

编程日记 2024/12/21 5:52:22

基于Python3编写的Golang程序多平台交叉编译自动化脚本

import argparse import os import shutil import sys from shutil import copy2from loguru import loggerclass GoBuild:"""一个用于构建跨平台执行文件的类。初始化函数&#xff0c;设置构建的主文件、生成的执行文件名称以及目标平台。:param f: 需要构建的…...

编程日记 2024/12/21 5:51:21

远程桌面连接

电脑A&#xff1a;使用机 电脑B&#xff1a;被控制的另一个 方法1&#xff1a; 在电脑B上操作 ①winr输入cmd进入命令行窗口&#xff0c;输入ipconfig查询本机地址 ②我的电脑/此电脑 右键点击“属性” ③选择屏幕右边“远程桌面” ④打开“启用远程桌面” ⑤打开设置&am…...

编程日记 2024/12/21 5:50:20

网络地址转换NAT

NAT(Network Address Translation) 方法于1994年提出。需要在专用网连接到因特网的路由器上安装NAT软件。装有NAT软件的路由器叫做NAT路由器&#xff0c;它至少有一个有效的外部全球地址IPG。 所有使用本地地址的主机在和外界通信时都要在NAT路由器上将其本地地址转换成外部全球…...

编程日记 2024/12/21 5:48:18

什么是CRM管理软件？CRM的基本概念、功能、选择标准、应用场景

什么是CRM管理软件&#xff1f; 嘿&#xff0c;大家好&#xff01;今天咱们聊聊一个在现代企业管理中非常重要的工具——CRM管理软件。CRM是Customer Relationship Management&#xff08;客户关系管理&#xff09;的缩写&#xff0c;简单来说&#xff0c;它就是一个帮助企业和…...

编程日记 2024/12/21 5:45:16

Python编程常用的19个经典案例

Python 的简洁和强大使其成为许多开发者的首选语言。本文将介绍36个常用的Python经典代码案例。这些示例覆盖了基础语法、常见任务、以及一些高级功能。 1. 列表推导式 fizz_buzz_list ["FizzBuzz" if i % 15 0 else "Fizz" if i % 3 0 else "Buzz…...

编程日记 2024/12/21 5:44:15

【Unity基础】AudioSource 常用方法总结

在 Unity 中&#xff0c;AudioSource 组件用于控制音频的播放和管理。以下是常用的 AudioSource 控制方法及其说明。 1. 播放和暂停音频 Play()&#xff1a;开始播放音频&#xff0c;如果是从暂停的地方继续播放&#xff0c;可以直接调用。Pause()&#xff1a;暂停当前播放的…...

编程日记 2024/12/21 5:42:12

CSS系列（25）-- 滚动优化详解

前端技术探索系列&#xff1a;CSS 滚动优化详解 &#x1f4dc; 致读者&#xff1a;探索流畅滚动的艺术 &#x1f44b; 前端开发者们&#xff0c; 今天我们将深入探讨 CSS 滚动优化&#xff0c;学习如何创建流畅、高性能的滚动体验。 平滑滚动 &#x1f680; 基础设置 /* …...

编程日记 2024/12/21 5:38:08

CST天线设计的六大核心特点：为天线分析提供完整解决方案！

CST Studio Suite 为天线设计提供了从最初的概念评估到最终的合规性测试所需的所有功能&#xff0c;确保天线设计在各种环境下实现稳定通信。这一套工具覆盖了所有重要的设计阶段&#xff0c;帮助设计师顺利完成从概念到成品的全过程。 下面我们来看一看CST电磁仿真中天线设计…...

编程日记 2024/12/21 5:37:07

Ubuntu下C语言操作kafka示例

目录 安装kafka&#xff1a; 安装librdkafka consumer Producer 测试运行 安装kafka&#xff1a; Ubuntu下Kafka安装及使用_ubuntu安装kafka-CSDN博客 安装librdkafka github地址&#xff1a;GitHub - confluentinc/librdkafka: The Apache Kafka C/C library $ apt in…...

编程日记 2024/12/21 5:36:07

怎么将pdf中的某一个提取出来？介绍几种提取PDF中页面的方法

怎么将pdf中的某一个提取出来&#xff1f;传统上&#xff0c;我们可能通过手动截取屏幕或使用PDF阅读器的复制功能来提取信息&#xff0c;但这种方法往往不够精确&#xff0c;且无法保留原文档的排版和格式。此外&#xff0c;很多时候我们需要提取的内容可能涉及多个页面、多个…...

编程日记 2024/12/21 5:35:05