从0到1快速入门ETLCloud

一、ETLCloud的介绍

ETL是将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程，目的是将企业中的分散、凌乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI（Business Intelligence）项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间，ETL设计的好坏直接关接到BI项目的成败。

ETLCloud数据集成平台是一款针对IT以及数据工程师推出的全域数据集成平台产品。它是集实时数据集成和离线数据集成以及API发布为一体的数据集成平台。

与其他开源数据集成工具相比，ETLCloud采用轻量化架构、具有更快的部署速度、更快的数据传输速度、更低的运维成本，同时支持多租户的团队协作能力，能够满足企业各种复杂的数据处理需求。

二、ETLCloud的优势

简洁易用的操作界面

用户可以通过基于 Web 的界面完成所有的操作，只需从左侧的组件区域拖动相应的组件即可创建流程。此外，左侧的组件区域支持自定义开发和扩展，以满足不同的业务需求。

 

ETL应用监控首页

用户根据自己的业务需求去创建并设计流程

丰富的数据源读写支持

ETLCloud提供对100多种SQL和NOSQL数据库的读写支持，使得企业可以轻松地对接内部多种数据源。此外，ETLCloud还支持自定义扩展数据源，以满足不同业务需求的数据读写操作。

ETLCloud支持国内主流的国产数据库数据的读写操作，例如达梦、阿里OB、华为高斯DB、人大金仓、南大通用、Doris、TiDB等等。此外，ETLCloud还支持信创环境的安装，方便用户快速搭建数据处理平台。

 

1000+数据处理组件和1500+数据管道模板

ETLCloud采用了一种创新的基于平台底座的理念。它通过将组件和平台进行分离，用户可以在ETLCloud网站上自行下载和安装所需的组件，而无需升级整个底座版本。这样用户就可以通过不断升级组件来增强数据集成平台的处理能力。同时，ETLCloud还开发了适用于主流SaaS和应用系统的对接组件，用户只需简单点击几下即可完成将主流应用系统中的数据拉取并传输到数据仓库中。这样，用户可以轻松实现应用数据的采集和推送，无需编写任何代码。

 

 

运维难度和成本低

对于大数据的运维人员来说，他们非常关注任务的准时运行和成功运行。ETLCloud提供了消息通知功能，可以在任务成功或失败时通过自定义的方式实时通知运维人员，以确保他们能够第一时间了解任务的运行情况。用户可以根据自己的需求选择邮件、短信、企业微信、钉钉等不同的通知方式。这样，无论是任务按时运行还是出现异常，运维人员都能够及时收到通知，从而能够及时采取措施来处理问题。ETLCloud的消息通知功能为大数据任务的监控和管理提供了便利和高效性。

 

支持CDC实时数据同步

ETLCloud支持CDC实时数据同步能力，通过开启数据库的日志，实现实时数据的监听传输，整个步骤只需要通过简单的配置即可快速完成。另外还支持kafka、各种MQ消息的监听以及推送。

 

三、基本操作演示

如何流程设计（我们将已使用场景最多的基本流程进行讲解，即数据输入和输出）

点击离线数据流程->创建应用->新增流程

 

 

进入流程设计页面

 

可以看到操作界面非常简单易懂，首先需要两个必要节点，即开始和结束节点，这在通用组件可以找到。

通过拖拉拽的形式来将这些组件进行连接，双击连接的路由可以查看和设置路由属性，每个属性都有相关的讲解，所以不用担心不会选择。

 

双击组件可以对组件进行相关的配置，同样的每个属性都有相关的讲解，怎么去学习组件的使用我们待会讲解。

 

流程设计完成后，点击上面的菜单栏，保存、运行即可，当然上面还有其他的操作。

 

点击运行即可

 

那么简单的流程设计就完成了，如果流程执行失败可以查看调用日志来排查问题。

数据源管理可以对数据来源进行管理，这里支持非常多的数据库。

点击新建数据源，选择需要的数据库填写相关配置即可，填写后可以点击测试连接。

 

 

四、如何快速解决问题

1、学会使用帮助文档 RestCloud 数据集成平台 (etlcloud.cn)

帮助文档中包含了所有基本组件的使用，组件的下载安装，以及常见的问题，正确的使用和关注文档更新内容可以快速解决疑问。

 

2、加入ETLCloud的社区，里面有很多专业的工作人员全程免费提供解答服务，里面也有很多小伙伴一起学习交流。

3、加入论坛社区，遇到不懂的问题可以发帖询问，会有专业人士去解答。