DataX和dataX-web 集群部署及使用

📑 DataX和dataX-web 集群部署及使用

一 . 安装前准备

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX 采用 框架 + 插件 的模式：

• 插件只需关心数据的读取或者写入本身
• 同步时的共性问题，如 类型转换，性能，统计 由框架来处理

开发插件时 只需要关注两个问题:

• 数据源本身读写的数据正确性
• 如何与框架沟通，合理正确地使用框架

逻辑执行模型：

• Job：是DataX描述一个源头到一个目的端的同步作业，是DataX数据同步的最小业务单元。如将一张mysql表同步到odps一个表的分区
• Task：是Job拆分得到的最小执行单元。如在同步一张1024哥分表的mysql分库分表的Job时，就可拆分成1024个读Task并发执行
• TaskGroup：一组Task集合，在同一个TaskGroupContainer执行下的Task集合
• JobContainer：Job执行器，负责job全局拆分，调度，前置语句和后置语句等工作的工作单元。类似Yarn中的JobTracker 调度Job的每一个子任务task运行于TaskTracker上
• TaskGroupContainer：TaskGroup的执行器，负责一组Task的工作单元。类似Yarn中的TaskTrackerTaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。

框架为插件提供物理上的执行能力（线程）。框架有三种运行模式

• Standalone：单线程运行，没有外部依赖
• Local：单线程运行，统计信息，错误信息汇报到集中存储
• Distributed：分布式多线程运行，依赖 DataX Service 服务

当 JobContainer和TaskGroupContainer 运行在同一个进程内时，就是单机模式（Standalone和local）；当他们分布在不同的进程中执行就是分布式（distributed）

datax-web 集群部署时单独起某一个功能 ./bin/start.sh -m datax-executor

datax二次开发

datax源码学习

datax二次开发打包

dataX、dataX-web安装部署 dataX集群模式

二 . 配置datax和datax-web

1 安装dataX

使用源码自定义打包

链接 datax 源码

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

路径在 /target/datax/datax/ 下面

(需要python环境及maven环境)

#测试命令
python bin/datax.py job/job.json 

ps.如果是自己新增插件 需要修改项目中的 package.xml 、pom.xml

2 安装datax-web

https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md

datax-web集群部署 一个datax-web和多个datax-executor。确认datax安装的路径都是一样

启动datax-executor命令

./bin/stop.sh -m datax-executor

通过 module 下的 bin 下的日志能查到日志文件

1、通过界面的执行器管理能查到

2、data-web使用

data-web 的任务构建是负责自动生成dataX用的json文件，如果已经有json文件 就不需要使用。

3、data-web简要使用

• 新建项目管理

• 查看执行器管理
  

• 新建 任务管理
  

• 执行任务、查看日志

4、报错小记

在读mysql报错

在jdbc url增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSL=false来显式禁用SSL

jdbc:mysql://hostname:port/tsp-cloud?useSSL=false&useUnicode=true&characterEncoding=utf8

rl增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSL=false来显式禁用SSL

jdbc:mysql://hostname:port/tsp-cloud?useSSL=false&useUnicode=true&characterEncoding=utf8