Linux安装DMETL5与卸载

环境介绍

• 达梦数据交换平台（简称DMETL）是在总结了众多大数据项目经验和需求并结合最新的大数据发展趋势的基础上研发的具有自主版权的数据处理与集成平台。达梦数据交换平台创新地将传统的ETL工具（Extract、Transform、Loading）与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据交换共享的一站式支持，大幅度降低了用户使用各种平台进行大数据整合处理的技术门槛，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台。

• 安装顺序 ->调度器–>执行器—>管理器

• 安装环境

CPU	X86
OS	Linux
DM8	1-3-62-2023.09.27-203585-20067-SEC
DMETL5	V5.0.3.11-Build(2022.07.18-111696)

1 DM8数据库配置

1.1 DM8数据库安装

• DM8数据库安装 - - 点击跳转 看 1.3

1.2 初始化达梦数据库

[dmdba@localhost bin]$ ./dminit path=/opt/dmdba/dmdata page_size=32 extent_size=32 log_size=2048

1.3 创建DMETL使用的数据库用户

--将其中的 DMETL 替换为要创建的用户名即可
--用户默认密码： 用户名123456789
--通用机创建用户 DMETL
--创建用户默认表空间
CREATE TABLESPACE "DMETL01_DATA" 
DATAFILE 'DMETL_DATA_01.DBF' SIZE 1024 AUTOEXTEND ON NEXT 1024 MAXSIZE 409600, 'DMETL_DATA_02.DBF' SIZE 1024 AUTOEXTEND ON NEXT 1024 MAXSIZE 409600 CACHE = NORMAL;
--创建用户索引表空间
CREATE TABLESPACE "DMETL02_INDEX" DATAFILE 'DMETL_INDEX_01.DBF' SIZE 1024 AUTOEXTEND ON NEXT 1024 MAXSIZE 409600, 'DMETL_INDEX_02.DBF' SIZE 1024 AUTOEXTEND ON NEXT 1024 MAXSIZE 409600 CACHE = NORMAL;
--创建用户
CREATE USER "DMETL" IDENTIFIED BY "DMETL123456789" PASSWORD_POLICY 0
DEFAULT TABLESPACE "DMETL01_DATA"
DEFAULT INDEX TABLESPACE "DMETL02_INDEX";GRANT "DBA","PUBLIC","RESOURCE","SOI","SVI","VTI" TO "DMETL";-- 取消用户限制
--修改用户失败登录次数限制：
ALTER USER DMETL LIMIT FAILED_LOGIN_ATTEMPS UNLIMITED;--修改用户口令过期时间限制：
ALTER USER DMETL LIMIT PASSWORD_LIFE_TIME UNLIMITED; --修改用户口令锁定期限制：
ALTER USER DMETL LIMIT PASSWORD_LOCK_TIME UNLIMITED;

2 配置DMETL5

2.1 解压DMETL5安装包

[root@localhost ~]$ unzip dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std.zip
[root@localhost ~]$ ## 对文件解压后
[root@localhost ~]$ ll dmetl5_V5.03.11-Build\(2022.07.18-111696\)__Linux.x86_64_std
总用量 3151152
-rw-r--r-- 1 root root  566445839  7月 18  2022 dmetl5_manager_linux.x86_64.bin    ## 管理器
-rw-r--r-- 1 root root 2042148182  7月 18  2022 dmetl5_native_executor_linux.x86_64.bin    ## 执行器
-rw-r--r-- 1 root root  618174412  7月 18  2022 dmetl5_scheduler_linux.x86_64.bin    ## 调度器
-rw-r--r-- 1 root root        335  7月 19  2022 linux_MD5.txt
[root@localhost ~]$

2.2 安装调度器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_scheduler_linux.x86_64.bin -i
Extract install files.........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.免费试用达梦数据交换平台
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据交换平台]:
1
免费试用Key文件限制信息如下:
有效日期:2024-05-17
用户名称:试用用户
项目名称:未知
发布类型:试用版
版本类型:大数据版
最大执行器数:4
硬件ID:无限制
最大数据源数:无限制
最大并发流程数:无限制
1.标准版
2.自定义
安装类型[1.标准版]:
1
1.控制器
2.调度器
所需磁盘空间:1,084 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/scheduler
正在安装
正在创建快捷方式
安装成功
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:
2
1.DM7
2.DM6
3.DM8
4.Oracle8
5.Oracle9
6.Oracle10
7.Oracle11
8.Oracle12
9.SQLServer2000
10.SQLServer2005
11.SQLServer2008
12.MySQL3
13.MySQL4
14.MySQL5
15.MySQL6
数据库类型:[1.DM7]:
3
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]
n
数据库IP:[localhost]数据库端口:[5236]数据库名称:[默认]用户名:[SYSDBA]
DMETL
密码:
初始化元数据库[Y or N]:
N
控制器服务
服务名称:[Dmetl5ControllerService]:显示名称:[Controller_127.0.0.1_20231117]:管理器地址:[http://localhost:8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建控制器服务
调度器服务
服务名称:[Dmetl5SchedulerService]:显示名称:[Scheduler_127.0.0.1_20231117]:所属控制器名称:[Controller_127.0.0.1_20231117]:调度器端口:[1234]:管理器地址:[http://localhost:8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建调度器服务
达梦数据交换平台 V5.0调度器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/scheduler/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

2.3 安装执行器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_native_executor_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.标准版
2.自定义
安装类型[1.标准版]:
1
1.控制器
2.原生执行器
所需磁盘空间:2,455 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/executor
正在安装
正在创建快捷方式
安装成功
控制器服务
服务名称:[Dmetl5ControllerService]:显示名称:[Controller_127.0.0.1_20231117]:管理器地址:[http://localhost:8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建控制器服务
原生执行器服务
服务名称:[Dmetl5NativeExecutorService]:显示名称:[executor_native_127.0.0.1_20231117]:所属控制器名称:[Controller_127.0.0.1_20231117]:调度器地址:[localhost]:调度器端口:[1234]:最大并发运行流程数:[10]:开启文件权限控制,0为不开启,1为开启(注:若开启文件权限，需要配置native-executor.policy)[1]:0
1.自动
2.手动
启动方式:[2.手动]
1
正在创建原生执行器服务
达梦数据交换平台 V5.0执行器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/executor/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

2.4 安装管理器

[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_manager_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
2
1.管理器
所需磁盘空间:999 MB
配置jdk:
1.使用软件jdk
2.使用本机系统jdk
3.指定其他jdk
1
安装目录: [/opt/dmetl5]
/opt/dmdba/dmetl5/manager
正在安装
正在创建快捷方式
安装成功
配置管理器ini文件
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:
2
1.dm
2.oracle
3.sqlserver
4.mysql
数据库类型:[1.dm]:
1
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]
n
数据库IP:[localhost]数据库端口:[5236]数据库名称:[默认]用户名:[SYSDBA]
DMETL
密码:
管理器服务
服务名称:[Dmetl5ManagerService]:管理器端口[8080]:1.自动
2.手动
启动方式:[2.手动]
1
正在创建管理器服务
达梦数据交换平台 V5.0管理器 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmdba/dmetl5/manager/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#

2.5 启动dmetl5 调度器

/opt/dmdba/dmetl5/scheduler/scheduler/scheduler_service_restart.sh

2.6 启动dmetl5 执行器

/opt/dmdba/dmetl5/executor/executor_native/executor_native_service_restart.sh

2.7 启动dmetl5 管理器

/opt/dmdba/dmetl5/manager/manager/manager_service_restart.sh

2.8 查看dmetl5 全部进程

[root@localhost config]# ps -ef|grep dmetl
root       25915       1  0 09:30 ?        00:00:00 /opt/dmdba/dmetl5/scheduler/scheduler/../wrapper/wrapper /opt/dmdba/dmetl5/scheduler/scheduler/./scheduler_service.conf wrapper.syslog.ident=Dmetl5SchedulerService wrapper.pidfile=/opt/dmdba/dmetl5/scheduler/scheduler/./Dmetl5SchedulerService.pid wrapper.name=Dmetl5SchedulerService wrapper.displayname=Dmetl5SchedulerService wrapper.daemonize=TRUE wrapper.statusfile=/opt/dmdba/dmetl5/scheduler/scheduler/./Dmetl5SchedulerService.status wrapper.java.statusfile=/opt/dmdba/dmetl5/scheduler/scheduler/./Dmetl5SchedulerService.java.status wrapper.lockfile=/var/lock/subsys/Dmetl5SchedulerService wrapper.script.version=3.5.25
root       25917   25915  2 09:30 ?        00:00:04 /opt/dmdba/dmetl5/scheduler/jdk/bin/java -server -XX:-OmitStackTraceInFastThrow -XX:MaxGCPauseMillis=1000 -XX:+UseG1GC -XX:+UseStringDeduplication -DDRIVER_HOME=../drivers -Duser.timezone=GMT+8 -Djava.net.preferIPv4Stack=true -DGDM_HOME=.. -Xms256m -Xmx4096m -Djava.library.path=../wrapper -classpath ../wrapper/wrapper.jar:../scheduler/lib:../scheduler/dmetl-scheduler-server-5.0.0.jar -Dwrapper.key=A8kQzj-E08l6RegF -Dwrapper.port=32003 -Dwrapper.jvm.port.min=31000 -Dwrapper.jvm.port.max=31999 -Dwrapper.disable_console_input=TRUE -Dwrapper.pid=25915 -Dwrapper.version=3.5.25 -Dwrapper.native_library=wrapper -Dwrapper.arch=x86 -Dwrapper.service=TRUE -Dwrapper.cpu.timeout=10 -Dwrapper.jvmid=1 org.tanukisoftware.wrapper.WrapperStartStopApp com.dameng.etl.scheduler.Main 1 start com.dameng.etl.scheduler.Main true 1 stop
root       26054       1  0 09:30 ?        00:00:00 /opt/dmdba/dmetl5/executor/executor_native/../wrapper/wrapper /opt/dmdba/dmetl5/executor/executor_native/./executor_native_service.conf wrapper.syslog.ident=Dmetl5NativeExecutorService wrapper.pidfile=/opt/dmdba/dmetl5/executor/executor_native/./Dmetl5NativeExecutorService.pid wrapper.name=Dmetl5NativeExecutorService wrapper.displayname=Dmetl5NativeExecutorService wrapper.daemonize=TRUE wrapper.statusfile=/opt/dmdba/dmetl5/executor/executor_native/./Dmetl5NativeExecutorService.status wrapper.java.statusfile=/opt/dmdba/dmetl5/executor/executor_native/./Dmetl5NativeExecutorService.java.status wrapper.lockfile=/var/lock/subsys/Dmetl5NativeExecutorService wrapper.script.version=3.5.25
root       26056   26054 16 09:30 ?        00:00:27 /opt/dmdba/dmetl5/executor/jdk/bin/java -server -XX:-OmitStackTraceInFastThrow -XX:MaxGCPauseMillis=2000 -XX:+UseG1GC -XX:+UseStringDeduplication -DDRIVER_HOME=../drivers -Duser.timezone=GMT+8 -Djava.net.preferIPv4Stack=true -DGDM_HOME=.. -Djava.security.policy=../executor_native/config/native-executor.policy -Djava.io.tmpdir=../executor_native/temp -Xms256m -Xmx6144m -Djava.library.path=../dmbin -classpath ../wrapper/wrapper.jar:../executor_native/lib/dmetl-common-api-5.0.0.jar:../executor_native/lib:../executor_native/plugins:../executor_native/native-executor-osgi.jar -Dwrapper.key=9hRwp06B4_XJRfGe -Dwrapper.port=32004 -Dwrapper.jvm.port.min=31000 -Dwrapper.jvm.port.max=31999 -Dwrapper.disable_console_input=TRUE -Dwrapper.pid=26054 -Dwrapper.version=3.5.25 -Dwrapper.native_library=wrapper -Dwrapper.arch=x86 -Dwrapper.service=TRUE -Dwrapper.cpu.timeout=10 -Dwrapper.jvmid=1 org.tanukisoftware.wrapper.WrapperStartStopApp com.dameng.etl.equinox.Main 1 ../executor_native com.dameng.etl.equinox.Main true 2 stop ../executor_native
root       26211       1  0 09:31 ?        00:00:00 /opt/dmdba/dmetl5/manager/manager/../wrapper/wrapper /opt/dmdba/dmetl5/manager/manager/./manager_service.conf wrapper.syslog.ident=Dmetl5ManagerService wrapper.pidfile=/opt/dmdba/dmetl5/manager/manager/./Dmetl5ManagerService.pid wrapper.name=Dmetl5ManagerService wrapper.displayname=Dmetl5ManagerService wrapper.daemonize=TRUE wrapper.statusfile=/opt/dmdba/dmetl5/manager/manager/./Dmetl5ManagerService.status wrapper.java.statusfile=/opt/dmdba/dmetl5/manager/manager/./Dmetl5ManagerService.java.status wrapper.lockfile=/var/lock/subsys/Dmetl5ManagerService wrapper.script.version=3.5.25
root       26213   26211 28 09:31 ?        00:00:39 /opt/dmdba/dmetl5/manager/jdk/bin/java -server -XX:-OmitStackTraceInFastThrow -XX:MaxGCPauseMillis=1000 -XX:+UseG1GC -XX:+UseStringDeduplication -DDRIVER_HOME=../drivers -Duser.timezone=GMT+8 -Djava.net.preferIPv4Stack=true -DGDM_HOME=.. -Xms256m -Xmx6144m -Djava.library.path=../wrapper -classpath ../wrapper/wrapper.jar:../manager/lib:../manager/plugins:../manager/dropins:../manager/osgi-equinox-manager.jar -Dwrapper.key=D-1gOB9xScLVcpqY -Dwrapper.port=32000 -Dwrapper.jvm.port.min=31000 -Dwrapper.jvm.port.max=31999 -Dwrapper.disable_console_input=TRUE -Dwrapper.pid=26211 -Dwrapper.version=3.5.25 -Dwrapper.native_library=wrapper -Dwrapper.arch=x86 -Dwrapper.service=TRUE -Dwrapper.cpu.timeout=10 -Dwrapper.jvmid=1 org.tanukisoftware.wrapper.WrapperStartStopApp com.dameng.etl.equinox.Main 1 ../manager com.dameng.etl.equinox.Main true 1 stop
root       26361   24891  0 09:33 pts/2    00:00:00 grep dmetl
[root@localhost config]#

2.9 dmetl5 进入web管理端

http://192.168.100.192:8080

• 用户名/密码
• admin/admin

3 DMETL5 卸载

3.1 关闭DMETL全部服务

pkill -9 -f dmetl

3.2 卸载管理器

[root@localhost manager]# ./uninst.sh -i
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=64m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=192m; support was removed in 8.0
组件卸载
1.管理器
输入选择卸载组件的序号，以','分隔:
1
1.管理器
1.确认卸载
2.中止卸载
请选择:
1
1.确认卸载
2.中止卸载
请选择:
正在检测安装环境...
正在整理安装信息...
删除快捷方式...
删除系统服务...
卸载完成[root@localhost manager]#

3.3 卸载执行器

[root@localhost native_executor]# ./uninst.sh -i
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=64m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=192m; support was removed in 8.0
组件卸载
1.控制器
2.原生执行器
输入选择卸载组件的序号，以','分隔:
1,2
1.控制器
2.原生执行器
1.确认卸载
2.中止卸载
请选择:
1
1.确认卸载
2.中止卸载
请选择:
正在检测安装环境...
正在整理安装信息...
删除快捷方式...
删除系统服务...
卸载完成[root@localhost native_executor]#

3.4 卸载调度器

[root@localhost scheduler]# ./uninst.sh -i
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=64m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=192m; support was removed in 8.0
组件卸载
1.控制器
2.调度器
输入选择卸载组件的序号，以','分隔:
1,2
1.控制器
2.调度器
1.确认卸载
2.中止卸载
请选择:
1
是否保留内置元数据库信息?
1.是
2.否
请选择:
2
正在检测安装环境...
正在整理安装信息...
删除快捷方式...
删除系统服务...
卸载完成
[root@localhost scheduler]#

4 删除数据库DMETL用户

--删除数据库DMETL用户
drop user "DMETL";
--删除数据库DMETL用户的表空间
drop tablespace "DMETL01_DATA";
drop tablespace "DMETL02_INDEX";

5 达梦数据库学习使用列表

• 达梦数据库学习使用列表 - - 点击跳转