Doris（2）：Doris编译部署

1 Doris编译

Apache Doris提供直接可以部署的版本压缩包：https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5

也可以自行编译压缩包后使用（推荐）

1.1 使用 Docker 开发镜像编译（推荐）

这个是官方文档推荐的，可以非常方便顺利的编译源码，如果需要快速部署的，可以使用这种方式。这种方式的优点就是不用配置环境变量，也不用考虑各种版本问题，进入开发镜像系统后直接下载 doris 源码编译即可。

首先需要安装 Docker，Docker 在 Linux 下安装比较简单，这里不做介绍。

启动了 Docker 服务（systemctl status docker）以后，我们直接拉取镜像，开始编译 Doris。

下载Doris镜像

拉取Doris官方提供的Docker镜像，目前可用版本有：build-env、build-env-1.1、build-env-1.2

docker pull apache/doris:build-env-for-0.15.0

查看Docker镜像

docker images

注意：

针对不同的 Doris 版本，需要下载对应的镜像版本。从 Apache Doris 0.15 版本起，后续镜像版本号将与 Doris 版本号统一。

运行镜像

将容器中的maven下载的包保存到宿主机本地指定的文件中，避免重复下载，同时会将编译的Doris文件保存到宿主机本地指定的文件，方便部署

docker run -it -v /u01/.m2:/root/.m2 -v /u01/incubator-doris-DORIS-0.15-release/:/root/incubator-doris-DORIS-0.15-release/ apache/doris:build-env-for-0.15.0

开启之后, 就在容器内了

下载Doris的安装包

进入docker容器

cd /optwget https://mirrors.tuna.tsinghua.edu.cn/apache/doris/0.15.0-incubating/apache-doris-0.15.0-incubating-src.tar.gz

解压安装

tar -zxvf  apache-doris-0.15.0-incubating-src.tar.gz

开始编译

cd apache-doris-0.15.0-incubating-src
sh build.sh

注意：编译使用的jdk版本需要与部署环境的相同，不然会报异常

编译后导出到服务器

编译后文件在output目录中

#docker cp 容器:docker路径   本地路径
docker cp mystifying_swanson:/opt/apache-doris-0.15.0-incubating-src/output   /home/

2 安装部署

Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，我们建议 Doris 的部署遵循以下需求：

• Linux 操作系统版本需求

Linux系统	版本
Centos	7.1及以上
Ubuntu	16.04及以上

• 软件需求

软件	版本
Java	1.8及以上
GCC	7.3及以上

• 开发测试环境

模块	CPU	内存	磁盘	网络	实例数量
Frontend	8核+	8GB+	SSD 或 SATA，10GB+ *	千兆网卡	1
Backend	8核+	16GB+	SSD 或 SATA，50GB+ *	千兆网卡	1-3 *

• 生产环境

模块	CPU	内存	磁盘	网络	实例数量
Frontend	16核+	64GB+	SSD 或 RAID，100GB+ *	万兆网卡	1-5 *
Backend	16核+	64GB+	SSD 或 SATA，100GB+ *	万兆网卡	10-100 *

注意：

• FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
• BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
• 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）
• 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。
• 所有部署节点关闭 Swap。

注意：FE节点的数量

• FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower，具体含义见 元数据设计文档）。
• FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
• Follower 的数量必须为奇数，Observer 数量随意。
• 根据以往经验，当集群可用性要求很高是（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

        通常我们建议 10 ~ 100 台左右的机器，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）

        当然，Doris的性能与节点数量及配置正相关。在最少4台机器（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的情况下，依然可以平稳的运行 Doris。

        如果 FE 和 BE 混部，需注意资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。

• Broker 部署

       Broker 是用于访问外部数据源（如 hdfs）的进程。通常，在每台机器上部署一个 broker 实例即可。

• 网络需求

        Doris 各个实例直接通过网络进行通讯。以下表格展示了所有需要的端口

注意：

• 当部署多个 FE 实例时，要保证 FE 的 http_port 配置相同。
• 部署前请确保各个端口在应有方向上的访问权限

3 资源规划

node1	node2	node3
FE（Leader）	FE（Follower）	FE（Follower）
BE	BE	BE
BROKER	BROKER	BROKER

注意：因测试环境资源有限，FE和BE节点部署在相同服务器，生产环境建议分开

4 启动FE

4.1 配置环境变量

（1）拷贝 FE 部署文件到指定节点（node1）

将源码编译生成的 output 的fe文件夹拷贝到 FE 的节点/opt/apache-doris-0.15.0（路径自行选择）路径下

cp -r fe /opt/apache-doris-0.15.0/

（2）配置环境变量

vim /etc/profile

#DORIS_HOME
export DORIS_HOME=/opt/apache-doris-0.15.0
export PATH=:$DORIS_HOME/bin:$PATH

重新加载环境变量：

source /etc/profile

4.2 创建doris-mate

配置文件为 fe/conf/fe.conf。其中注意：meta_dir：元数据存放位置。默认在 fe/doris-meta/ 下。

需手动创建该目录

mkdir -p /opt/apache-doris-0.15.0/fe/doris-meta

配置fe/conf/fe.conf配置文件

vim conf/fe.confmeta_dir = /opt/apache-doris-0.15.0/fe/doris-meta

4.3 修改fe.conf中的JAVA_OPTS

fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上

4.4 修改ip绑定（可选）

如果机器有多个ip, 比如内网外网, 虚拟机docker等, 需要进行ip绑定, 以便在配置集群时可以正确识别

修改fe服务的配置文件（ip地址根据环境实际ip进行修改）

vim /opt/apache-doris-0.15.0/fe/conf/fe.confpriority_networks = 192.168.222.0/24

4.5 将安装目录分发到另外两台节点

scp -r /opt/apache-doris-0.15.0/ 192.168.222.144:/opt/scp -r /opt/apache-doris-0.15.0/ 192.168.222.145:/opt/

4.6 启动FE

三台机器分别启动

sh /opt/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon

日志默认存放在 fe/log/ 目录下

5 配置BE

5.1 配置be节点

拷贝BE部署文件到指定节点（node1）

将源码编译生成的 output 下的 be 文件夹拷贝到 BE 的节点/opt/apache-doris-0.15.0路径下

cp -r be /opt/apache-doris-0.15.0/

5.2 创建storage_root_path, 并配置be.conf

配置文件为 be/conf/be.conf。主要是配置 storage_root_path：数据存放目录。默认在be/storage下，需要手动创建该目录。多个路径之间使用 ; 分隔（最后一个目录后不要加 ;）

mkdir -p /opt/apache-doris-0.15.0/be/storage1 /opt/apache-doris-0.15.0/be/storage2

进入be下修改be.conf配置文件

vim conf/be.conf storage_root_path = /opt/apache-doris-0.15.0/be/storage1,10;/opt/apache-doris-0.15.0/be/storage2

6 添加BE

6.1使用mysql连接

删除操作系统自带的mysql库文件（node1）

rpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64

安装mysql-client

下载mysql-client的rpm上传到服务器节点/opt/mysql-client，当然也可以用yum命令安装

进入/opt/mysql-client进行安装

rpm -ivh *

连接node1服务器上的mysql实例（默认端口9030，默认没有密码）

mysql -uroot -h 192.168.222.143 -P 9030

登陆后，可以通过以下命令修改 root 密码

SET PASSWORD FOR 'root' = PASSWORD('123456');

使用Navicat客户端登录

6.2 添加be

BE 节点需要先在 FE 中添加，才可加入集群（node1）

mysql -uroot -h 192.168.222.143 -P 9030 -p输入密码：123456

登录后添加BE节点port为be上的heartbeat_service_port端口，默认9050

ALTER SYSTEM ADD BACKEND "192.168.222.143:9050";ALTER SYSTEM ADD BACKEND "192.168.222.144:9050";ALTER SYSTEM ADD BACKEND "192.168.222.145:9050";

查看BE状态，alive必须为true

SHOW PROC '/backends';

查看BE运行情况。如一切正常，isAlive列应为 true，现阶段都是异常，BE还未启动。

6.3 修改可打开文件数

命令如下：

ulimit -n 65535

上述方式在重启系统后失效

或者修改配置文件: /etc/security/limits.conf, 添加

* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535

这种方法需要重启机器才能生效（所有BE节点都需要进行配置）

否则启动不成功, 日志报错

6.4 修改ip绑定

如果机器有多个ip, 比如内网外网, 虚拟机docker等, 需要进行ip绑定, 以便在配置集群时可以正确识别

修改fe服务的配置文件（ip地址根据环境实际ip进行修改）

vim /opt/apache-doris-0.15.0/be/conf/be.confpriority_networks = 192.168.222.0/24

6.5 将安装目录分发到另外两台节点

scp -r /opt/apache-doris-0.15.0/be 192.168.222.144:/opt/apache-doris-0.15.0scp -r /opt/apache-doris-0.15.0/be 192.168.222.145:/opt/apache-doris-0.15.0

6.6 启动BE

三台机器分别启动

sh /opt/apache-doris-0.15.0/be/bin/start_be.sh --daemon

日志默认存放在 fe/log/ 目录下

6.7 查看FE 和 BE

• 在mysql终端中

show proc '/frontends';

show proc '/backends';

查看 BE 运行情况。如一切正常，isAlive 列应为 true

• 通过前端界面访问FE

http://192.168.222.143:8030/login

 注意：密码和mysql设置的密码一样

http://192.168.222.143:8030/system?path=//frontends

• 通过前端界面访问BE:

http://192.168.222.143:8030/backend

http://192.168.52.143:8030/system?path=//backends

6.8 添加FS_BROKER（可选）

BROKER以插件的形式，独立于Doris的部署，建议每个PE和BE节点都部署一个Broker，Broker是用于访问外部数据源的进程，默认是HDFS，上传编译好的hdfs_broker

6.8.1 配置broker节点

拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上。建议和 BE 或者 FE 目录保持同级。

进入之前的docker编译fs_broker

sh /opt/apache-doris-0.15.0-incubating-src/fs_brokers/apache_hdfs_broker/build.sh

拷贝output目录到本地节点

docker cp 9330fa7d63d6:/opt/apache-doris-0.15.0-incubating-src/fs_brokers/apache_hdfs_broker/output/apache_hdfs_broker /home/

6.8.2 将安装目录分发到另外两台节点

进入/opt/apache-doris-0.15.0目录

scp  -r apache_hdfs_broker/ 192.168.222.143:/opt/apache-doris-0.15.0/scp  -r apache_hdfs_broker/ 192.168.222.144:/opt/apache-doris-0.15.0/scp  -r apache_hdfs_broker/ 192.168.222.144:/opt/apache-doris-0.15.0/

6.8.3 启动 Broker

三台机器分别启动

sh /opt/apache-doris-0.15.0/apache_hdfs_broker/bin/start_broker.sh --daemon

6.8.4 添加broker节点

使用mysql客户端访问pe，添加broker节点

mysql -uroot -h 192.168.222.143 -P 9030 -p输入密码：123456

要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节点列表

ALTER SYSTEM ADD BROKER broker_name "192.168.222.143:8000","192.168.222.144:8000","192.168.222.145:8000";

其中 host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port。

SHOW PROC "/brokers";

注：在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor (opens new window)。如需使用守护进程启动，在 0.9.0 及之前版本中，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号。从 0.10.0 版本开始，直接调用 sh start_xx.sh 启动即可。

6.9 扩容缩容

Doris 可以很方便的扩容和缩容 FE、BE、Broker 实例

6.9.1 FE 扩容和缩容

可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。

FE 节点的扩容和缩容过程，不影响当前系统运行

增加 FE 节点

FE 分为 Leader，Follower 和 Observer 三种角色。 默认一个集群，只能有一个 Leader，可以有多个 Follower 和 Observer。其中 Leader 和 Follower 组成一个 Paxos 选择组，如果 Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步 Leader 的数据，但是不参加选举。如果只部署一个 FE，则 FE 默认就是 Leader。

第一个启动的 FE 自动成为 Leader。在此基础上，可以添加若干 Follower 和 Observer。

添加 Follower 或 Observer。使用 mysql-client 连接到已启动的 FE，并执行：

ALTER SYSTEM ADD FOLLOWER "ip:port";
或
ALTER SYSTEM ADD OBSERVER "ip:port";

其中host为Follower或Observer所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port。

配置及启动 Follower或Observer。Follower 和 Observer 的配置同 Leader 的配置。

第一次启动时，需执行以下命令：

./bin/start_fe.sh --helper host:port --daemon

其中 host 为 Leader 所在节点 ip, port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。--helper 参数仅在 follower 和 observer 第一次启动时才需要。

查看 Follower 或 Observer 运行状态。使用 mysql-client 连接到任一已启动的 FE，并执行：SHOW PROC '/frontends'; 可以查看当前已加入集群的 FE 及其对应角色。

FE 扩容注意事项：

• Follower FE（包括 Leader）的数量必须为奇数，建议最多部署 3 个组成高可用（HA）模式即可
• 当 FE 处于高可用部署时（1个 Leader，2个 Follower），我们建议通过增加 Observer FE 来扩展 FE 的读服务能力。当然也可以继续增加 Follower FE，但几乎是不必要的
• 通常一个 FE 节点可以应对 10-20 台 BE 节点。建议总的 FE 节点数量在 10 个以下。而通常 3 个即可满足绝大部分需求
• helper 不能指向 FE 自身，必须指向一个或多个已存在并且正常运行中的 Master/Follower FE

删除 FE 节点

使用以下命令删除对应的 FE 节点：

ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";

FE 缩容注意事项：

• 删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点为奇数

操作演示

使用mysql客户端访问pe，添加broker节点

mysql -uroot -h 192.168.222.143 -P 9030 -p输入密码：123456

将node2节点添加为FOLLOWER

ALTER SYSTEM ADD FOLLOWER "192.168.222.144:9010";

将node3节点添加为OBSERVER

ALTER SYSTEM ADD OBSERVER "192.168.222.145:9010";

分别停止三台节点的fe服务（三台节点依次停止）

/opt/apache-doris-0.15.0/fe/bin/stop_fe.sh

启动node1节点

sh /opt/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon

启动node2节点（指定leader节点的位置）

sh /opt/apache-doris-0.15.0/fe/bin/start_fe.sh --helper 192.168.222.143:9010 --daemon

启动node3节点（指定leader节点的位置）

sh /opt/apache-doris-0.15.0/fe/bin/start_fe.sh --helper 192.168.222.143:9010 --daemon

查看fe节点列表

SHOW PROC '/frontends';

6.9.2 BE 扩容和缩容

用户可以通过 mysql 客户端登陆 Master FE。

BE 节点的扩容和缩容过程，不影响当前系统运行以及正在执行的任务，并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小，集群会在几个小时到1天不等的时间内，恢复到负载均衡的状态。集群负载情况，可以参见 Tablet 负载均衡文档。

增加 BE 节点

BE 节点的增加方式同 BE 部署 一节中的方式，通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。

BE 扩容注意事项：

BE 扩容后，Doris 会自动根据负载情况，进行数据均衡，期间不影响使用

删除 BE 节点

删除 BE 节点有两种方式：DROP 和 DECOMMISSION

DROP 语句如下：

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

注意事项：

DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当你使用这个语句时，会有对应的防误操作提示。

DECOMMISSION 语句如下：

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

DECOMMISSION 命令说明：

该命令用于安全删除 BE 节点。命令下发后，Doris 会尝试将该 BE 上的数据向其他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。

该命令是一个异步操作。执行后，可以通过 SHOW PROC '/backends'; 看到该 BE 节点的 isDecommission 状态为 true。表示该节点正在进行下线。

该命令不一定执行成功。比如剩余 BE 存储空间不足以容纳下线 BE 上的数据，或者剩余机器数量不满足最小副本数时，该命令都无法完成，并且 BE 会一直处于 isDecommission 为 true 的状态。

DECOMMISSION 的进度，可以通过 SHOW PROC '/backends'; 中的 TabletNum 查看，如果正在进行，TabletNum 将不断减少。

该操作可以通过:

CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

命令取消。取消后，该 BE 上的数据将维持当前剩余的数据量。后续 Doris 重新进行负载均衡

6.9.3 Broker 扩容缩容

Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成：

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port"; ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port"; ALTER SYSTEM DROP ALL BROKER broker_name;

Broker 是无状态的进程，可以随意启停。当然，停止后，正在其上运行的作业会失败，重试即可。