Prometheus+grafana实践：Doris数据库的监控

文章来源：乐维社区

Doris数据库背景

Doris（Apache Doris）是一个现代化的MPP（Massive Parallel Processing，大规模并行处理）数据库，主要用于在线分析处理（OLAP）场景。

Doris数据库的特点

高性能：Doris采用了列式存储和MPP架构，能够对海量数据进行快速查询。
易用性：提供了类似SQL的查询接口，易于上手和使用。
实时性：支持实时数据更新和查询，适用于实时数据分析场景。
兼容性：支持多种数据源接入，如MySQL、Apache Hive、Apache HDFS等。
高可用：支持集群部署，具有容错和自动恢复功能。

Doris数据库的架构

前端：FE（Frontend）节点负责接收查询请求、查询解析、查询计划生成和执行。
后端：BE（Backend）节点负责数据存储、查询执行和数据导入等操作。
元数据管理：采用分布式元数据管理，保证了系统的高可用性和扩展性。

Doris数据库的部署

对于Doris数据库的架构方式分为前端和后端的方式，因此我们要分别部署前端和后端两部分。
准备4核心+4G内存+10G硬盘的centos7 X86的Linux虚拟机。

1.拉取Doris数据库的安装包
Wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz
2.解压安装包到/usr/local/目录下
tar xzvf apache-doris-2.0.12-bin-x64.tar.gz -C /usr/local/

3.给安装目录重新命名
mv apache-doris-2.0.12-bin-x64 apache-doris
4.在目录下分为3部分
5.安装Doris数据库需要jdk8的环境
yum install -y java-1.8.0-openjdk.x86_64
6.部署fe
vim fe/conf/fe.conf
7.加上fe的jdk的环境变量
8.启动fe
./bin/start_fe.sh --daemon
9.部署be
vim be/conf/be.conf
10.加上be的jdk的环境变量
11.启动be
12.启动be时需要执行三条命令
sysctl -w vm.max_map_count=2000000
ulimit -n 60000
swapoff -a
13.在mysql官网中下载mysql的客户端(Doris数据库需要使用mysql客户端进行连接)
14.连接Doris数据库的fe
mysql -uroot -P9030 -h127.0.0.1
15.将be添加到集群
ALTER SYSTEM ADD BACKEND “be_host_ip:heartbeat_service_port”;(自己主机IP加上默认端口9050)
16.修改root密码和admin密码
SET PASSWORD FOR ‘root’ = PASSWORD(‘p@ssw0rd’);
SET PASSWORD FOR ‘admin’ = PASSWORD(‘p@ssw0rd’);
17.Doris数据库部署完成
部署prometheus并监控Doris数据库
1.在官网中下载prometheus的安装包
https://prometheus.io/download/
2.解压tar包
tar xzvf prometheus-3.0.1.linux-amd64.tar.gz
3.修改prometheus.yml配置文件监控Doris数据库
vim prometheus.yml
4.Doris数据库自带metrics的接口，prometheus可以直接拿取数据，不用安装export
5.设置metrics的地址以及组
6.启动prometheus
nohup ./prometheus --web.listen-address=“0.0.0.0:8181”
7.停止防火墙
Systemctl stop firewalld
8.访问网址看是否监控成功
http://192.168.91.170:8181
部署grafana
1.安装grafana
yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-11.3.1-1.x86_64.rpm
2.启动grafana服务
联动prometheus+grafana
1.配置数据源
Prometheus的地址

2.导入dashboard(从官网找一些dashboard导入即可)