GaussDB运维管理工具（二）

Cluster Manager（缩写为CM）是GaussDB的集群管理工具，支持自定义资源监控、节点和实例的启停、实例状态查询、主备切换、日志管理等丰富的数据库管理能力。

集群管理组件

CM包含以下组件：

• OMM：对应的二进制文件为om_monitor。管理服务组件，由crontab定时任务控制拉起（周期为1min）。OMM组件主要负责OMM、etcd、cm_agent进程的保活和启停。
• etcd：对应的二进制文件为etcd。管理服务组件，由OMM组件拉起（周期为1s）。etcd是集群高可用的顶层组件，负责协助CMS选主、持久化集群仲裁信息。etcd组件故障会导致CMS无主，进而导致无法查看集群状态、无法进行高可用切换。
• CM Agent：对应的二进制文件为cm_agent。管理服务组件，由OMM组件拉起（周期为1s）。CMA主要负责CMS、DN进程的保活和启停，仲裁指标采集、仲裁命令执行等。CMS组件故障会导致以下影响：
  • CMS、DN进程和保活能力丢失；
  • 节点脱管，实例级故障检测能力丢失，被管理实例状态未知。
• CM Server：对应的二进制文件为cm_server。管理服务组件，由CMA组件拉起（周期为1s）。CMS是集群的仲裁中心，依赖etcd（或启用DCC）实现自助选主。CMS组件故障会导致以下影响：
  • 集群状态无法查看；
  • 整个集群的高可用切换能力丢失（DCF自仲裁模式除外）；
  • 容灾barrier无法推进；
  • DCC模式下，无法持久化集群信息。
• DN：对应的二进制文件为gaussdb。数据服务组件，由CMA组件拉起（周期为1s）。DN组件故障会产生以下影响：
  • 单异步备故障：集群无影响；
  • 单同步备故障：数据服务卡顿，卡顿时间取决于异步备到同步的日志量；
  • 主故障：数据服务不可用；
  • 多数派故障：数据服务卡顿直至恢复多数派或者降副本。

组件相关的日志路径如下：

$GAUSSLOG/cm/cm_ctl/cm_ctl*.log
$GAUSSLOG/cm/cm_agent/*.log
$GAUSSLOG/cm/cm_server/*.log
$GAUSSLOG/cm/om_monitor/*.log

cm_ctl工具介绍

cm_ctl是GaussDB提供的数据库实例管理工具，主要供OM调用，以及数据库实例自恢复时使用。cm_ctl支持以下功能：

• 启动数据库实例、AZ所有实例、单个主机上的所有实例，或者单独启动某个实例进程。
• 停止数据库实例、AZ所有实例、单个主机上的所有实例，或者单独停止某个实例进程。
• 重启逻辑数据库实例服务。
• 查询数据库实例状态、或者整个主机状态。
• 切换主备实例、或重置实例状态。
• 重建备机。
• 查看数据库实例配置文件。
• 查看日志级别、一主多备实例部署下cm_server的仲裁模式、AZ之间的切换模式。
• 设置日志级别、一主多备实例部署下cm_server的仲裁模式、AZ之间的切换模式。
• 检测实例的进程状态。

cm_ctl工具使用

查询集群状态

查询集群状态：

[omm@gaussdb001 ~]$ cm_ctl query -Cvipd -z ALL[  CMServer State   ]node                node_ip         instance                                  state
-------------------------------------------------------------------------------------
AZ1 1  22.68.73.130 22.68.73.130    1    /gauss/app/cluster/data/cm/cm_server Primary
AZ2 2  22.68.73.132 22.68.73.132    2    /gauss/app/cluster/data/cm/cm_server Standby
AZ3 3  22.68.73.128 22.68.73.128    3    /gauss/app/cluster/data/cm/cm_server Standby[    ETCD State     ]node                node_ip         instance                          state
-----------------------------------------------------------------------------------
AZ1 1  22.68.73.130 22.68.73.130    7001 /gauss/app/cluster/data/etcd StateFollower
AZ2 2  22.68.73.132 22.68.73.132    7002 /gauss/app/cluster/data/etcd StateFollower
AZ3 3  22.68.73.128 22.68.73.128    7003 /gauss/app/cluster/data/etcd StateLeader[   Cluster State   ]cluster_state   : Normal
redistributing  : No
balanced        : Yes
current_az      : AZ_ALL[  Datanode State   ]node                node_ip         instance                       state            | node                node_ip         instance                       state            | node                node_ip         instance                       state
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
AZ1 1  22.68.73.130 22.68.73.130    6001 5432   /gsdata/dn/dn_6001 P Primary Normal | AZ2 2  22.68.73.132 22.68.73.132    6002 5432   /gsdata/dn/dn_6002 S Standby Normal | AZ3 3  22.68.73.128 22.68.73.128    6003 5432   /gsdata/dn/dn_6003 S Standby Normal

数据库实例状态有以下三种状态：

• Noraml：实例可用，且数据有冗余备份，所有进程都在运行，主备关系正常。
• Degraded：数据库实例可用，但是数据没有冗余备份。
• Unavailable：数据库实例不可用。

查询备机REDO状态：

[omm@gaussdb001 ~]$ cm_ctl query -rv
-----------------------------------------------------------------------cluster_state             : Normal
redistributing            : No
balanced                  : Yes-----------------------------------------------------------------------node                           : 2
instance_id                    : 6002
node_ip                        : 22.68.73.132
data_path                      : /gsdata/dn/dn_6002
type                           : Datanode
instance_state                 : Standby
is_by_query                    : 1
primary_flush_location         : 00000000/0FC2D8C0
standby_received_location      : 00000000/0FC2D8C0
standby_replay_location        : 00000000/0FC2D8C0
static_connections             : 2
HA_state                       : Normal
reason                         : Normal
redo_start_location            : 00000000/070000C8
min_recovery_location          : 00000000/0FC2CEA0
read_location                  : 00000000/0FC2D820
last_replayed_end_location     : 00000000/0FC2D8C0
recovery_done_location         : 00000000/07000028
local_max_lsn                  : 00000000/0FC2D8C0
read_xlog_io_counter           : 37255
read_xlog_io_total_dur         : 493503
read_data_io_counter           : 180
read_data_io_total_dur         : 6548
write_data_io_counter          : 0
write_data_io_total_dur        : 0
process_pending_counter        : 973393
process_pending_total_dur      : 1318236
apply_counter                  : 728094
apply_total_dur                : 1803547
speed(est.)                    : 0 KB/s
delay(est.)                    : 0 s
senderPercent                  : 0%
receiverPercent                : 100%
worker_info                    : 
id  q_use   q_max_use  rec_cnt              
0   0       926        155459               
1   0       644        166582               
2   0       1174       392423               
3   0       201        258929               ...

其中各参数的含义如下：

参数名	参数说明
is_by_query	是否通过SQL查询
primary_flush_location	主机下刷日志的位置
standby_received_location	备机收到日志的位置
standby_replay_location	备机回放日志的位置
static_connections	连接统计
redo_start_location	回放开始的位置
min_recovery_location	最小恢复点位置
read_location	当前回放读取日志的位置
last_replayed_end_location	上一次回放到的位置
recovery_done_location	回放结束的位置
local_max_lsn	本地最大日志位置
read_xlog_io_counter	读日志的次数
read_xlog_io_total_dur	读日志的总耗时
read_data_io_counter	读数据的次数
read_data_io_total_dur	读数据的总耗时
write_data_io_counter	写数据的次数
write_data_io_total_dur	写数据的总耗时
process_pending_counter	回放主线程日志分发的次数
process_pending_total_dur	回放主线程日志分发的总耗时
apply_counter	日志回放同步的次数
apply_total_dur	日志回放同步的总耗时
worker_info	回放线程的信息
id	回放线程序号
q_use	回放线程队列的使用量
q_max_use	回放线程队列的最大容量
rec_cnt	回放线程处理日志的总个数

启停集群

启动集群：

cm_ctl start               # 启动整个集群
cm_ctl start -z AZ1        # 启动指定的AZ（查询AZ名: cm_ctl query -Cvz ALL）
cm_ctl start -n 1          # 启动指定的节点（查询节点编号: cm_ctl query -Cv）
cm_ctl start -n 1 -D /gsdata/dn/dn_6002    # 启动指定实例（查询实例数据目录: cm_ctl query -Cvd）
cm_ctl start --server      # 以DCC模式单独启动CM Server

停止集群：

cm_ctl stop               # 停止整个集群
cm_ctl stop -z AZ1        # 停止指定的AZ（查询AZ名: cm_ctl query -Cvz ALL）
cm_ctl stop -n 1          # 停止指定的节点（查询节点编号: cm_ctl query -Cv）
cm_ctl stop -n 1 -D /gsdata/dn/dn_6002    # 停止指定实例（查询实例数据目录: cm_ctl query -Cvd）
cm_ctl stop -m i          # 强制停止集群
cm_ctl stop --server      # 停止独立启动的CM Server

重启集群流程示例：

[omm@gaussdb001 ~]$ cm_ctl stop
cm_ctl: stop cluster. 
cm_ctl: stop nodeid: 1
cm_ctl: stop nodeid: 2
cm_ctl: stop nodeid: 3
.............
cm_ctl: stop cluster successfully.
cm_ctl: stopping the ETCD cluster.
.
cm_ctl: The ETCD cluster stops successfully.[omm@gaussdb001 ~]$ cm_ctl query -Cv
[  CMServer State   ]node            instance state
--------------------------------
1  22.68.73.130 1        Down
2  22.68.73.132 2        Down
3  22.68.73.128 3        Down[    ETCD State     ]node            instance state
--------------------------------------
1  22.68.73.130 7001     Down
2  22.68.73.132 7002     Down
3  22.68.73.128 7003     Downcm_ctl: can't connect to cm_server.
Maybe cm_server is not running, or timeout expired. Please try again.[omm@gaussdb001 ~]$ cm_ctl start
cm_ctl: starting the ETCD cluster.
.
cm_ctl: the ETCD cluster starts successfully.
cm_ctl: checking cluster status.
cm_ctl: checking cluster status.
cm_ctl: checking finished in 1437 ms.
cm_ctl: start cluster. 
cm_ctl: start nodeid: 1
cm_ctl: start nodeid: 2
cm_ctl: start nodeid: 3
.............
cm_ctl: start cluster successfully.

主备切换

主备switchover为数据库维护操作，请在集群状态正常、所有业务结束、且主备没有日志延迟时才能进行。

⭐️ 通过 pgxc_get_senders_catchup_time()视图可查询主备有无日志追赶。

-- 经测试在某些版本中这个视图/函数已经不存在了gaussdb=# select pgxc_get_senders_catchup_time();
ERROR:  function pgxc_get_senders_catchup_time() does not exist
LINE 1: select pgxc_get_senders_catchup_time();^
HINT:  No function matches the given name and argument types. You might need to add explicit type casts.
CONTEXT:  referenced column: pgxc_get_senders_catchup_timegaussdb=# \d pgxc_get_senders_catchup_time
Did not find any relation named "pgxc_get_senders_catchup_time".gaussdb=# \sf pgxc_get_senders_catchup_time
ERROR:  function "pgxc_get_senders_catchup_time" does not exist

主备切换命令：

cm_ctl switchover -z AZ1     # 将所有的GTM和DN主实例切换到指定的AZ
cm_ctl switchover -n 1 -D /gsdata/dn/dn_6001      # 将指定节点的实例切换为主实例cm_ctl switchover -A         # 将所有DN实例统一从主切换到备，并选择相应分片的其他实例升主
cm_ctl switchover -a         # 重置集群主备关系为初始配置状态cm_ctl switchover -n 1 -D /gauss/app/cluster/data/cm/cm_server   # DCC模式下指定CM Server主备切换

重建备DN

非强制build目标需要处于Down状态，或是处于NeedRepair状态的备机、级联备机，且reason不为Disconnected或者Connecting。

重建命令：

cm_ctl build -n 2 -D /gsdata/dn/dn_6002  # 重建指定节点的备DN
cm_ctl build -c                          #  重建CM Server

检测进程运行

检测命令：

cm_ctl check -B gaussdb -T /gsdata/dn/dn_6001                      # 检测gaussdb进程运行状态
cm_ctl check -B cm_agent -T /gauss/app/cluster/data/cm/cm_agent    # 检测cm_agent进程运行状态
cm_ctl check -B cm_server -T /gauss/app/cluster/data/cm/cm_server  # 检测cm_server进程运行状态

查看实例配置文件

查看配置文件信息：

cm_ctl view       # 查看集群配置文件
cm_ctl view -n 1  # 查看指定节点的配置文件

手动剔除故障CN

手动剔出指定CN节点：

cm_ctl disable -n 1 -D /gsdata/dn/dn_6001

CM参数获取和配置

⭐️ CMS和CMA的参数可通过以下文件查看：

• /gauss/app/cluster/data/cm/cm_server/cm_server.conf
• /gauss/app/cluster/data/cm/cm_agent/cm_agent.conf

设置CM Server参数：

cm_ctl set --log_level=DEBUG5              # 设置主CM Server日志级别为DEBUG5
cm_ctl set --cm_arbitration_mode=MAJORITY  # 设置CM Server仲裁模式为多数派模式
cm_ctl set --cm_switchover_az_mode=AUTO    # 设置AZ之间的自动切换开关为自动切换模式
cm_ctl set --cmsPromoteMode=AUTO -I 1      # 设置CMS升主方式为自选主方式

获取CM Server参数：

cm_ctl get --log_level                     # 获取主CM Server日志级别
cm_ctl get --cm_arbitration_mode           # 获取CM Server仲裁模式
cm_ctl get --cm_switchover_az_mode         # 获取AZ之间的自动切换开关

设置CM参数：

# 格式
cm_ctl set --param --agent -k "parameter=value"    # 设置CMA参数
cm_ctl set --param --server -k "parameter=value"   # 设置CMS参数# 示例
cm_ctl set --param --agent -k "incremental_build=on"
cm_ctl set --param --server -k "switch_rto=600"

动态加载CM参数：

cm_ctl reload --param --agent   # 动态加载CMA参数
cm_ctl reload --param --server  # 动态加载CMS参数

列出所有CM参数：

cm_ctl list --param --agent   # 列出所有CMA参数
cm_ctl list --param --server  # 列出所有CMS参数

停止仲裁

管理仲裁命令：

cm_ctl disablecm --all                              # 一键禁用所有启停仲裁
cm_ctl disablecm --start                            # 禁用全部实例启动
cm_ctl disablecm --arbitrate="DN_ARBITRATE"         # 禁用DN仲裁cm_ctl enablecm --all                               # 一键启用所有启停仲裁
cm_ctl enablecm --start -n 1 -D /gsdata/dn/dn_6001  # 启用单个实例启动
cm_ctl enablecm --arbitrate                         # 启用全部仲裁