ceph pg rebalance

背景

• 1 个 osd full 超过 85% 使用率
• 最近有大量的数据写入及数据删除操作

$ ceph osd df tree | grep osd.158
ID   CLASS  WEIGHT      REWEIGHT  SIZE     RAW USE  DATA     OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME                            
158    ssd    14.00000   1.00000   14 TiB   12 TiB   12 TiB  503 MiB   20 GiB  2.0 TiB  85.40  1.91  147      up

目标

• 执行一次 pg rebalance 令数据均衡一点

原理

• 获取当前 osd map 信息 （获取当前 OSD usage）
• 对 osd full 中的 pg 执行 osd pg-upmap-item 操作 （进行 pg 迁移）
• 实现 osd 容量降低，均衡当前集群中的 osd 容量

方法

通过命令设定兼容模式

ceph osd set-require-min-compat-client luminous  --yes-i-really-mean-it

获取当前 osd map 信息

ceph osd getmap -o  /tmp/osd_map

获取当前 pool id (对其执行 pg 迁移)

当前 POOL ID 为 12

 ceph df  | grep  -E 'datapool|ID|POOL'
--- POOLS ---
POOL                   ID  PGS   STORED   OBJECTS  USED     %USED  MAX AVAIL
k8s-datapool           12  5120  640 TiB  240.47M  640 TiB  58.69    150 TiB

获取当前 pool pg rebalance 推荐优化

• –test-map-pgs 扫描所有 pg
• –pool 指定某个 pool id
• –upmap 计算 pg 平衡并写入当前文件
• –upmap-max 决定需要优化 PG 的最大数量\
• –upmap-deviation 偏差值

$ osdmaptool --test-map-pgs --pool 12 /tmp/osd_map --upmap upmap.txt  --upmap-max 99  --upmap-deviation 1
osdmaptool: osdmap file '/tmp/osd_map'
writing upmap command output to: upmap.txt
checking for upmap cleanups
upmap, max-count 99, max deviation 1
pools device_health_metrics k8s-datapool k8s-metadata k8s-vospool 
prepared 99/99 changes
pool 12 pg_num 5120
#osd	count	first	primary	c wt	wt
osd.0	49	16	16	14	1
osd.1	55	15	15	14	1
osd.2	54	23	23	14	1
osd.3	50	16	16	14	1
osd.4	53	18	18	14	1
osd.5	53	13	13	14	1
osd.6	46	11	11	14	1
osd.7	43	18	18	14	1
osd.8	41	12	12	14	1
osd.9	43	12	12	14	1
osd.10	17	7	7	14	1
osd.11	55	16	16	14	1
osd.12	48	16	16	14	1
osd.13	48	17	17	14	1
osd.14	41	10	10	14	1
osd.15	54	18	18	14	1
osd.16	45	18	18	14	1
osd.17	56	23	23	14	1
......
......

执行优化方法

执行推荐优化 等待结果即可

$ source  upmap.txt 
set 12.6 pg_upmap_items mapping to [238->288]
set 12.22 pg_upmap_items mapping to [294->275]
set 12.4d pg_upmap_items mapping to [30->232]
set 12.db pg_upmap_items mapping to [63->60]
set 12.e9 pg_upmap_items mapping to [249->323]
set 12.106 pg_upmap_items mapping to [231->136]
set 12.127 pg_upmap_items mapping to [63->219]
set 12.145 pg_upmap_items mapping to [158->60]
set 12.177 pg_upmap_items mapping to [266->87]
set 12.192 pg_upmap_items mapping to [249->325]
.....

参考优化后结果

$ ceph osd df tree  | grep -E 'OMAP|osd.158'
ID   CLASS  WEIGHT      REWEIGHT  SIZE     RAW USE   DATA      OMAP     META     AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME                            
158    ssd    14.00000   1.00000   14 TiB    11 TiB    11 TiB  493 MiB   19 GiB  2.7 TiB  80.66  1.79  141      up