软件RAID配置实战（2个案例场景）

---

---

接上篇理论部分：认识RAID磁盘阵列
现在通过mdadm工具来完成软件RAID5和RAID10的Linux配置。

3、软件RAID管理-mdadm工具

mdadm （multiple devices admin）是一个用于管理 Linux 软件 RAID (Redundant Array of Independent Disks) 的命令行工具。RAID 是一种将多个物理硬盘组合成一个或多个逻辑单元的技术，以提高数据冗余和性能。mdadm 提供了一套完整的工具来创建、管理和监控 Linux 下的软件 RAID 阵列。

安装mdadm组件

yum install mdadm 

检查是否安装了组件

rpm -qa | grep "mdadm" 

格式

1. 创建新的 RAID 阵列 (-C / --create)

mdadm -C -v /dev/mdX -l<RAID 级别> -n<磁盘数量> <磁盘列表>

• C：表示创建新的 RAID 阵列。
• v：显示详细信息。
• /dev/mdX：RAID 阵列的设备名称。
• l：指定 RAID 级别（如 0, 1, 5, 6, 10 等）。
• n：指定用于创建 RAID 的磁盘数量。
• <磁盘列表>：参与 RAID 的磁盘分区列表。

1. 显示 RAID 阵列的详细信息 (-D / --detail)

mdadm --detail <RAID device>

• <RAID device>：要查看详细信息的 RAID 阵列的设备文件。

示例

mdadm -C -v /dev/md5 -l5 -n3 /dev/sd[b-d]1 -x1 /dev/sde1

选项说明

-C：新建。

-v：显示创建过程中的详细信息。

/dev/md5：创建 RAID5 的名称。

-a yes：–auto，表示如果有什么设备文件没有存在的话就自动创建，可省略。

-l：指定 RAID 的级别，l5 表示创建 RAID5。

-n：指定使用几块硬盘创建 RAID，n3 表示使用 3 块硬盘创建 RAID。

/dev/sd[bcd]1：指定使用这四块磁盘分区去创建 RAID。

-x：指定使用几块硬盘做RAID的热备用盘，-x1表示保留1块

闲的硬盘作备用

/dev/sde1：指定用作于备用的磁盘

mdadm命令其它常用选项

-r：从RAID阵列中移除一个设备

-a：添加一个新设备到 RAID 阵列

-S：停止RAID阵列

-A：启动RAID阵列

-D：查看RAID的详细信息

-E：检查设备是否已经是某个RAID阵列的一部分

-f：—fail将一个设备标记为故障

-R：强制启动一个RAID阵列

4、相关查询命令

查看创建RAID的进度

cat /proc/mdstat 

或者使用watch命令可以指定间隔持续查看

watch -n 2 cat /proc/mdstat

在创建时输出：

Personalities : [raid6] [raid5] [raid4] 
md5 : active raid5 sdh1[4] sdi1[3](S) sdg1[1] sdf1[0]104787968 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_][===========>.........]  recovery = 55.7% (29220992/52393984) finish=1.8min speed=204403K/secunused devices: <none> 

创建完成后输出：

Personalities : [raid6] [raid5] [raid4] 
md5 : active raid5 sdh1[4] sdi1[3](S) sdg1[1] sdf1[0]104787968 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]unused devices: <none> 

查看RAID磁盘详细信息

mdadm -D /dev/md5 

输出：

/dev/md5:Version : 1.2Creation Time : Thu Oct 13 18:13:17 2022Raid Level : raid5Array Size : 41908224 (39.97 GiB 42.91 GB)Used Dev Size : 20954112 (19.98 GiB 21.46 GB)Raid Devices : 3Total Devices : 4Persistence : Superblock is persistentUpdate Time : Thu Oct 13 18:15:02 2022State : clean Active Devices : 3  ---激活的设备Working Devices : 4  ---工作的设备Failed Devices : 0  ---不工作的设备Spare Devices : 1  ---空闲的设备Layout : left-symmetricChunk Size : 512KConsistency Policy : resyncName : 192.168.233.21:5  (local to host 192.168.233.21)UUID : 3d950a02:3b0b3f96:f99f95ff:3149ae0bEvents : 18Number   Major   Minor   RaidDevice State0       8       17        0      active sync   /dev/sdb11       8       33        1      active sync   /dev/sdc14       8       49        2      active sync   /dev/sdd13       8       65        -      spare   /dev/sde1

查看文件系统的磁盘空间使用情况

df -h 

输出示例：

文件系统                          容量  已用  可用 已用% 挂载点
devtmpfs                          894M     0  894M    0% /dev
tmpfs                             910M     0  910M    0% /dev/shm
tmpfs                             910M   11M  900M    2% /run
tmpfs                             910M     0  910M    0% /sys/fs/cgroup
/dev/mapper/centos-root            25G  5.0G   20G   20% /
/dev/sda1                        1014M  185M  830M   19% /boot
/dev/mapper/vg_group-lv_centeral   33G   33M   33G    1% /Central
/dev/mapper/vg_group-lv_north      33G   33M   33G    1% /North
/dev/mapper/vg_group-lv_east       33G   33M   33G    1% /East
tmpfs                             182M   12K  182M    1% /run/user/42
tmpfs                             182M     0  182M    0% /run/user/0
/dev/md5                          100G   33M  100G    1% /mnt/md5

5、RAID配置示例

场景1：RAID5

4个50G的磁盘，组建RAID5磁盘阵列

步骤

1. 查看磁盘列表

fdisk -l 

2. 创建分区，使用fdisk分别进入交互式界面并在交互式界面创建分区

fdisk /dev/sdf
fdisk /dev/sdg
fdisk /dev/sdh
fdisk /dev/sdi 

输入n创建新分区，默认分区p，默认起止扇区，最后w保存

使用lsblk可以查看分区列表

3. 更改分区类型为“Linux raid autodetect”

使用fdiskz分别进入交互式界面为或者在分区时一次性完成

输入t改变分区系统ID，输入fd将分区类型更改为 “Linux raid autodetect”，该分区将被自动识别为 RAID 分区

注：分区类型代码用来标识不同的文件系统和用途。每个分区类型都有一个对应的十六进制代码。如fd 代码表示分区类型为 “Linux raid autodetect”。可以通过输入 L 列出所有代码。

4. 安装mdadm组件

yum install mdadm 

检查是否安装了组件

rpm -qa | grep "mdadm" 

5. 创建RAID5磁盘阵列

mdadm -C -v /dev/md0 -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1

6. 查看创建进度

 cat /proc/mdstat  

7. 查询详细信息

mdadm -D /dev/md5 

8. 格式化新创建的阵列盘

mkfs.xfs /dev/md5

9. 挂载新创建的磁盘文件

mount /dev/md5 /mnt/md5 

10. 查看文件系统的磁盘空间使用情况

df -h 

11. 模拟故障

mdadm /dev/md5 -f /dev/sdh1 

12. 查看 RAID 状态

mdadm -D /dev/md5 
或
mdadm --detail /dev/md5 

此时可以看到有一个设备故障

13. 恢复RAID阵列

(1)移除故障磁盘

mdadm /dev/md5 -r /dev/sdh1

(2)添加新的或修复的磁盘

mdadm /dev/md5 -a /dev/sdh1

14. 检查恢复情况

 mdadm -D /dev/md5

经检查，新添加的磁盘重建阵列，稍等片刻恢复正常

场景2：RAID10

依旧4块50G磁盘，每个盘已分区成3个10G和20G的空闲空间，使用每个盘的第2个分区创建RAID10。

思路：先做2个RAID1，再做1个RAID0，先做镜象，再做条带。

分区如下

sdf                      8:80   0   50G  0 disk 
├─sdf1                   8:81   0   10G  0 part 
├─sdf2                   8:82   0   10G  0 part 
└─sdf3                   8:83   0   10G  0 part 
sdg                      8:96   0   50G  0 disk 
├─sdg1                   8:97   0   10G  0 part 
├─sdg2                   8:98   0   10G  0 part 
└─sdg3                   8:99   0   10G  0 part 
sdh                      8:112  0   50G  0 disk 
├─sdh1                   8:113  0   10G  0 part 
├─sdh2                   8:114  0   10G  0 part 
└─sdh3                   8:115  0   10G  0 part 
sdi                      8:128  0   50G  0 disk 
├─sdi1                   8:129  0   10G  0 part 
├─sdi2                   8:130  0   10G  0 part 
└─sdi3                   8:131  0   10G  0 part 

步骤

1. 更改分区类型为“Linux raid autodetect”

打开fdisk工具，输入t改变分区系统ID，输入fd将分区类型更改为 “Linux raid autodetect”

   设备 Boot      Start         End      Blocks   Id  System
/dev/sdh1            2048    20973567    10485760   83  Linux
/dev/sdh2        20973568    41945087    10485760   fd  Linux raid autodetect
/dev/sdh3        41945088    62916607    10485760   83  Linux

2. 创建2组RAID1

使用sdf2、sdg2和sdh2、sdi2 创建2组RAID1，分别命名md0和md1

mdadm -Cy /dev/md0 -l1 -n2 /dev/sd[fg]2
mdadm -Cv /dev/md1 -l1 -n2 /dev/sd[hi]2

或一条命令写法

mdadm -Cv /dev/md10 -l10 -n4 -x1 /dev/sd{b,c,d,e,f}1

3. 创建1组RAID0

使用刚创建的md0和md1创建1组RAID0，命名md10，至此组成RAID10

mdadm -Cv /dev/md10 -l0 -n2 /dev/md0 /dev/md1

4. 查看详情信息

查看3个RAID阵列的详细信息，运行正常

mdadm -D /dev/md0
mdadm -D /dev/md1
mdadm -D /dev/md10

5. 格式化新分区

格式化刚组成的RAID10分区，即md10

mkfs.xfs /dev/md10

6. 模拟故障

可以使两块RAID1各挂1块，如md0的sdf2或sdg2和md1的sdh2或sdi2。

由于RAID0是基于两组RAID1创建的虚拟分区，因此测试其意义不大。

mdadm /dev/md0 -f /dev/sdg2
mdadm /dev/mdq -f /dev/sdi2

7. 检查模拟的故障状态

经测试两组各挂了一块盘，RAID1组仍正常运行。

mdadm -D /dev/md0
mdadm -D /dev/md1

8. 恢复RAID阵列，即重新添加盘

（1）移除故障磁盘

mdadm /dev/md0 -r /dev/sdg2
mdadm /dev/md1 -r /dev/sdi2

（2）添加新磁盘

mdadm /dev/md0 -a /dev/sdg2
mdadm /dev/md1 -a /dev/sdi2

9. 检查恢复情况

 mdadm -D /dev/md0mdadm -D /dev/md1mdadm -D /dev/md10

经检查，新添加的磁盘重建阵列，稍等片刻恢复正常

10. 挂载到系统

mount /dev/md10 /mnt/md10/

挂载到系统后即可正常使用RAID10磁盘阵列分区

11. 检查磁盘信息

使用df -hT命令查看系统中所有文件系统的挂载信息和文件系统类型

df -hT

已成功挂载并且正常显示，一切正常

6、移除RAID阵列

1. 卸载文件系统：

   如果RAID阵列上有挂载的文件系统，需要先卸载它。

   使用umount /dev/mdX命令来卸载RAID设备上的文件系统。

2. 移除RAID设备：

   使用 mdadm -S /dev/mdX 停止RAID阵列。

   或者使用mdadm --remove /dev/mdX命令来移除RAID设备。

   从mdadm的配置中删除RAID设备的定义，但不会修改磁盘上的数据或分区。

3. 清除超级块：

   清除RAID成员设备上的超级块信息（以防止将来意外地重新加入RAID阵列，也是彻底移除必需的）。

   使用 mdadm --misc --zero-superblock /dev/sdXN 或者mdadm --zero-superblock /dev/sdXN命令，其中/dev/sdXN是RAID成员设备的分区名称（例如/dev/sdb1）。

   有几块硬盘，就按格式删几次，注意最后面的硬盘名称，也可以写在一条命令：

   mdadm --misc --zero-superblock /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

4. 删除配置文件

   删除 rm -rf /etc/mdadm.conf 。

---

注：部分图片来源于网络，侵删。