服务器数据恢复—硬盘掉线导致热备盘同步失败的RAID5阵列数据恢复案例

服务器存储数据恢复环境：
华为S5300存储中有12块FC硬盘，其中11块硬盘作为数据盘组建了一组RAID5阵列，剩下的1块硬盘作为热备盘使用。基于RAID的LUN分配给linux操作系统使用，存放的数据主要是Oracle数据库。

服务器存储故障：
RAID5阵列中1块硬盘出现故障离线，热备盘自动激活开始同步数据，在同步数据的过程中又一块硬盘离线，RAID5阵列瘫痪，上层LUN无法使用。

服务器存储数据恢复过程：
1、将故障存储中所有磁盘做好标记后取出。硬件工程师对所有磁盘做物理故障检测，没有发现有硬盘存在硬件故障，都可以正常读取。将所有磁盘以只读方式进行扇区级全盘镜像，在镜像过程中没有发现有磁盘存在大量坏道。镜像完成后将所有磁盘按照原样还原到原存储中，后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。由于没有检测到有磁盘存在物理故障或者大量坏道，基本上可以判断某些硬盘离线的原因就是磁盘读写不稳定。故障存储raid控制器通常会将性能不稳定的磁盘识别为坏盘，并踢出RAID。一旦RAID中掉线的磁盘数据超过该RAID级别所允许掉盘的最大数量，该RAID将不可用，基于RAID的LUN也不可用。
2、基于镜像文件分析所有硬盘底层数据。分析底层RAID相关信息，根据分析获取到的raid信息重组RAID。RAID重建完成后，分析Oracle数据库页在每个磁盘中分布的情况。
3、由于RAID中有两块盘掉线且有一块硬盘数据被同步破坏。分析每一块硬盘中的数据，发现有一块硬盘在同一个条带上的数据和其他硬盘明显不一样，初步判断此硬盘可能是被同步破坏的硬盘。通过北亚企安自主开发的RAID校验程序对这个条带做校验，确认该盘就是被同步损坏的盘。
4、分析LUN在RAID中的分配情况以及LUN分配的数据块MAP。将LUN的数据块MAP提取出来，北亚企安数据恢复工程师编写相应程序解析LUN的数据块MAP，然后根据数据块MAP导出LUN的数据。
5、由于是使用热备盘重组RAID，EXT3文件系统无法正常挂载，所以只能先提取oracle数据库文件，利用北亚企安自主开发的文件系统解析程序对其进行文件系统解析，导出oracle数据库文件。
6、使用Oracle数据库文件检测工具检测每个数据库文件的完整性，经过检测发现有错误。使用北亚企安自主研发的Oracle数据库检测工具检测。经过检测发现部分数据库文件和日志文件错误：system和sysaux表空间存在上百个坏块，3个控制文件存在大量坏块，eschoolspace表空间的3个文件中的坏块多达上千个，undotbs02.dbf丢失。北亚企安数据库工程师对这些损坏的文件进行修复。

7、创建控制文件和undo表空间，启动数据库到mount。system数据文件坏块导致数据库无法打开，各种隐含参数也不能绕过system的坏块。搭建数据库环境，使用dmp文件还原数据库，但是某个日期之后的数据导入报错，只能导入这个日期之前的数据。

由于故障发生后又对RAID进行了重建，导致一块盘的数据被同步破坏。在第二块盘离线之前，热备盘已经同步了一段时间，已经写入了部分数据，所以使用热备盘中的数据只能恢复某个日期之前的数据。
8、在用户方的配合下启动Oracle数据库。在本地虚拟机安装OA客户端，通过OA客户端对数据记录进行验证，并且安排不同部门人员进行远程验证。
9、经过用户方验证，确认恢复出来的数据有效，认可数据恢复结果。没有恢复出来的数据量比较少，可以通过其他方式人工补回来。