Linux---文件系统和日志分析

文件系统和日志分析

inode和block概述

• 文件数据包括元信息与实际数据
• 文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
• block(块)—数据

连续的八个扇区组成一个 block(4K)

是文件存取的最小单位

• inode(索引节点)—元信息

中文译名为“索引节点”，也叫i节点

用于存储文件元信息

一个文件必须占用一个inode，但至少占用一个block

inode包含文件的元信息

• 文件的字节数
• 文件拥有者的User ID #不包含文件名
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳

用stat命令可以查看某个文件的inode信息

示例:stat aa.txt

Linux系统文件三个主要的时间属性

• ectime(change time)

  最后一次改变文件或目录(属性)的时间

• atime(access time)

  最后一次访问文件或目录的时间

• mtime(modify time)

  最后一次修改文件或目录(内容)的时间

目录文件的结构

• 目录也是一种文件

• 目录文件的结构

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件

• Linux系统内部不使用文件名，而使用inode号码来识别文件

• 对于用户，文件名只是inode号码便于识别的别称

用户通过文件名打开文件时，系统内部的过程

1. vi 1.txt——》shell翻译——》系统
2. 系统找到这个文件名对应的inode号码
3. 通过inode号码，获取inode信息
4. 根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法

ls -i命令:查看文件名对应的inode号码
Is -i aa.txtstat命令:查看文件inode信息中的inode号码
stat aa.txt

硬盘分区后的结构

访问文件的简单流程

inode的大小

• inode也会消耗硬盘空间
  每个inode的大小

  一般是128字节或256字节

• 格式化文件系统时确定inode的总数

• 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名

链接文件

• 为文件或目录建立链接文件
• 链接文件分类

	软链接（符号链接）	硬链接
删除原始文件后	失效	仍旧可用
使用范围	适用于文件或目录	只可用于文件
保存位置	与原始文件可以位于不同的文件系统中	必须与原始文件在同一个文件系统(如一个Linux分区)内

• 完全备份

  从上次完全备份到当前的内容全部进行备份

• 增量备份

  从上一次完全备份或者最近一次增量备份为开始只备份增减的内容

• 差异备份

  通常是只从上一次完全备份开始到当前备份时间内的所有差异的部门

  >覆盖>>注入
  

恢复XFS类型的文件

—xfsdump（文件系统）

xfsdump 命令常用的选项:
-f:指定备份文件目录
-L:指定标签 session label
-M:指定设备标签 media label
-s:备份单个文件，-s后面不能直接跟路径xfsdump使用限制:
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析5.不能备份两个具有相同UUID的文件系统(可用 blkid命令查看)

具体操作

添加一块硬盘
#使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs /dev/sdb1
mkdir /data
mount /dev/sdb1 /date/cd /data
cp /etc/passwd ./
mkdir test
touch test/a#安装依赖包
rpm -qa | grep xfsdump
yum install -y xfsdump#使用 xfsdump 命令备份整个分区
xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1#模拟数据丢失
cd /data/
rm -rf ./*
ls#使用 xfsrestore 命令恢复文件
xfsrestore -f /opt/dump_sdb1 /data/

实操

一、使用fdisk创建分区/dev/sdb1，格式化xfs文件系统并挂载

fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs /dev/sdb1

mkdir /data
mount /dev/sdb1 /date/

二、创建模拟文件

cd /data
cp /etc/passwd ./
mkdir test
touch test/a

三、安装依赖包

yum install -y xfsdump

rpm -qa | grep xfsdump

四、使用 xfsdump 命令备份整个分区

xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1

五、模拟数据丢失

cd /data/
rm -rf ./*
ls

六、使用 xfsrestore 命令恢复文件

xfsrestore -f /opt/dump_sdb1 /data/

七、查看

ls

八、完成

恢复EXT类型的文件

—extundelete(文件系统)

添加一块硬盘
#使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
fdisk /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /test
mount /dev/sdc1 /test/
df -hT#安装其他依赖包
yum install -y bzip2 gcc* pcre* wget* 
#安装依赖包
yum -y install e2fsprogs-devel e2fsprogs-libs#编译安装 extundelete
cd /test
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/#模拟删除
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
ls
rm -rf a b
extundelete /dev/sdc1 --inode2	#查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录#执行恢复操作
cd ~
umount /test
extundelete /dev/sdc1 --restore-all   #恢复/dev/sdc1文件系统下的所有内容#在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES/ 

实操

一、使用fdisk创建分区/dev/sdc1，格式化ext3文件系统并挂载

fdisk /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /test
mount /dev/sdc1 /test/
df -hT

二、安装依赖包

yum install -y bzip2 gcc* pcre* wget*

yum install -y e2fsprogs-devel e2fsprogs-libs

三、编译安装extundelete

cd /test
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2

四、打包

tar jxvf extundelete-0.2.4.tar.bz2

五、安装程序

cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install

六、创建软链接

ln -s /usr/local/extundelete/bin/* /usr/bin/

七、模拟删除并查看

cd /test
echo a>a
echo a>b
echo a>c
echo a>d

ls

rm -rf a b
extundelete /dev/sdc1 --inode2

八、恢复/dev/sdc1文件系统下的所有内容

cd ~
umount /test
extundelete /dev/sdc1 --restore-all

九、查看

ls RECOVERED_FILES/

十、完成

日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

日志文件的分类

• 内核及系统日志

  由系统服务rsyslog统一进行管理，日志格式基本相似

  主配置文件/etc/rsyslog.conf

• 用户日志

  记录系统用户登录及退出系统的相关信息

• 程序日志

  由各种应用程序独立管理的日志文件，记录格式不统一

日志保存位置

默认位于:/var/log目录下

主要日志文件介绍

内核及公共消息日志	/var/log/messages
计划任务日志	/var/log/cron
系统引导日志	/var/log/dmesg
邮件系统日志	/var/log/maillog
用户登录日志	/var/log/lastlog /var/log/secure /var/log/wtmp /var/run/btmp

日志大类

1、系统相关日志

rsyslog

2、应用程序日志

例如：

web类应用程序，httpd nginx——》访问日志和错误日志

数据库：redis RDB日志 AOF日志 mysql 二进制日志 中继日志

3、业务日志

日志消息级别

配置日志输出内容的时候，可以指定告警级别

时间戳 用户/来源 警戒级别 描述信息

级别	消息	级别	说明
0	EMERG	紧急	会导致主机系统不可用的情况
1	ALERT	警告	必须马上采取措施解决的问题
2	CRIT	严重	比较严重的情况
3	ERR	错误	运行出现错误
4	WARNING	提醒	可能会影响系统功能的事件
5	NOTICE	注意	不会影响系统但值得注意
6	INFO	信息	一般信息
7	DEBUG	调试	程序或系统调试信息等

保存了用户登录、退出系统等相关信息

• /var/log/lastlog最近的用户登录事件
• /var/log/wtmp用户登录、注销及系统开、关机事件
• /var/run/utmp.当前登录的每个用户的详细信息
• /var/log/secure:与用户验证相关的安全性事件

分析工具

• users、who、w、last、lastb
• last 命令用于查询成功登录到系统的用户记录
• lastb 命令用于查询登录失败的用户记录

由相应的应用程序独立进行管理

• Web服务:/var/log/httpd/

  access log //记录客户访问事件

  error log//记录错误事件

• 代理服务:/var/log/squid/

  access.log、cache.log

• 分析工具

• 文本查看、grep过滤检索、Webmin管理套件中查看

• awk、sed等文本过滤、格式化编辑工具

• Webalizer、Awstats等专用日志分析工具

日志管理策略

• 及时作好备份和归档

  延长日志保存期限

• 控制日志访问权限

  日志中可能会包含各类敏感信息，如账户、口令等

• 集中管理日志

  将服务器的日志文件发到统一的日志文件服务器

  便于日志信息的统一收集、整理和分析
  杜绝日志信息的意外丢失、:恶意篡改或删除