性能分析与调优: Linux 磁盘I/O 观测工具

目录

一、实验

1.环境

2.iostat

3.sar

4.pidstat

5.perf

6. biolatency

7. biosnoop

8.iotop、biotop

9.blktrace

10.bpftrace

11.smartctl

二、问题

1.如何查看PSI数据

2.iotop如何安装

3.smartctl如何使用

---

一、实验

1.环境

（1）主机

表1-1 主机

主机	架构	组件	IP	备注
prometheus	监测 系统	prometheus、node_exporter	192.168.204.18
grafana	监测GUI	grafana	192.168.204.19
agent	监测 主机	node_exporter	192.168.204.20

（2）磁盘I/O观测工具

表1-2 磁盘I/O观测工具

序号	工具	描述
1	iostat	单个磁盘的各种统计信息
2	sar	磁盘历史统计信息
3	pidstat	按进程列出磁盘I/O使用情况
4	perf	记录块I/O跟踪点
5	biolatency	把磁盘I/O延时汇总成直方图
6	biosnoop	带PID和延时来跟踪磁盘I/O
7	iotop、biotop	磁盘的top程序:按进程汇总磁盘I/O
8	blktrace	磁盘I/O事件跟踪
9	bpftrace	自定义磁盘跟踪
10	smartctl	磁盘控制器统计信息

2.iostat

(1) 打印CPU和磁盘自启动以来的统计信息

每秒1次，共计5次

[root@agent ~]# iostat 1 5

（2）-x扩展统计、-z 跳过零活设备

每秒1次，共计5次

[root@agent ~]# iostat -xz 1 5 

(3) -d 只关注磁盘统计信息（没有CPU）、-m 代表MB、-t代表时间戳、-p ALL 表示包括每个分区统计

每秒1次，共计1次

[root@agent ~]# iostat -dmtxz -p ALL 1 1

3.sar

(1) -d 报告磁盘汇总信息

每秒1次，共计5次

[root@agent ~]# sar -d 1 5

4.pidstat

（1）-d 输出磁盘I/O 的统计信息

每秒1次，共计5次

[root@agent ~]# pidstat -d 1 5

5.perf

(1) 查询块tracepoint

[root@agent ~]# perf list "block:*"

(2) 用栈踪迹来记录块设备问题

sleep 10  跟踪的持续时间为10秒

[root@agent ~]# perf record -e block:block_rq_issue -a -g sleep 10[root@agent ~]# perf script --header

（3）使用过滤器与块tracepoint

①跟踪所有大小不小于100KB的块I/O 完成事件，CTRL+C结束

[root@agent ~]# perf record -e block:block_rq_complete --filter 'nr_sector > 200'

②跟踪所有的块I/O 同步写完成事件，CTRL+C结束

[root@agent ~]# perf record -e block:block_rq_complete --filter 'rwbs == "ws"'

③ 跟踪所有的块I/O 写完成事件，CTRL+C结束

[root@agent ~]# perf record -e block:block_rq_complete --filter 'rwbs ~ "*W*"'

（4）磁盘I/O延时

① 记录磁盘发出和完成事件，睡眠60秒

[root@agent ~]# perf record -e block:block_rq_issue,block:block_rq_complete -a sleep 60

② 写入指定文件

[root@agent ~]# perf script --header > out.disk01.txt

③ 查看文件

[root@agent ~]# vim out.disk01.txt 

6. biolatency

（1）以直方图的形式显示磁盘I/O延时

①BCC跟踪块I/O 10秒

[root@agent ~]# biolatency 10 1

（2）-F 显示每个I/O标志位组的直方图，-m以毫秒为单位输出

[root@agent ~]# biolatency -Fm 10 1

7. biosnoop

(1) 输出每个磁盘I/O的单行摘要

[root@agent ~]# biosnoop

（2）离群点分析

①写入一个文件

[root@agent ~]# biosnoop > out.biosnoop01.txt

② 安装延时列将输出排序，并打印最后5个条目（高延时项目）

[root@agent ~]# sort -n -k 8,8 out.biosnoop01.txt | tail -5

③文本编辑器打开输出

[root@agent ~]# vim out.biosnoop01.txt 

④ 从最快到最慢遍历离群值，寻找第一列的时间

（3）排队时间

-Q 显示从创建I/O 到向设备发出的时间

[root@agent ~]# biosnoop -Q

8.iotop、biotop

(1) iotop

①  -b 批量模式来提供滚动输出（不清楚屏幕）、-d5 间隔时间为5秒、-o 显示I/O 进程

[root@agent ~]# iotop -bod5

(2)biotop

① 磁盘的top工具

[root@agent ~]# biotop 

9.blktrace

（1）块设备I/O 事件的自定义跟踪工具

[root@agent ~]# blktrace -d /dev/sda -o - | blkparse -i -

（2）等价命令

[root@agent ~]# btrace /dev/sda 

（3）活动功率

① -a issue 跟踪D活动（发出I/O）

[root@agent ~]# btrace -a issue /dev/sda

(4) 分析

① 查看磁盘

[root@agent tracefiles]# lsblk

② dev/sda 上使用blktrace来分析

[root@agent tracefiles]# blktrace -d /dev/sda -o out -w 10

③ 写入跟踪文件

[root@agent tracefiles]# blkparse -i out.blktrace.* -d out.bin

④ 分析I/O轨迹的btt

[root@agent tracefiles]# btt -i out.bin

⑤ 查看当前目录

[root@agent tracefiles]# ls

10.bpftrace

(1) 计数块I/O tracepoint事件

[root@agent tracefiles]#  bpftrace -e 'tracepoint:block:* { @[probe] = count(); }'

(2) 把块I/O 大小汇总成一张直方图

[root@agent ~]#  bpftrace -e 't:block:block_rq_issue { @bytes = hist(args->bytes); }'

（3）计数块I/O 请求的用户栈踪迹

[root@agent ~]#  bpftrace -e 't:block:block_rq_issue { @[ustack] = count(); }'

[root@agent ~]#  bpftrace -e 't:block:block_rq_insert { @[ustack] = count(); }'

（4）计数块I/O 类型的标识位

[root@agent ~]#  bpftrace -e 't:block:block_rq_issue { @[args->rwbs] = count(); }'

（5）跟踪块I/O 错误，包括设备和I/O类型

[root@agent ~]#  bpftrace -e 't:block:block_rq_complete /args->error/ { printf("dev %d type %s error %d/n", args->dev, args->rwbs, args->error); }'

（6）计数SCSI操作码

[root@agent ~]#  bpftrace -e 't:scsi:scsi_dispatch_cmd_start { @opcode[args->opcode] = count(); }'

（7）计数SCSI结果码

[root@agent ~]#  bpftrace -e 't:scsi:scsi_dispatch_cmd_done { @result[args->result] = count(); }'

（8）计数SCSI驱动程序函数

[root@agent ~]#  bpftrace -e 'kprobe:scsi* { @[func] = count(); }'

（9）磁盘I/O大小

① 按请求进程名称细分的磁盘I/O大小分布

[root@agent ~]#  bpftrace -e 't:block:block_rq_issue /args->bytes/ { @[comm] = hist(args->bytes); }'

② 添加args->rwbs作为直方图键，输出将按I/O类型进一步细分

[root@agent ~]#  bpftrace -e 't:block:block_rq_insert /args->bytes/ { @[comm, args->rwbs] = hist(args->bytes); }'

11.smartctl

（1）输出 SMART（自监测、分析和报告技术）数据 

[root@agent ~]# smartctl --all  /dev/sda

二、问题

1.如何查看PSI数据

（1）命令

[root@agent ~]# cat /proc/pressure/io

 some开头的一行显示了一些任务（线程）受到影响的时间，full开头的一行显示了所有可运行任务受到影响的时间

2.iotop如何安装

（1）搜索

[root@agent ~]# yum search iotop

（2）安装

[root@agent ~]# yum install iotop -y                   

3.smartctl如何使用

（1）命令

[root@agent ~]# smartctl -h

（2）参数

Usage: smartctl [options] device============================================ SHOW INFORMATION OPTIONS =====-h, --help, --usageDisplay this help and exit-V, --version, --copyright, --licensePrint license, copyright, and version information and exit-i, --infoShow identity information for device--identify[=[w][nvb]]Show words and bits from IDENTIFY DEVICE data                (ATA)-g NAME, --get=NAMEGet device setting: all, aam, apm, dsn, lookahead, security,wcache, rcache, wcreorder, wcache-sct-a, --allShow all SMART information for device-x, --xallShow all information for device--scanScan for devices--scan-openScan for devices and try to open each device================================== SMARTCTL RUN-TIME BEHAVIOR OPTIONS =====-j, --json[=[cgiosuv]]Print output in JSON format-q TYPE, --quietmode=TYPE                                           (ATA)Set smartctl quiet mode to one of: errorsonly, silent, noserial-d TYPE, --device=TYPESpecify device type to one of:ata, scsi[+TYPE], nvme[,NSID], sat[,auto][,N][+TYPE], usbcypress[,X], usbjmicron[,p][,x][,N], usbprolific, usbsunplus, sntjmicron[,NSID], intelliprop,N[+TYPE], marvell, areca,N/E, 3ware,N, hpt,L/M/N, megaraid,N, aacraid,H,L,ID, cciss,N, auto, test-T TYPE, --tolerance=TYPE                                           (ATA)Tolerance: normal, conservative, permissive, verypermissive-b TYPE, --badsum=TYPE                                              (ATA)Set action on bad checksum to one of: warn, exit, ignore-r TYPE, --report=TYPEReport transactions (see man page)-n MODE[,STATUS], --nocheck=MODE[,STATUS]                           (ATA)No check if: never, sleep, standby, idle (see man page)============================== DEVICE FEATURE ENABLE/DISABLE COMMANDS =====-s VALUE, --smart=VALUEEnable/disable SMART on device (on/off)-o VALUE, --offlineauto=VALUE                                       (ATA)Enable/disable automatic offline testing on device (on/off)-S VALUE, --saveauto=VALUE                                          (ATA)Enable/disable Attribute autosave on device (on/off)-s NAME[,VALUE], --set=NAME[,VALUE]Enable/disable/change device setting: aam,[N|off], apm,[N|off],dsn,[on|off], lookahead,[on|off], security-freeze,standby,[N|off|now], wcache,[on|off], rcache,[on|off],wcreorder,[on|off[,p]], wcache-sct,[ata|on|off[,p]]======================================= READ AND DISPLAY DATA OPTIONS =====-H, --healthShow device SMART health status-c, --capabilities                                            (ATA, NVMe)Show device SMART capabilities-A, --attributesShow device SMART vendor-specific Attributes and values-f FORMAT, --format=FORMAT                                          (ATA)Set output format for attributes: old, brief, hex[,id|val]-l TYPE, --log=TYPEShow device log. TYPE: error, selftest, selective, directory[,g|s],xerror[,N][,error], xselftest[,N][,selftest], background,sasphy[,reset], sataphy[,reset], scttemp[sts,hist],scttempint,N[,p], scterc[,N,M], devstat[,N], defects[,N], ssd,gplog,N[,RANGE], smartlog,N[,RANGE], nvmelog,N,SIZE-v N,OPTION , --vendorattribute=N,OPTION                            (ATA)Set display OPTION for vendor Attribute N (see man page)-F TYPE, --firmwarebug=TYPE                                         (ATA)Use firmware bug workaround:none, nologdir, samsung, samsung2, samsung3, xerrorlba, swapid-P TYPE, --presets=TYPE                                             (ATA)Drive-specific presets: use, ignore, show, showall-B [+]FILE, --drivedb=[+]FILE                                       (ATA)Read and replace [add] drive database from FILE[default is +/etc/smartmontools/smart_drivedb.hand then    /usr/share/smartmontools/drivedb.h]============================================ DEVICE SELF-TEST OPTIONS =====-t TEST, --test=TESTRun test. TEST: offline, short, long, conveyance, force, vendor,N,select,M-N, pending,N, afterselect,[on|off]-C, --captiveDo test in captive mode (along with -t)-X, --abortAbort any non-captive test on device=================================================== SMARTCTL EXAMPLES =====smartctl --all /dev/sda                    (Prints all SMART information)smartctl --smart=on --offlineauto=on --saveauto=on /dev/sda(Enables SMART on first disk)smartctl --test=long /dev/sda          (Executes extended disk self-test)smartctl --attributes --log=selftest --quietmode=errorsonly /dev/sda(Prints Self-Test & Attribute errors)smartctl --all --device=3ware,2 /dev/sdasmartctl --all --device=3ware,2 /dev/twe0smartctl --all --device=3ware,2 /dev/twa0smartctl --all --device=3ware,2 /dev/twl0(Prints all SMART info for 3rd ATA disk on 3ware RAID controller)smartctl --all --device=hpt,1/1/3 /dev/sda(Prints all SMART info for the SATA disk attached to the 3rd PMPortof the 1st channel on the 1st HighPoint RAID controller)smartctl --all --device=areca,3/1 /dev/sg2(Prints all SMART info for 3rd ATA disk of the 1st enclosureon Areca RAID controller)