磁盘 I/O 性能优化

磁盘 I/O 性能优化是一个从硬件、系统内核、文件系统、应用程序到I/O 模式的全链路优化过程核心目标是减少磁盘访问次数、降低延迟、提升吞吐量与 IOPS。硬件层面1. 存储介质升级HDD → SATA SSD → NVMe SSD随机读写性能提升 10–100 倍IOPS 从百级跃升至数十万级。适用场景数据库、缓存、高频小文件、随机读写密集型业务。2. RAID 配置并行 冗余RAID 级别性能冗余适用场景RAID 0最高条带化无临时数据、非核心、追求极致速度RAID 1读快、写慢100% 镜像高可靠、低写入负载RAID 5读快、写慢校验开销允许 1 盘故障大容量、读密集、成本敏感RAID 6读快、写更慢允许 2 盘故障极高可靠、大容量RAID 10极高镜像 条带高数据库、核心业务、高写入3. 其他硬件优化分离 I/O 负载日志、数据、临时文件放在不同物理盘 / 控制器避免争抢。升级总线 / 控制器PCIe 3.0/4.0、NVMe over Fabrics、多路径 I/OMultipath。开启硬件写缓存BBU/Flash Backup大幅提升写性能需确保掉电保护。SSD 启用 TRIMfstrim或挂载discard避免垃圾回收阻塞。系统内核与 I/O 调度优化1. 选择合适的 I/O 调度器# 查看当前调度器 cat /sys/block/sdX/queue/scheduler # HDD机械盘deadline减少随机I/O延迟 echo deadline /sys/block/sdX/queue/scheduler # SSD/NVMenoop无调度硬件自己处理 echo noop /sys/block/sdX/queue/scheduler # 多队列设备现代SSDmq-deadline / kyber echo mq-deadline /sys/block/sdX/queue/scheduler2. 调整队列与预读# 增大请求队列深度默认128SSD可设256–1024 echo 512 /sys/block/sdX/queue/nr_requests # 调整预读默认256KB大文件顺序读可设1–4MB blockdev --setra 8192 /dev/sdX # 单位512B扇区 → 4MB3. 内存与缓存调优减少直接 I/O# 减少目录项/索引节点回收压力I/O密集场景设50–80 echo 50 /proc/sys/vm/vfs_cache_pressure # 调整脏页回写降低写阻塞 echo 30 /proc/sys/vm/dirty_ratio echo 10 /proc/sys/vm/dirty_background_ratio echo 500 /proc/sys/vm/dirty_expire_centisecs # 5秒/sys/block//sys/block/sysfs 里所有块设备的目录sdXSCSI/SATA/SSD 磁盘sda、sdb、sdc…nvme 盘是/sys/block/nvmeXnY/这是内核暴露给用户态的块设备控制接口实时生效、无需重启完整结构/sys/block/sdX/ ├── dev # 主:次设备号 ├── size # 扇区数 ├── removable # 是否可移动设备 ├── queue/ ✅ 核心I/O 调度、队列、性能参数全在这里 └── device/ 硬件信息厂商、转速、SATA 模式等queue/目录I/O 优化 90% 都在这里/sys/block/sdX/queue/ ├── scheduler # I/O 调度器noop、mq-deadline、kyber、cfq ├── nr_requests # 最大并发 I/O 请求数队列深度 ├── read_ahead_kb # 内核预读大小KB大文件必备 ├── max_sectors_kb # 单次 I/O 最大大小大文件吞吐量 ├── rotational # 0SSD/闪存 1机械盘 ├── rq_affinity # CPU 与请求队列亲和 ├── write_queue # 写队列相关 └── iosched/ 调度器专属参数scheduler控制 I/O 合并、排序策略SSD/NVMemq-deadline/noneHDDmq-deadlinenr_requests队列深度越大并发越强但延迟会上升SSD 常用256、512、1024块设备层能同时排队的 I/O 请求数量简单比喻队列深度 超市收银台排队人数太少收银台闲、吞吐量上不去太多队伍太长、每个人等待时间暴涨read_ahead_kb顺序读预读默认 128KB大文件场景4096、8192 KBrotational内核自动识别0 SSD不寻道1 HDD会寻道内核会根据这个自动优化 I/O 策略max_sectors_kb单次 I/O 最大尺寸默认 512KB大文件可适当调大最常用命令# 查看磁盘名 ls /sys/block/ # 查看调度器 cat /sys/block/sda/queue/scheduler # 改调度器 echo mq-deadline /sys/block/sda/queue/scheduler # 改队列深度 echo 512 /sys/block/sda/queue/nr_requests # 改预读 echo 4096 /sys/block/sda/queue/read_ahead_kb # 看是否 SSD cat /sys/block/sda/queue/rotational # 0SSD文件系统优化1. 文件系统选型ext4小文件、元数据密集、兼容性好。XFS大文件、高并发、高吞吐量、延迟更稳。Btrfs/ZFS快照、压缩、校验、多盘管理性能有开销。2. 挂载参数优化# ext4 示例SSD mount -o remount,noatime,nodiratime,datawriteback,discard,barrier0 /data # XFS 示例 mount -o remount,noatime,nodiratime,allocsize4m,barrier0 /xfsdatanoatime/nodiratime禁止更新访问时间减少大量写 I/O。datawriteback元数据异步写ext4提升写性能。discard启用 TRIMSSD。barrier0关闭写屏障仅在硬件写缓存带掉电保护时使用。allocsize4mXFS 预分配大块减少碎片。3. 文件系统参数调优# ext4 减少日志开销 tune2fs -o journal_data_writeback /dev/sdX # 减少保留空间默认5%数据盘可设1% tune2fs -m 1 /dev/sdX # 增大日志提升并发写 mkfs.ext4 -J size1g /dev/sdXI/O 瓶颈核心 6 大指标来自 iostat -x1.%util—— 磁盘繁忙率最重要表示设备繁忙时间占比70%正常70%~85%警戒≥90%已饱和I/O 瓶颈只要 util 100%磁盘就是瓶颈调任何内核参数都救不了2.await—— I/O 总等待时间ms I/O 在队列等待 磁盘实际处理时间SSD5ms 优秀SSD5~10ms 一般SSD10ms 明显瓶颈HDD15ms 优秀HDD20ms 严重瓶颈3.svctm—— 磁盘真实服务时间ms不包含排队纯粹磁盘快慢SSD0.1~1msHDD3~10ms如果svctm 本身很大→磁盘硬件慢如果svctm 小、await 大→队列拥堵不是磁盘慢4.avgqu-sz—— 平均请求队列长度队列越长等待越久SSD合理 4~16HDD4 就开始拥堵5.r/s w/s—— IOPSHDD 随机 IOPS~100 封顶SSD 随机 IOPS几千几十万IOPS 跑满 →硬件极限瓶颈6.rkB/s wkB/s—— 吞吐量HDD几十150MB/sSSD300~3000MB/s吞吐量打满 → 带宽瓶颈命令iostat -x 1await 远大于 svctm→ I/O 队列拥堵调队列、调度器%util 100%→ 磁盘物理极限必须升级 SSD/RAID 或优化应用内核 VM 优化减少刷盘卡顿echo 50 /proc/sys/vm/vfs_cache_pressure echo 10 /proc/sys/vm/dirty_background_ratio echo 30 /proc/sys/vm/dirty_ratio echo 500 /proc/sys/vm/dirty_expire_centisecs应用与 I/O 模式优化1. 减少 I/O 次数批量读写小 I/O 合并为大 I/O如日志先缓存再批量写。避免频繁 open/close复用文件句柄。顺序 I/O 优先尽量连续读写减少随机 I/OHDD 寻道开销极大。2. 异步与非阻塞 I/O使用libaio / io_uring替代同步读写避免进程阻塞。数据库调整innodb_flush_log_at_trx_commit、innodb_buffer_pool_size、async I/O。3. 应用层缓存热点数据放内存Redis、本地缓存、数据库缓冲池。读写分离、分库分表、冷热数据分离。4. 数据库专项优化表空间、数据文件、日志文件分离到不同物理盘。调整页大小、预读、刷盘策略、索引优化减少随机读。监控与诊断常用工具iostat -x 1 # 看 %util、await、svctm、rMB/s、wMB/s iotop # 进程级I/O占用 pidstat -d 1 # 进程I/O统计 fio # 基准测试顺序/随机读写、IOPS、延迟 dstat # 综合系统指标 blktrace / btrace # 块I/O跟踪核心指标%util设备繁忙度80% 通常瓶颈。awaitI/O 平均等待时间20ms 需优化。svctm服务时间HDD 10msSSD 1ms。rMB/s / wMB/s吞吐量。IOPS每秒 I/O 数。优化优先级建议先定位瓶颈用iostat/iotop/fio确认是硬件、调度、文件系统还是应用问题。硬件升级HDD → SSD/NVMe、RAID 10、分离负载见效最快。内核与调度选对调度器、调队列、预读、脏页。文件系统noatime、writeback、TRIM、合适的 FS。应用改造批量、异步、顺序 I/O、缓存最持久。