6个Linux CPU调优实战技巧，第三个帮你解决CPU飙升

一、什么时候需要CPU调优服务响应变慢top看到CPU us或sy持续超过70%机器load average高于CPU核心数*2你怀疑某个进程占用了太多CPU想限制它或给它提权虚拟化环境里%steal高说明宿主机超售严重读完这篇你会能判断CPU瓶颈的类型会用工具定位热点敢动手改内核参数。前置条件能登录Linux服务器有root权限。我用Ubuntu 22.04内核5.15和CentOS 7内核3.10都测过。二、先把指标看懂别瞎调2.1top的第一行 load averageload average: 2.50, 3.10, 4.20这三个数分别是1分钟、5分钟、15分钟的平均活跃进程数正在运行等待运行的进程。注意它不是CPU使用率。怎么判断load高不高拿CPU核心数比较。比如4核机器load 4 算正常超过8说明有大量进程在排队。坑load高但CPU idle也高说明进程卡在I/O或锁上比如磁盘慢、网络等待。这时候调CPU没用。2.2top的CPU状态行%Cpu(s): 12.5 us, 3.2 sy, 0.0 ni, 84.0 id, 0.2 wa, 0.0 hi, 0.1 si, 0.0 st字段含义正常范围us用户态应用代码视业务长期80%考虑优化代码sy内核态系统调用、驱动通常10%过高可能锁竞争或驱动问题ninice值调整过的进程用户态一般很小id空闲越高越好wa等待I/O超过5%说明磁盘是瓶颈别调CPUhi硬件中断通常1%过高可能网卡中断风暴si软件中断通常3%过高可能网络流量大或驱动问题st虚拟机偷走的时间云上常见5%说明宿主机超售严重2.3 我推荐的一键看全局命令# 每秒刷新显示CPU、内存、磁盘、网络 vmstat 1 5 # 重点看r运行队列b阻塞进程cs上下文切换in中断us,sy,id,wa预期输出示例procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 2 0 0 204800 10240 512000 0 0 10 20 500 8000 15 3 82 0 0cs上下文切换如果超过几万说明线程频繁切换考虑减少线程数或绑核。三、定位CPU热点谁在吃CPU3.1 用top找到最猛的进程top -o %CPU # 按CPU排序记下PID然后看它的线程top -H -p PID3.2 用pidstat看每个线程的CPU占用pidstat -t -p PID 1 # 每秒输出-t显示线程如果某个线程一直很高记下TID线程ID。3.3 用perf看热点函数终极武器# 采样30秒看CPU在哪里花时间 perf top -p PID # 或者记录后分析 perf record -p PID -g -- sleep 30 perf report你会看到一个火焰图式的调用栈。我当初用这个发现程序在疯狂调用strlen()原来是日志打印太频繁。彩蛋如果没装perf试试strace -c -p PID看系统调用耗时。不过strace开销大生产慎用。四、调优手段从软到硬4.1 调整进程优先级nicenice值范围-20到19越低优先级越高。普通用户只能调高降优先级root能调低提权。# 启动时指定nice nice -n -10 ./my_app # 调整已运行的进程 renice -n -5 -p 1234我推荐I/O密集型的数据库进程可以给高优先级比如-10而备份脚本给低优先级19。4.2 绑核CPU亲和性避免进程在核心间频繁迁移提高缓存命中率。# 查看进程当前绑定情况 taskset -p PID # 绑定到CPU 0,2掩码0b01015 taskset -p 5 PID # 启动时绑定 taskset -c 0,2 ./my_app注意别把关键进程和网络中断绑在同一个核。我一般把网卡中断绑到最后一个核应用绑到前几个。4.3 调整内核调度参数高手向这些参数在/proc/sys/kernel/下临时修改用sysctl -w永久写/etc/sysctl.conf。# 查看CFS调度器的唤醒抢占粒度默认4ms cat /proc/sys/kernel/sched_wakeup_granularity_ns # 减少抢占粒度提高交互性但吞吐会降 sysctl -w kernel.sched_wakeup_granularity_ns2000000我一般不碰这些除非你有非常明确的场景比如实时音视频。乱调可能让系统行为变得诡异。4.4 限制进程CPU使用cgroup用systemd或cgroup v2限制某个服务占用不超过2个核。# 创建一个cgroupcgroup v1 cgcreate -g cpu:/limited cgset -r cpu.cfs_quota_us200000 limited # 2核200ms内给200ms cgset -r cpu.cfs_period_us100000 limited # 把进程放进去 cgclassify -g cpu:/limited PID用systemd更简单编辑service文件加CPUQuota200%。五、实战案例Nginx CPU飙升到100%场景还原某天top看到nginx的CPU使用率100% us但流量没涨。重启后一会儿又上去。排查过程pidstat -t -p $(pidof nginx) 1看到worker线程CPU高。perf top -p 那个线程PID发现热点在ngx_http_log_handler。检查nginx配置发现access_log里用了$request_time而且日志级别开了debug。注释掉debug把日志格式简化CPU降到5%。教训日志格式里计算变量比如$request_time会消耗CPU。生产环境别开debug。六、彩蛋几个你可能不知道的CPU调优命令lscpu看CPU型号、核心数、NUMA拓扑。numactl --hardware看NUMA节点内存分布。跨节点访问内存慢绑核时尽量用同节点的内存。irqbalance服务自动分配中断到不同CPU但有时手动绑定效果更好。cpupower frequency-set -g performance把CPU频率策略设为性能模式笔记本默认是powersave。我踩过的坑在虚拟化环境KVM里宿主机超售太多你调guest没卵用。找云服务商换独享型实例。七、验证调优效果调完别重启就走。用压测工具跑一下# 安装stress sudo apt install stress # 制造4个CPU满负荷 stress --cpu 4 --timeout 60 # 同时用mpstat观察 mpstat -P ALL 1如果负载能压满且%sys不异常就算及格。生产验证灰度切流量观察半小时对比调优前后的平均响应时间和CPU使用率。八、常见问题真有人问过我Qload average很高但top里CPU idle也高为什么A进程在等I/O磁盘、网络或者被锁阻塞。用iostat -x 1看%util或者pidstat -d看进程读写。Q改nice值会影响其他进程吗A会。你给A提权B就相对被降权。别在生产环境随便renice -20除非你确定A非常重要。Qperf报No permissionA内核参数kernel.perf_event_paranoid默认2普通用户不能用。临时调成1sysctl -w kernel.perf_event_paranoid1。或者用sudo perf。Q我的CPU支持超线程应该把两个逻辑核当同一个物理核看待吗A对于计算密集型任务建议两个逻辑核不要同时满负荷否则会争抢执行单元。绑核时先查物理核IDcat /sys/devices/system/cpu/cpu*/topology/thread_siblings_list。九、总结一下先定位后调优用top、mpstat、vmstat看清瓶颈是us、sy还是wa。用户态高优化代码减少循环、缓存结果或调nice。内核态高看系统调用strace、锁竞争perf lock、中断/proc/interrupts。最后手段加CPU、换云主机规格。CPU调优是个细活不要为了调优而调优。如果系统响应已经满足SLA就别动了。你有没有遇到过CPU调优翻车的经历来评论区聊聊我帮你分析。