收到线上服务器出现cpu告警一般怎么排查？

当线上服务器出现CPU告警时，可以按照以下步骤进行系统性排查，逐步定位问题根源：

---

1. 快速确认CPU使用情况

• 命令工具：

  top                          # 实时查看CPU占用（按P排序进程）
  htop                         # 增强版top，支持可视化操作
  mpstat -P ALL 1              # 查看每个CPU核心的详细利用率
  sar -u 1 5                   # 历史CPU使用率统计（需安装sysstat）
  

• 关注指标：
  • %us（用户态）高：应用代码消耗CPU。
  • %sy（内核态）高：系统调用或中断频繁。
  • %wa（I/O等待）：高则可能磁盘/网络IO成为瓶颈。

---

2. 定位高CPU进程/线程

• 查看进程：

  top -c                       # 显示完整命令，确认可疑进程
  ps -eo pid,pcpu,comm,args --sort=-%cpu | head  # 按CPU排序进程
  

• 深入线程：

  top -H -p <PID>              # 查看指定进程的线程（按P排序）
  pidstat -t -p <PID> 1        # 统计线程级CPU使用
  

---

3. 分析进程内部状态

• Java应用：

  jstack <PID> > thread_dump.log      # 生成线程快照
  jstat -gcutil <PID> 1000            # 检查GC情况（频繁GC可能导致CPU高）
  

  • 用工具（如fastthread）分析jstack输出，查找RUNNABLE状态的线程及堆栈。

• 其他语言（如C/C++/Go）：

  pstack <PID>                 # 查看进程的线程堆栈（可能需gdb）
  perf top -p <PID>            # 实时分析函数级CPU占用
  gdb -p <PID> -ex "thread apply all bt" --batch > gdb_dump.log  # 生成完整堆栈
  

---

4. 检查系统级瓶颈

• I/O瓶颈：

  iostat -x 1                  # 查看磁盘IO负载（%util高表示瓶颈）
  dstat                        # 综合监控（CPU、磁盘、网络）
  

• 网络瓶颈：

  sar -n DEV 1                 # 网络流量统计
  ss -s                        # 查看连接统计（TIME-WAIT过多？）
  

• 上下文切换/中断：

  vmstat 1                     # 查看cs（上下文切换）、in（中断）
  pidstat -w -p <PID> 1        # 进程级上下文切换统计
  

---

5. 结合日志与监控

• 应用日志：

  • 检查错误日志（如grep -i error /var/log/app/*.log）。
  • 关注高频日志输出（可能是循环报错或异常逻辑）。

• 系统日志：

  dmesg | grep -i "error"      # 检查内核日志
  journalctl --since "5 minutes ago"  # 查看近期系统日志（systemd系统）
  

• 监控系统（如Prometheus、Zabbix）：

  • 检查历史趋势：CPU升高是否伴随流量突增？
  • 关联指标：内存、磁盘、网络、应用中间件（如数据库连接池）。

---

6. 代码/配置级检查

• 代码热点：

  • 使用性能分析工具生成火焰图：

    perf record -F 99 -p <PID> -g -- sleep 30  # 采样
    perf script > out.perf
    flamegraph.pl out.perf > flamegraph.svg    # 生成火焰图
    

  • 分析火焰图，找到占用CPU高的函数或代码块。

• 配置问题：

  • 线程池配置不合理（过多/过少）。
  • 缓存失效导致频繁计算。
  • JVM参数不当（如堆大小、GC策略）。

---

7. 安全排查

• 可疑进程：

  lsof -p <PID>                # 查看进程打开的文件/网络
  netstat -antp | grep <PID>   # 检查异常连接
  

• 挖矿病毒：
  • 检查未知进程、计划任务（crontab -l）、启动项。
  • 使用rkhunter、chkrootkit扫描后门。

---

8. 常见场景速查

• 场景1：GC频繁
  现象：jstat显示GC时间占比高，应用卡顿。
  解决：调整JVM堆大小/选择低延迟GC算法（如G1/CMS）。

• 场景2：死循环/死锁
  现象：线程堆栈中同一方法反复出现。
  解决：分析代码逻辑，修复并发问题。

• 场景3：外部依赖瓶颈
  现象：CPU高伴随大量I/O等待或网络超时。
  解决：优化数据库查询、增加缓存、降级非核心功能。

---

总结流程

1. 确认问题 → 2. 定位进程 → 3. 分析线程 → 4. 关联日志/监控 → 5. 代码/系统调优
   通过工具链逐层下钻，结合系统指标与应用逻辑，最终定位到代码或配置缺陷。