实现一个自动保存高CPU占用现场的简易工具

CPU 使用率在系统监控中是一个非常重要的指标。对于大多数 Web 应用来说，它们往往是 IO 密集型的，因此只会在某些时刻可能会出现 CPU 突然飙升的情况，随后很快就恢复正常。然而，当收到报警并想要排查问题时，CPU 飙升的情况可能已经过去，无法直接查看当时 Java 进程内的线程堆栈信息。

为了解决这个问题，本文实现了一个小工具，它在 CPU 飙升时自动保存堆栈信息，方便后续问题的追踪。

该工具实现了两个主要功能：

1. 当 CPU 使用率达到预设的阈值时，自动保存当前 Java 进程的线程堆栈信息；
2. 输出占用 CPU 使用率最高的线程 ID。

本文选择在 Linux 系统上实现这个工具，因为大多数应用都是部署在 Linux 环境中（本来想实现一个 MacOS 版本的脚本，但捣鼓了半天，由于格式以及函数存在差异，所以就没继续纠结了）

脚本如下：

#!/bin/bash
if [ $# -ne 1 ]; thenecho "Usage: $0 <j_pid>"exit 1
fij_pid=$1
threshold=90while true; docpu_info=$(ps -p "$j_pid" -o %cpu=)cpu_usage=$(sed 's/%//g' <<< "$cpu_info")current_time=$(date +'%Y-%m-%d %H:%M:%S')echo "[-----$current_time] Current CPU Usage: $cpu_usage%"if [ $(echo "$cpu_usage > $threshold" | bc -q) -eq 1 ]; thenthread_id=$(top -b -n 1 -H -p $j_pid | grep -E "^\s*[0-9]+" | sort -k9 -r | head -n 1 | awk '{print $1}')echo "[-----$current_time] Detected! PID: $j_pid ; Thread ID: $thread_id"jstack_output=$(jstack -l $j_pid)jstack_filename="jstack_$(date +'%Y%m%d%H%M%S').txt"echo "$jstack_output" > "$jstack_filename"echo "[$current_time] jstack_filename: $jstack_filename"fisleep 10
done

可以看看效果，这是模拟的消耗 CPU 的 Java 代码：

/*** @author dongguabai* @date 2023-07-21 13:11*/
public class Test {public static void doSth() {while (true) {double x = Math.random() * Math.random();}}public static void main(String[] args) {new Thread(new Runnable() {@Overridepublic void run() {doSth();}}, "highcpu_thread").start();}
}

执行 Java 代码：

[root@MiWiFi-R4CM-srv javaTest]# javac Test.java
[root@MiWiFi-R4CM-srv javaTest]# java Test

执行脚本：

[root@MiWiFi-R4CM-srv javaTest]# sh monitor.sh 9581
[-----2023-07-21 01:37:12] Current CPU Usage: 99.3%
[-----2023-07-21 01:37:12] Detected! PID: 9581 ; Thread ID: 9590
[2023-07-21 01:37:12] jstack_filename: jstack_20230721013713.txt

查看线程 ID：

查看线程堆栈：

"Attach Listener" #9 daemon prio=9 os_prio=0 tid=0xb768fc00 nid=0x25a0 waiting on condition [0x00000000]java.lang.Thread.State: RUNNABLE"DestroyJavaVM" #8 prio=5 os_prio=0 tid=0xb7607400 nid=0x256e waiting on condition [0x00000000]java.lang.Thread.State: RUNNABLE"highcpu_thread" #7 prio=5 os_prio=0 tid=0xb768ec00 nid=0x2576 runnable [0xa4bb8000]java.lang.Thread.State: RUNNABLEat Test.doSth(Test.java:13)at Test$1.run(Test.java:20)at java.lang.Thread.run(Thread.java:748)

可以看到，效果还是可以的。

注意事项

在生产环境中使用此工具时，需要注意以下几点：

1. jstack 命令可能对系统性能产生一定影响，需要谨慎使用并避免频繁执行
   • 如果 Java 进程非常大，有很多线程，那么收集线程堆栈信息的操作可能会耗费较多的系统资源
   • 触发脚本时 Java 进程本身已经处于高负载状态，运行jstack命令可能会导致 Java 进程的响应时间增加
   • 最好设置一个触发阈值，频繁地运行 jstack 命令收集线程堆栈信息，可能会在一定程度上增加系统负担
2. 脚本最好保存在一个不容易被意外杀掉的地方，以确保在 CPU 飙升时能正常执行。
3. 在应用刚启动的时候，可能由于初始化等操作导致短暂的 CPU 飙升，因此脚本可设置延迟执行，避免误报。