如何知道docker谁占用的显卡的显存？

python环境安装nvidia-htop

nvidia-htop是一个看详细的工具。

pip3 install nvidia-htop

查看pid

指令是：

nvidia-smi | nvidia-htop.py -l

比如0卡有进程PID是3311673，是root占用。凡是USER里不是普通用户名的，都是docker run起来的容器在使用显存。如何查看3311673是谁在占用?

我们需要找到进程的 cgroup 文件，然后从 cgroup 文件中提取容器 ID。

找到进程的 cgroup 文件：

cat /proc/3311673/cgroup

容器id是923dc8979571a的这个容器，启动了进程3311673，占用了显存。容器的名字是daonan_sdxl。

这一步之后只有审计追溯了，或者可以从inspect里找一些信息确认一下。

docker inspect daonan_sdxl

查了一下：https://cloud.tencent.com/developer/ask/sof/115145807，使用docker 就相当于是匿名用户，docker本身不会记忆谁执行了它。

加一个追踪

在Docker中，直接通过Docker命令来追踪启动容器的具体用户是不太可能的，因为Docker并不会默认记录启动容器的用户信息。不过，可以通过以下一些方法来间接地追踪和记录相关信息：

创建文件：

touch /var/log/docker-commands.log
chmod 777 /var/log/docker-commands.log

进入这里：

cd /usr/bin/
mv docker docker-original

创建一个脚本 docker：

vim docker

#!/bin/bash# 记录docker run命令
if [[ "$1" == "run" ]]; thenecho "$(date) - $(whoami) - $@" >> /var/log/docker-commands.log
fi# 执行docker命令
/usr/bin/docker-original "$@"

加权限：

sudo chmod +x /usr/bin/docker

ok！

总结一下【找到容器创建时间】

创建这个脚本：

#!/bin/bash# 检查是否提供了PID参数
if [ -z "$1" ]; thenecho "Usage: $0 <PID>"exit 1
fiPID=$1# 获取进程的cgroup文件内容
CGROUP_FILE="/proc/$PID/cgroup"if [ ! -f "$CGROUP_FILE" ]; thenecho "PID $PID does not exist or /proc/$PID/cgroup file not found."exit 1
fi# 提取容器ID
CONTAINER_ID=$(cat $CGROUP_FILE | grep 'docker' | sed 's/.*\///' | grep -o -E '[0-9a-f]{64}' | tail -n 1)if [ -z "$CONTAINER_ID" ]; thenecho "No Docker container found for PID $PID."exit 1
fi# 获取容器名称
CONTAINER_NAME=$(docker inspect --format '{{.Name}}' $CONTAINER_ID | sed 's/^\/\(.*\)/\1/')if [ -z "$CONTAINER_NAME" ]; thenecho "Failed to retrieve container name for container ID $CONTAINER_ID."exit 1
fi# 获取容器创建时间
CONTAINER_CREATED=$(docker inspect --format '{{.Created}}' $CONTAINER_ID)if [ -z "$CONTAINER_CREATED" ]; thenecho "Failed to retrieve creation time for container ID $CONTAINER_ID."exit 1
fi# 输出结果
echo "Container ID: $CONTAINER_ID"
echo "Container Name: $CONTAINER_NAME"
echo "Container Created: $CONTAINER_CREATED"exit 0

使用说明

1. 将上述脚本保存为 find_container_by_pid.sh。
2. 给脚本添加执行权限：

   chmod +x find_container_by_pid.sh
   

3. 运行脚本并传入一个PID：

   ./find_container_by_pid.sh <PID>
   

示例

./find_container_by_pid.sh 3311673

该脚本将会输出指定PID对应的容器ID、容器名称和容器创建时间。

再总结一下【用PID找到容器创建时间，从而找到谁创建的】

可以通过编写一个新的Shell脚本来实现这个功能。这个脚本将会基于容器的创建时间，从日志文件 /var/log/docker-commands.log 中查找对应的记录。以下是这个新脚本的实现：

#!/bin/bash# 检查是否提供了PID参数
if [ -z "$1" ]; thenecho "Usage: $0 <PID>"exit 1
fiPID=$1# 调用之前的脚本来获取容器ID、名称和创建时间
container_info=$(./find_container_by_pid.sh $PID)
if [ $? -ne 0 ]; thenecho "Failed to get container info for PID $PID."exit 1
fi# 提取容器创建时间和容器ID
CONTAINER_CREATED=$(echo "$container_info" | grep "Container Created:" | awk '{print $3}')
CONTAINER_ID=$(echo "$container_info" | grep "Container ID:" | awk '{print $3}')echo $CONTAINER_ID# 将创建时间转换为前后1秒的时间范围
start_time=$(date -d "$(echo $CONTAINER_CREATED | sed 's/Z//') -1 second" +"%Y-%m-%dT%H:%M:%S")
end_time=$(date -d "$(echo $CONTAINER_CREATED | sed 's/Z//') +1 second" +"%Y-%m-%dT%H:%M:%S")# 从日志文件中查找对应时间范围的记录
log_file="/var/log/docker-commands.log"
if [ ! -f "$log_file" ]; thenecho "Log file $log_file not found."exit 1
fiecho "Searching for logs between $start_time and $end_time"
log_entries=$(grep -E "$start_time|$end_time" $log_file)# 打印结果
if [ -z "$log_entries" ]; thenecho "No log entries found for the specified time range."
elseecho "Log entries found:"echo "$log_entries"echo ""echo "Container Creator and ID:"echo "$log_entries" | while read -r line ; docreator=$(echo $line | awk '{print $4}')echo "Creator: $creator, Container ID: $CONTAINER_ID"done
fiexit 0

使用说明

1. 确保之前的脚本 find_container_by_pid.sh 是可执行的，并且路径正确。
2. 将上述新脚本保存为 find_container_creator.sh。
3. 给新脚本添加执行权限：

   chmod +x find_container_creator.sh
   

4. 运行新脚本并传入一个PID：

   ./find_container_creator.sh <PID>
   

示例

./find_container_creator.sh 3311673

该脚本将会基于容器的创建时间，从日志文件 /var/log/docker-commands.log 中查找对应时间范围的记录，并打印出来。希望这个新脚本能满足你的需求。