【Ubuntu】GPU显存被占用，但显示没有使用GPU的进程
文章目录
- 一、问题描述
- 二、解决方案
- 2.1 寻找问题进程
- 2.2 尝试杀死相关进程
- 2.3 投放核弹，一键全杀
- 2.4 再次查看GPU使用情况
- 参考资料
一、问题描述
今天使用服务器的时候发现gpu被占了很多内存，但是使用 nvidia-smi 命令并没有发现占这么多显存的进程，如下图所示：
二、解决方案
2.1 寻找问题进程
使用命令 sudo fuser -v /dev/nvidia* 查看。该命令将GPU设备作为文件，查看最近打开该设备文件的进程号。
在我的服务器上的输出如下所示，为便于阅读，这里我只保留部分输出。
我们可以看到主要使用gpu的进程为lmx用户的进程。
用户 进程号 权限 命令
/dev/nvidia0: ollama 1242 F...m ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-slmx 322164 F...m pt_data_workerlmx 322188 F...m pt_data_workerlmx 322212 F...m pt_data_workerlmx 322265 F...m pt_data_worker"此处省略部分输出"lmx 1833948 F.... pt_data_workerlmx 1833975 F.... pt_data_workerlmx 1834017 F.... pt_data_workerlmx 1834060 F.... pt_data_workerlmx 1834095 F.... pt_data_worker
/dev/nvidia1: ollama 1242 F...m ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-slmx 322164 F...m pt_data_workerlmx 322188 F...m pt_data_workerlmx 322212 F...m pt_data_worker"此处省略部分输出"lmx 1833975 F...m pt_data_workerlmx 1834017 F...m pt_data_workerlmx 1834060 F...m pt_data_workerlmx 1834095 F...m pt_data_worker
/dev/nvidiactl: ollama 1242 F.... ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-slmx 322164 F...m pt_data_workerlmx 322188 F...m pt_data_workerlmx 322212 F...m pt_data_workerlmx 322265 F...m pt_data_worker"此处省略部分输出"lmx 1833975 F...m pt_data_workerlmx 1834017 F...m pt_data_workerlmx 1834060 F...m pt_data_workerlmx 1834095 F...m pt_data_worker
/dev/nvidia-modeset: "此处省略部分输出"
/dev/nvidia-uvm: "此处省略部分输出"
2.2 尝试杀死相关进程
我首先根据 参考资料[2] 中所述一键解决的方法尝试杀死相关进程，但该方法对我无效，使用命令：
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sh
控制台的输出如下（这里我也只保留了部分输出），我们可以看到操作不被允许，并且进程号只到了120就结束了。（不过看那篇博客，这个方法应该是有用的，你们也可以试试）
"此处省略部分输出"sh: 1: kill: Operation not permittedsh: 2: kill: Operation not permittedsh: 3: kill: Operation not permittedsh: 4: kill: Operation not permittedsh: 5: kill: Operation not permittedsh: 6: kill: Operation not permitted"此处省略部分输出"sh: 116: kill: Operation not permittedsh: 117: kill: Operation not permittedsh: 118: kill: Operation not permittedsh: 119: kill: Operation not permittedsh: 120: kill: Operation not permitted
2.3 投放核弹，一键全杀
最后我决定杀死lmx用户下的所有进程，使用命令：
sudo kill $(ps -u lmx -o pid= | xargs)
成功解决问题！
2.4 再次查看GPU使用情况
可以看到GPU显存以恢复正常，并且lmx用户下的进程已经全部消失。
Thu Feb 20 16:04:22 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 555.58.02 Driver Version: 555.58.02 CUDA Version: 12.5 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3090 Off | 00000000:01:00.0 Off | N/A |
| 50% 45C P8 15W / 350W | 416MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 3090 Off | 00000000:05:00.0 Off | N/A |
| 50% 36C P8 8W / 350W | 36MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------++-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 2086 G /usr/lib/xorg/Xorg 35MiB |
| 0 N/A N/A 2925 G /usr/lib/xorg/Xorg 55MiB |
| 0 N/A N/A 3053 G /usr/bin/gnome-shell 14MiB |
| 0 N/A N/A 3677 G /usr/lib/xorg/Xorg 35MiB |
| 0 N/A N/A 4266 G /usr/libexec/gnome-initial-setup 4MiB |
| 1 N/A N/A 2086 G /usr/lib/xorg/Xorg 4MiB |
| 1 N/A N/A 2925 G /usr/lib/xorg/Xorg 4MiB |
| 1 N/A N/A 3677 G /usr/lib/xorg/Xorg 4MiB |
+-----------------------------------------------------------------------------------------+
用户 进程号 权限 命令
/dev/nvidia0: ollama 1242 F...m ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-s
/dev/nvidia1: ollama 1242 F...m ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-s
/dev/nvidiactl: ollama 1242 F.... ollamagdm 2925 F...m Xorggdm 3053 F...m gnome-shellwrz 3677 F...m Xorgwrz 3882 F...m gnome-shellwrz 4266 F...m gnome-initial-s
/dev/nvidia-modeset: gdm 2925 F.... Xorggdm 3053 F.... gnome-shellwrz 3677 F.... Xorgwrz 3882 F.... gnome-shellwrz 4266 F.... gnome-initial-s
/dev/nvidia-uvm: ollama 1242 F.... ollama
参考资料
[1] 记一次捉鬼：显存被占用但是nvidia-smi里看不到进程
[2] 解决gpu没有运行进程，但是显存一直占用的方式
相关文章：
【Ubuntu】GPU显存被占用，但显示没有使用GPU的进程
文章目录 一、问题描述二、解决方案2.1 寻找问题进程2.2 尝试杀死相关进程2.3 投放核弹，一键全杀2.4 再次查看GPU使用情况 参考资料 一、问题描述 今天使用服务器的时候发现gpu被占了很多内存，但是使用 nvidia-smi 命令并没有发现占这么多显存的进程&am…...
什么是pytest.ini及如何在Pytest中应用以提升配置效率
关注开源优测不迷路 大数据测试过程、策略及挑战 测试框架原理，构建成功的基石 在自动化测试工作之前，你应该知道的10条建议 在自动化测试中，重要的不是工具 当通过控制台运行Pytest测试时你必须记住记录输出、运行时环境变量、设置超时时间、…...
通义灵码AI程序员
通义灵码是阿里云与通义实验室联合打造的智能编码辅助工具，基于通义大模型技术，为开发者提供多种编程辅助功能。它支持多种编程语言，包括 Java、Python、Go、TypeScript、JavaScript、C/C、PHP、C#、Ruby 等 200 多种编码语言。 通义灵码 AI…...
以ChatGPT为例解析大模型背后的技术
目录 1、大模型分类 2、为什么自然语言处理可计算？ 2.1、One-hot分类编码（传统词表示方法） 2.2、词向量 3、Transformer架构 3.1、何为注意力机制？ 3.2、注意力机制在 Transformer 模型中有何意义？ 3.3、位置编…...
Git中revert和reset区别？
git revert 和 git reset 都用于撤销 Git 中的提交，但它们的作用和使用场景不同： git revert: 作用：创建一个新的提交，撤销指定的提交内容。使用场景：用于“回滚”已推送到远程仓库的提交。这种方法不会改变提交历史&a…...
使用docker部署NextChat，使用阿里云、硅机流动、deepseek的apikey
1、首先使用安装好了docker的服务器拉取NextChat项目 [rootxx docker]# docker pull yidadaa/chatgpt-next-web 2、启动docker容器，基于不同平台 以下的OPENAI_API_KEY参数替换成自己的就行，启动后访问地址：http://[服务器ip]:3000/ # 硅机…...
Redis-缓存过期和内存淘汰
缓存过期&&内存淘汰 过期删除如何设置过期时间判断key是否过期过期删除策略有哪些定时删除惰性删除定期删除Redis过期删除策略 内存淘汰策略如何设置Redis最大运行内存Redis内存淘汰策略有哪些不进行数据淘汰进行数据淘汰的策略设置了过期时间的数据中进行淘汰所有数据…...
测试 FreeSWITCH 的 sip_invite_route_uri
bgapi originate sofia/external/123461.132.230.73:5161 &echo 得到的是： 172.17.129.123:5088 -> 61.132.230.73:5161 INVITE sip:123461.132.230.73:5161 SIP/2.0 Via: SIP/2.0/UDP 8.141.11.8:5088;rport;branchz9hG4bKcagQFyUgF21NS Max-Forwards: 70 …...
七星棋牌全开源修复版源码解析：6端兼容，200种玩法全面支持
本篇文章将详细讲解 七星棋牌修复版源码 的 技术架构、功能实现、二次开发思路、搭建教程 等内容，助您快速掌握该棋牌系统的开发技巧。 1. 七星棋牌源码概述 七星棋牌修复版源码是一款高度自由的 开源棋牌项目，该版本修复了原版中的多个 系统漏洞&#…...
第六届计算机信息和大数据应用国际学术会议（CIBDA 2025）
重要信息 大会官网：www.ic-cibda.org（了解会议，投稿等） 大会时间：2025年3月14-16日 大会地点：中国-武汉 简介 第六届计算机信息和大数据应用（CIBDA 2025）将于2025年3月14-16日在中国…...
在 Vue 3 中使用 Lottie 动画：实现一个加载动画
在现代前端开发中，动画是提升用户体验的重要元素之一。Lottie 是一个流行的动画库，它允许我们使用 JSON 文件来渲染高质量的动画。本文将介绍如何在 Vue 3 项目中集成 Lottie 动画，并实现一个加载动画效果。 如果对你有帮助请帮忙点个&#x…...
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 在使用 PyTorch 进行深度学习模型训练与调优过程中，torch.cuda.empty_cache() 方法作为一种高效工具被广泛采用；但其正确应用要求充分理解该方法的功能及最佳实践。下文将对该方…...
快速入门——Vue框架快速上手
学习自哔哩哔哩上的“刘老师教编程”，具体学习的网站为：8.Vue框架快速上手_哔哩哔哩_bilibili，以下是看课后做的笔记，仅供参考。 第一节：前端环境准备 编码工具VSCode【www.code.visualstudio.com】/WebStorm也可&am…...
【Leetcode 每日一题】2595. 奇偶位数
问题背景 给你一个 正 整数 n n n。 用 e v e n even even 表示在 n n n 的二进制形式（下标从 0 0 0 开始）中值为 1 1 1 的偶数下标的个数。 用 o d d odd odd 表示在 n n n 的二进制形式（下标从 0 0 0 开始）中值为 1 1…...
zookeeper集群配置
配置 一、配置myid文件 # 进入解压好的文件夹下面 touch myid vim myid # master节点写0，slave1节点写1，slave2节点写2二、配置zoo.cfg文件 1.在master节点编辑zookeeper配置文件 # 进入解压好的文件夹下面 cd conf/ cp zoo_sample.cfg zoo.cfg vim …...
掌握.NET Core后端发布流程，如何部署后端应用？
无论你是刚接触.NET Core的新手还是已有经验的开发者，在这篇文章中你将会学习到一系列实用的发布技巧与最佳实践，帮助你高效顺利地将.NET Core后端应用部署到生产环境中 目录 程序发布操作 Docker容器注册表 文件夹发布 导入配置文件 网站运行操作 …...
华为昇腾920b服务器部署DeepSeek翻车现场
最近到祸一台HUAWEI Kunpeng 920 5250，先看看配置。之前是部署的讯飞大模型，发现资源利用率太低了。把5台减少到3台，就出了他 硬件配置信息 基本硬件信息 按照惯例先来看看配置。一共3块盘，500G的系统盘， 2块3T固态…...
java基础语知识（8）
类之间的关系 在类之间，最常见的关系有： 依赖（“uses-a”）;聚合（“has-a”）;继承（“is-a”）。 依赖：一种使用关系，即一个类的实现需要另一个类的协助&#x…...
使用Python添加、读取和删除Word文档属性
在Python中处理Word文档时，对文档属性进行操作是一项重要的任务。文档属性主要分为内置属性（如标题、作者等）和自定义属性（用户根据自身需求定义的属性）。合理地管理这些属性，能够提升文档管理效率、优化信…...
设计模式教程：外观模式（Facade Pattern）
1. 外观模式的定义 外观模式属于结构型设计模式，它定义了一个高层接口，使得子系统的接口变得更加简单。外观模式通过将子系统复杂的逻辑隐藏在一个外部的接口（外观类）中，简化了客户端与子系统之间的交互。 外观模式的…...
Day15-后端Web实战-登录认证——会话技术JWT令牌过滤器拦截器
目录 登录认证1. 登录功能1.1 需求1.2 接口文档1.3 思路分析1.4 功能开发1.5 测试 2. 登录校验2.1 问题分析2.2 会话技术2.2.1 会话技术介绍2.2.2 会话跟踪方案2.2.2.1 方案一 - Cookie2.2.2.2 方案二 - Session2.2.2.3 方案三 - 令牌技术 2.3 JWT令牌2.3.1 介绍2.3.2 生成和校…...
VSCode运行Go程序报错:Unable to process `evaluate`: debuggee is running
如果使用默认的VSCode的服务器来运行Go程序，那么使用fmt.Scan函数输入数据的时候就会报错，我们需要修改launch.json文件，将Go程序运行在shell终端上。 main.go package mainimport "fmt"func main() {var n intfmt.Scan(&n)v…...
Android 中使用 FFmpeg 进行音视频处理
1. FFmpeg 基础知识 1.1 什么是 FFmpeg？ FFmpeg 是一个开源的多媒体处理工具，支持音视频的编码、解码、转码、裁剪、合并、滤镜、流媒体等功能。它是一个命令行工具，支持多种音视频格式和编解码器。1.2 为什么在 Android 中使用 FFmpeg？ Android 自带的多媒体 API（如 Med…...
IntersectionObserver用法
IntersectionObserver用法 1.什么是IntersectionObserver？2.使用2.1 创建观察对象2.2 观察指定DOM对象2.3 参数详解(1)callback参数(2)options 配置参数 3.应用3.1 Dom进入页面的加载动画3.2 图片的懒加载 1.什么是IntersectionObserver？ IntersectionO…...
R语言NIMBLE、Stan和INLA贝叶斯平滑及条件空间模型死亡率数据分析：提升疾病风险估计准确性...
全文链接：https://tecdat.cn/?p40365 在环境流行病学研究中，理解空间数据的特性以及如何通过合适的模型分析疾病的空间分布是至关重要的。本文主要介绍了不同类型的空间数据、空间格点过程的理论，并引入了疾病映射以及对空间风险进行平滑处理…...
 指令详解)
nginx ngx_stream_module(3) 指令详解
nginx ngx_stream_module(3) 指令详解 相关链接 nginx 嵌入式变量解析目录nginx 嵌入式变量全目录nginx 指令模块目录nginx 指令全目录 一、目录 1.1 模块简介 ngx_stream_upstream_module：上游服务器模块，允许定义一组后端服务器，并控制如…...
DeepSeek - R1：模型架构深度解析
DeepSeek - R1：模型架构深度解析 引言 本文将深入探索DeepSeek - R1模型架构。将从输入到输出追踪DeepSeek - R1模型，找出架构中的新发展和关键部分。DeepSeek - R1基于DeepSeek - V3 - Base模型架构，本文旨在涵盖其设计的所有重要方面。 …...
Oracle EBS 12.1和APEX 集成时 Apache的配置代理
在有些场景下，apex的前端服务不是和oracle EBS 应用部署在同一个服务器上或者要求apex和访问地址和EBS公用同一个域名同一个端口，那么怎么才能做到用EBS 的域名和端口来实现对apex的访问呢 通过配置代理规则解决，以Oracle EBS 12.1.3 为例&am…...
【C#】无法安装程序包“DotSpatial.Symbology 4.0.656”
C#代码：NaturalNeighbor nn new NaturalNeighbor(); 错误：无法安装程序包“DotSpatial.Symbology 4.0.656”。你正在尝试将此程序包安装到目标为“.NETFramework,Versionv4.7.2”的项目中，但该程序包不包含任何与该框架兼容的程序集引用或…...
linux tcpdump抓包
参数说明: -i 指定网卡 -w 指定保存文件 -s0 完整抓包 -G 指定间隔时长(秒) -C 指定每个文件大小(M) 用法1: 指定端口输出到指定文件 tcpdump -i em3 -w 182910.pcap 用法2: 指定端口每10分钟输出到不同文件 tcpdump -i em3 -s0 -G 600 -w %Y_%m%d_%H%M_%S.pcap 用法3: 指…...