GPU虚拟化

引言

现有如下环境（注意相关配置：只有一个k8s节点，且该节点上只有一张GPU卡）：

// k8s版本
$ kubectl version
Client Version: version.Info{Major:"1", Minor:"22", GitVersion:"v1.22.7", GitCommit:"b56e432f2191419647a6a13b9f5867801850f969", GitTreeState:"clean", BuildDate:"2022-02-16T11:50:27Z", GoVersion:"go1.16.14", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"22", GitVersion:"v1.22.7", GitCommit:"b56e432f2191419647a6a13b9f5867801850f969", GitTreeState:"clean", BuildDate:"2022-02-16T11:43:55Z", GoVersion:"go1.16.14", Compiler:"gc", Platform:"linux/amd64"}// k8s节点信息
$ kubectl get node
NAME              STATUS   ROLES                  AGE    VERSION
desktop-72rd6ov   Ready    control-plane,master   419d   v1.22.7
$ kubectl get node desktop-72rd6ov -oyaml | grep nvidia.com -A 1 -B 6allocatable:cpu: "16"ephemeral-storage: "972991057538"hugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16142536Kinvidia.com/gpu: "1"pods: "110"capacity:cpu: "16"ephemeral-storage: 1055762868Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16244936Kinvidia.com/gpu: "1"pods: "110"// nvidia k8s-device-plugin版本
// nvidia k8s-device-plugin使用默认配置运行
root@nvidia-device-plugin-daemonset-wtqrg:/# nvidia-device-plugin --version
NVIDIA Device Plugin version 42a0fa92
commit: 42a0fa92ce166592ab5702a1143ddecd891c8e5e// nvidia-container-toolkit版本
$ nvidia-container-toolkit --version
NVIDIA Container Runtime Hook version 1.17.4
commit: 9b69590c7428470a72f2ae05f826412976af1395// nvidia GPU及driver信息
$ nvidia-smi
Mon Jun  2 10:51:49 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.02              Driver Version: 560.94         CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     On  |   00000000:01:00.0  On |                  N/A |
|  0%   42C    P8              8W /  165W |     690MiB /  16380MiB |      3%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------++-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A        25      G   /Xwayland                                   N/A      |
+-----------------------------------------------------------------------------------------+// cuda版本
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Oct_29_23:50:19_PDT_2024
Cuda compilation tools, release 12.6, V12.6.85
Build cuda_12.6.r12.6/compiler.35059454_0

在上述单节点的k8s环境中，我先用如下配置了使用GPU的yaml起一个pod：

# nginx-pod.yaml
apiVersion: v1
kind: Pod
metadata:name: gpu-pod-1
spec:restartPolicy: Nevercontainers:- name: nginximage: nginx:latestimagePullPolicy: IfNotPresentresources:limits:nvidia.com/gpu: 1securityContext:capabilities:add: ["SYS_ADMIN"]tolerations:- key: nvidia.com/gpuoperator: Existseffect: NoSchedule- effect: NoSchedulekey: node-role.kubernetes.io/masteroperator: Exists

可以看到pod正常运行：

$ kubectl apply -f nginx-pod.yaml
pod/gpu-pod-1 created
$ kubectl get pod -o wide
NAME        READY   STATUS    RESTARTS   AGE   IP             NODE              NOMINATED NODE   READINESS GATES
gpu-pod-1   1/1     Running   0          64s   10.244.0.221   desktop-72rd6ov   <none>           <none>
$ kubectl exec -ti gpu-pod-1 -- bash
root@gpu-pod-1:/# nvidia-smi --version
NVIDIA-SMI version  : 560.35.02
NVML version        : 560.35
DRIVER version      : 560.94
CUDA Version        : 12.6

如果再用上述yaml起一个gpu-pod-2，会发现pod一直Pending，因为节点上已经没有剩余可用的GPU资源可用：

$ kubectl apply -f nginx-pod.yaml
pod/gpu-pod-2 created
$ kubectl get pod -o wide
NAME        READY   STATUS    RESTARTS   AGE     IP             NODE              NOMINATED NODE   READINESS GATES
gpu-pod-1   1/1     Running   0          13m     10.244.0.221   desktop-72rd6ov   <none>           <none>
gpu-pod-2   0/1     Pending   0          4m20s   <none>         <none>            <none>           <none>

但是试想一种场景：我有多个任务需要使用GPU资源计算，但是GPU资源数量明显少于任务数量，而且某些任务运行过程中也并不是一直会使用GPU资源。为了充分利用GPU资源，我们希望任务能公用这些GPU资源，这也就引出了本文的主题：GPU虚拟化。

一、GPU虚拟化技术概览

1.1 为什么需要GPU虚拟化？

1.1.1 物理GPU的固有特点

• 资源利用率低下：传统GPU独占模式下，AI推理/轻量计算任务仅占用10%-30%算力，大量资源闲置
• 成本与扩展性瓶颈：企业需为每个用户/应用单独采购GPU硬件（如设计师工作站）；云服务商无法通过共享降低租户算力成本
• 多租户隔离缺失：多个任务竞争同一GPU导致性能抖动（如显存溢出影响邻位应用）

1.2 两大核心模式对比

1.2.1 一虚多（1 GPU → N个实例）

本质：单物理GPU分割为多个逻辑虚拟GPU

实现原理：

• 时分复用（Time-Slicing）：GPU时间片轮转调度（如每10ms切换任务），代表方案：NVIDIA vGPU、开源GPU-PV，适用场景：图形渲染、轻量计算
• 空间分区（Spatial Partitioning）：物理切割GPU计算单元/显存（如NVIDIA MIG），适用场景：AI推理、高隔离性任务

架构示意图：

Physical GPU → Hypervisor层（vGPU Manager）→ 虚拟GPU实例（vGPU1/vGPU2/...） → VM/Container

1.2.2 多虚一（N GPU → 1实例）

本质：聚合多个GPU资源服务单个计算密集型应用

实现原理：

• 设备级聚合：通过NVLink互联多卡（如DGX服务器的8-GPU Cube Mesh）
• 节点级聚合：GPUDirect RDMA跨节点通信（InfiniBand网络）

典型架构：

App (e.g. LLM训练) → 聚合框架 (NCCL/DDP) → GPU Pool (本地多卡/跨节点集群)

1.2.3 关键特性对比表

维度	一虚多 (1→N)	多虚一 (N→1)
核心目标	资源分片共享	算力聚合加速
隔离性	中-高（MIG为物理隔离）	无（所有资源协同工作）
延迟敏感性	低（毫秒级调度）	高（微秒级通信延迟影响显著）
典型硬件	Tesla T4/vWS, A100 (MIG)	A100/H100 + NVLink Switch
适用场景	云游戏、VDI、AI推理	大模型训练、科学计算
代表技术	NVIDIA vGPU, MIG, GPU-PV	NVLink, NCCL, GPUDirect RDMA

1.2.4 技术演进里程碑

• 2013：NVIDIA GRID K1首发vGPU技术（针对虚拟桌面）
• 2020：安培架构推出MIG（首个硬件级多实例GPU）
• 2022：Hopper架构支持机密计算vGPU（加密显存保护数据）
• 2023：vGPU 2.0支持动态资源分配（运行时调整vGPU显存/算力）

二、一虚多（1 GPU → N个实例）技术解析

2.1 实现原理

2.1.1 硬件辅助虚拟化（NVIDIA vGPU 技术栈）：

核心组件：

• Hypervisor驱动与调度器：GPU内部的任务队列管理单元（如Ampere架构的GSP调度引擎）
• vGPU Manager：驻留在Hypervisor的驱动层，负责GPU资源切分与调度
• Guest驱动：虚拟机/容器内识别虚拟GPU的标准驱动（与物理驱动兼容）

2.1.2 资源分割的两大范式

类型	时分复用（Time-Slicing）	空间分区（MIG）
原理	GPU时间片轮转服务多个任务	物理切割GPU为独立计算单元
隔离级别	软件级（易受干扰）	硬件级（显存/缓存/计算单元隔离）
调度粒度	毫秒级（通常10-50ms）	永久性分区（需重启生效）
代表技术	NVIDIA vGPU, GPU-PV	NVIDIA MIG（仅安培/霍珀架构）
适用场景	图形渲染、轻量级AI推理	高SLA要求的AI推理/科学计算

2.2 主流方案简介

2.2.1 NVIDIA vGPU/vWS（企业级方案）

架构流程：

GPU硬件分片 → 虚拟GPU（vGPU） → 虚拟机

关键特性：

• Profile配置表（以NVIDIA A100 40GB为例）

Profile名称	显存	CUDA核心	最大实例数
A100-1B	1GB	1/7	7
A100-2B	2GB	1/7	7
A100-3B	3GB	1/7	4
A100-4B	4GB	1/7	3
A100-7B	7GB	1/7	1

• 许可证机制：

需连接nvidia-licence-server（默认端口7070）

许可证类型：vWS（图形工作站）、vCS（计算加速）、vPC（基础办公）

2.2.2 NVIDIA MIG（Multi-Instance GPU）（硬件级隔离方案）：

物理切割原理：

• 安培架构GPU（如A100）含7个GPC（图形处理集群）
• 每个MIG实例独占：
  • 独立计算单元（SMs子集）
  • 专用L2缓存切片
  • 隔离的显存通道

7种实例规格（A100 40GB）：

限制：总实例数≤7，显存总和≤物理显存

实例类型	算力占比	显存	适用场景
1g.5gb	1/7	5GB	轻量推理
1g.10gb	1/7	10GB	中等模型推理
2g.20gb	2/7	20GB	大模型推理
3g.40gb	3/7	40GB	训练/高负载推理

2.2.3 开源方案：GPU-PV（容器/虚拟机场景轻量虚拟化）（如Kubevirt + vGPU）

实现原理：

• 通过Kubernetes Device Plugin暴露分时GPU
• 无硬件虚拟化支持，依赖CUDA MPS（多进程服务）

2.3 性能隔离与QoS保障

资源类型	隔离方案	技术实现
计算单元	vGPU：时间片轮转 MIG：物理隔离	GPU调度器（GSP） 硬件分区
显存	静态分区	每个vGPU/MIG实例固定显存配额
显存带宽	令牌桶算法限流	NVIDIA Frame Rate Limiter (FRL)
PCIe带宽	权重分配	SR-IOV VF流量控制

三、多虚一（N GPU → 1实例）技术概览

3.1 核心应用场景

场景	需求特征	典型案例
大语言模型训练	千亿参数加载/显存需求>80GB	GPT-4训练需128张H100 GPU集群
科学计算仿真	双精度浮点性能>100 TFLOPS	CFD流体模拟（10亿网格粒子）
实时渲染农场	4K@120fps实时光线追踪	电影级场景渲染（《阿凡达2》）
基因组学分析	TB级数据并行处理	癌症基因组序列比对

3.2 核心实现方案

3.2.1 硬件互联层：打破通信瓶颈

NVLink拓扑架构（以DGX H100为例）：

• 全连接带宽：900 GB/s（NVLink 4.0）
• 8卡互连延迟：<500 ns
• 对比PCIe 5.0：仅128 GB/s，延迟>2 μs

GPUDirect RDMA关键技术：

• 绕过CPU直接访问远端GPU显存
• 支持InfiniBand/ROCEv2网络（要求≥100 Gbps）
• 带宽利用率达95%（传统TCP/IP仅40%）

3.2.2 软件聚合层：并行计算框架

框架	通信机制	适用场景
PyTorch DDP	环状AllReduce	动态图模型训练
TensorFlow MirroredStrategy	Hierarchical Copy	静态图分布式训练
DeepSpeed ZeRO	显存分片+梯度聚合	千亿参数模型训练
NVIDIA NCCL	GPU-GPU直接通信	底层集合通信库

3.3 性能优化关键

3.3.1 通信-计算重叠

梯度压缩：

• FP16混合精度（节省50%通信量）
• 1-bit Adam（通信量降至1/32）

流水线并行（Pipeline Parallelism）：

• 微批次（Micro-batching）隐藏通信延迟
• Megatron-LM实现千卡训练效率>52%

3.3.2 拓扑感知调度

NVIDIA DGX SuperPOD架构：

• 32节点（256 GPU）通过InfiniBand分层交换
• 通信热点区域带宽保障

Kubernetes调度策略：

# 要求GPU同节点拓扑
affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: topology.kubernetes.io/zoneoperator: Invalues: [ "nvlink-group-1" ]

3.4 与一虚多技术的协同模式

混合架构案例：AI云服务平台：

优势：

• 推理任务：MIG隔离保障SLA
• 训练任务：多虚一突破单卡限制

资源调度：Kubernetes实现自动扩缩容

四、GPU虚拟化示例

基于文章开头单节点单GPU无法部署多个使用GPU的pod场景，来看看可以怎么操作实现多pod使用一块GPU。这里我们使用Time-Slicing方案，官方参考文档：

About Configuring GPU Time-Slicing

Shared Access to GPUs

4.1 准备configMap

准备如下configMap用于Time-Slicing配置：

# cm.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: nvidia-device-plugin-confignamespace: kube-system
data:config.yaml: |version: v1flags:migStrategy: nonefailOnInitError: truenvidiaDriverRoot: /sharing:timeSlicing:resources:- name: nvidia.com/gpureplicas: 5  # 将1个GPU拆分成5个虚拟实例，如果有n个GPU，则会拆分成5*n个实例

创建该configMap：

$ kubectl apply -f cm.yaml
configmap/nvidia-device-plugin-config created

4.2 修改nvidia k8s-device-plugin（daemonSet）

使用kubectl -n kube-system edit ds nvidia-device-plugin-daemonset命令修改nvidia k8s-device-plugin配置：

...
spec:template:spec:- containers:name: nvidia-device-plugin-ctrargs: # 新增args配置- --config-file=/etc/nvidia-device-plugin/config.yaml...volumeMounts:- mountPath: /etc/nvidia-device-plugin # 新增configMap的mountPathname: device-plugin-config...volumes:- name: device-plugin-config # 新增configMap volumeconfigMap:name: nvidia-device-plugin-config
...

修改完daemonSet pod会自动重建：

$ kubectl -n kube-system get pod | grep nvidia
nvidia-device-plugin-daemonset-nn9dc      1/1     Running   0              47s

4.3 查看node上的GPU资源

可以看到nvidia k8s-device-plugin完成了GPU资源的上报，并把GPU资源数量修改为了5个（物理层面只有一个）。

$ kubectl get node
NAME              STATUS   ROLES                  AGE    VERSION
desktop-72rd6ov   Ready    control-plane,master   425d   v1.22.7$ kubectl get node desktop-72rd6ov -oyaml| grep nvidia.com -A 1 -B 6allocatable:cpu: "16"ephemeral-storage: "972991057538"hugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16142544Kinvidia.com/gpu: "5"pods: "110"capacity:cpu: "16"ephemeral-storage: 1055762868Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16244944Kinvidia.com/gpu: "5"pods: "110"

4.4 创建pod验证

还是使用文章开头的nginx pod yaml创建多个pod：

// 先删除旧pod
$ kubectl delete pod gpu-pod-1
pod "gpu-pod-1" deleted
$ kubectl delete pod gpu-pod-2
pod "gpu-pod-2" deleted// 修改yaml中pod名称重新创建6个
$ kubectl get pod -o wide
NAME        READY   STATUS    RESTARTS   AGE   IP             NODE              NOMINATED NODE   READINESS GATES
gpu-pod-1   1/1     Running   0          41s   10.244.0.236   desktop-72rd6ov   <none>           <none>
gpu-pod-2   1/1     Running   0          31s   10.244.0.237   desktop-72rd6ov   <none>           <none>
gpu-pod-3   1/1     Running   0          24s   10.244.0.238   desktop-72rd6ov   <none>           <none>
gpu-pod-4   1/1     Running   0          19s   10.244.0.239   desktop-72rd6ov   <none>           <none>
gpu-pod-5   1/1     Running   0          12s   10.244.0.240   desktop-72rd6ov   <none>           <none>
gpu-pod-6   0/1     Pending   0          6s    <none>         <none>            <none>           <none>// 进入2个pod验证
$ kubectl exec -ti gpu-pod-1 -- bash
root@gpu-pod-1:/# nvidia-smi --version
NVIDIA-SMI version  : 560.35.02
NVML version        : 560.35
DRIVER version      : 560.94
CUDA Version        : 12.6$ kubectl exec -ti gpu-pod-4 -- bash
root@gpu-pod-4:/# nvidia-smi --version
NVIDIA-SMI version  : 560.35.02
NVML version        : 560.35
DRIVER version      : 560.94
CUDA Version        : 12.6
root@gpu-pod-4:/#

总结

本文简单介绍了nvidia GPU虚拟化的常见方法，包含“一虚多”和“多虚一”场景。以“一虚多”为例，本文以nvidia k8s-device-plugin支持的Time-Slicing方案演示了多个pod使用一张GPU的应用，但实际使用过程中，Time-Slicing存在多应用互相影响的风险，在某些业务场景是无法接受的，生产中一般会按cuda核心和显存大小切割成不同的实例避免应用相互影响，但这又可能降低GPU资源的利用率，总之针对不同场景、不同应用可能需要选择不同的GPU虚拟化方案，GPU虚拟化也有待更深入地探索。