wan2.1-vae企业级监控：Prometheus+Grafana构建GPU利用率与QPS看板

wan2.1-vae企业级监控PrometheusGrafana构建GPU利用率与QPS看板1. 引言为什么需要企业级监控想象一下你负责的AI图像生成平台wan2.1-vae正在为业务部门批量生成营销海报。突然业务同事反馈“今天的图怎么生成得这么慢” 你登录服务器发现GPU使用率已经飙到100%但具体是哪个用户、哪个任务占用了资源当前系统每秒能处理多少请求有没有异常错误这些问题仅靠偶尔敲一下nvidia-smi命令是找不到答案的。对于像wan2.1-vae这样基于双GPU加速、支持高分辨率图像生成的生产级服务一套清晰、实时、可追溯的监控系统不是“锦上添花”而是“雪中送炭”。它能帮你实时洞察一眼看清GPU、内存、请求量的健康状态。快速排障当服务变慢或出错时能迅速定位瓶颈是GPU满了还是内存泄漏。容量规划通过历史数据判断是否需要升级硬件或优化服务架构。价值证明用直观的图表向团队或上级展示服务的稳定性和处理能力。本文将手把手教你如何为wan2.1-vae文生图服务搭建一套基于Prometheus监控数据收集与存储和Grafana数据可视化的企业级监控看板核心监控GPU利用率和服务QPS每秒查询率让你对服务的运行状况了如指掌。2. 监控方案设计与核心组件我们的目标是构建一个轻量、高效、可视化的监控体系。整个方案的核心流程是应用暴露指标 - Prometheus抓取存储 - Grafana查询展示。2.1 核心组件介绍Prometheus角色监控系统的“大脑”和“数据库”。功能它按照配置的时间间隔如15秒主动去“拉取”Pull各个被监控目标如wan2.1-vae服务、服务器本身暴露出来的指标数据并存储在自己的时序数据库中。特点多维数据模型通过标签区分数据强大的查询语言PromQL单机性能强劲非常适合云原生环境。Grafana角色监控系统的“眼睛”和“仪表盘”。功能一个功能强大的数据可视化平台。它从 Prometheus 等数据源读取数据然后通过丰富的图表折线图、柱状图、仪表盘等将枯燥的数字变成直观的图形界面。特点支持多种数据源图表类型丰富可高度自定义能创建和分享精美的监控看板。Node Exporter角色服务器基础指标的“采集器”。功能一个常驻进程负责收集服务器层面的各类指标如CPU使用率、内存用量、磁盘IO、网络流量等并通过HTTP接口暴露给 Prometheus 抓取。NVIDIA DCGM Exporter / GPU Exporter角色GPU指标的“专属采集器”。功能针对NVIDIA GPU采集GPU利用率、显存使用量、温度、功耗等关键指标并暴露给 Prometheus。这是监控wan2.1-vae双GPU工作状态的关键。自定义应用指标QPS角色wan2.1-vae服务自身业务指标的“报告员”。功能我们需要在wan2.1-vae的Web服务代码中集成 Prometheus 客户端库在每次处理图像生成请求时记录并暴露诸如“总请求数”、“请求耗时”、“当前正在处理的请求数”等指标用以计算QPS和监控服务健康度。2.2 监控架构图下图清晰地展示了各组件如何协同工作graph TD subgraph “被监控目标 (Targets)” A[wan2.1-vae 应用] --|暴露业务指标br/QPS/延迟| A_Metrics B[Node Exporter] --|暴露服务器指标br/CPU/内存/磁盘| B_Metrics C[GPU Exporter] --|暴露GPU指标br/利用率/显存| C_Metrics end subgraph “监控中心” P[Prometheus Server] --|定时拉取 Scrape| A_Metrics P --|定时拉取 Scrape| B_Metrics P --|定时拉取 Scrape| C_Metrics P --|存储 查询| P_DB[(时序数据库)] end subgraph “可视化” G[Grafana] --|查询数据| P G --|渲染图表| D[监控仪表盘 Dashboard] end U[运维/开发人员] --|访问| D3. 实战部署一步步搭建监控系统接下来我们将在运行wan2.1-vae的服务器上实际部署这套监控系统。假设你的服务已经基于 Docker 或直接在宿主机上运行。3.1 部署Node Exporter监控服务器基础资源Node Exporter 通常以容器或二进制方式运行。使用Docker部署# 拉取最新镜像 docker pull prom/node-exporter:latest # 运行Node Exporter容器 docker run -d \ --namenode_exporter \ --restartalways \ --nethost \ --pidhost \ -v /:/host:ro,rslave \ prom/node-exporter:latest \ --path.rootfs/host # 验证访问 http://你的服务器IP:9100/metrics 应能看到大量指标关键参数说明--nethost: 使用主机网络方便Prometheus从主机IP访问。--pidhost和-v /:/host:ro,rslave: 让容器能访问主机系统信息。默认端口是9100。3.2 部署NVIDIA GPU Exporter监控GPU为了监控wan2.1-vae依赖的双GPU我们需要部署GPU指标导出器。使用DCGM Exporter推荐功能更全确保服务器已安装 NVIDIA Driver 和 NVIDIA Container Toolkit。# 拉取镜像 docker pull nvcr.io/nvidia/k8s/dcgm-exporter:3.3.4-3.1.5-ubuntu22.04 # 运行DCGM Exporter容器 docker run -d \ --namedcgm_exporter \ --restartalways \ --runtimenvidia \ --gpus all \ -p 9400:9400 \ nvcr.io/nvidia/k8s/dcgm-exporter:3.3.4-3.1.5-ubuntu22.04 # 验证访问 http://你的服务器IP:9400/metrics 应能看到GPU相关指标如果使用更轻量的nvidia_gpu_prometheus_exporter# 可能需要从GitHub下载二进制文件或使用其他镜像这里以社区镜像为例 docker run -d \ --namenvidia_gpu_exporter \ --restartalways \ --runtimenvidia \ --gpus all \ -p 9835:9835 \ utkuozdemir/nvidia_gpu_prometheus_exporter:latest # 验证端口可能是 98353.3 为wan2.1-vae服务添加自定义指标监控QPS这是监控业务逻辑的关键。我们需要修改wan2.1-vae的Web服务代码通常是基于Gradio或FastAPI集成prometheus_client库。示例Python FastAPI/Gradio应用安装依赖在wan2.1-vae的服务环境中安装prometheus_client。pip install prometheus-client集成到应用代码中在启动Web服务的代码文件如app.py中添加以下内容。from prometheus_client import Counter, Histogram, generate_latest, REGISTRY, start_http_server from fastapi import FastAPI, Request, Response import time import threading # 创建Prometheus指标 # 计数器总请求数 REQUEST_COUNT Counter( wan21_http_requests_total, Total HTTP requests for wan2.1-vae image generation, [method, endpoint, http_status] ) # 直方图请求耗时用于计算平均延迟、百分位数 REQUEST_LATENCY Histogram( wan21_http_request_duration_seconds, HTTP request latency for wan2.1-vae, [endpoint], buckets(0.1, 0.5, 1.0, 2.0, 5.0, 10.0, 30.0, 60.0) # 自定义桶 ) # 仪表当前正在处理的请求数用于监控并发 IN_PROGRESS Gauge( wan21_http_requests_in_progress, Number of in-progress HTTP requests for wan2.1-vae, [endpoint] ) # 假设你的主应用是 app app FastAPI() # 中间件用于拦截所有请求记录指标 app.middleware(http) async def monitor_requests(request: Request, call_next): endpoint request.url.path method request.method IN_PROGRESS.labels(endpointendpoint).inc() # 进入请求并发数1 start_time time.time() try: response await call_next(request) http_status response.status_code except Exception: http_status 500 raise finally: latency time.time() - start_time REQUEST_LATENCY.labels(endpointendpoint).observe(latency) REQUEST_COUNT.labels(methodmethod, endpointendpoint, http_statushttp_status).inc() IN_PROGRESS.labels(endpointendpoint).dec() # 离开请求并发数-1 return response # 添加一个专门给Prometheus抓取的端点 app.get(/metrics) async def get_metrics(): return Response(generate_latest(REGISTRY), media_typetext/plain) # 在你的图像生成端点例如 /generate中业务逻辑照常... # app.post(/generate) # async def generate_image(...): # ... # 原有的图像生成逻辑 # 在应用启动时同时启动一个Prometheus指标服务可选如果不想用上面的/metrics端点 # 例如在另一个端口如8000暴露指标 # def start_metrics_server(): # start_http_server(8000) # threading.Thread(targetstart_metrics_server, daemonTrue).start() if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port7860) # wan2.1-vae默认端口重启服务修改代码后重启你的wan2.1-vae服务。验证访问http://你的服务器IP:7860/metrics如果集成在主服务应该能看到wan21_开头的自定义指标。3.4 部署与配置PrometheusPrometheus 负责抓取以上所有 exporter 和应用的指标。创建Prometheus配置文件prometheus.ymlglobal: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次规则 scrape_configs: # 监控Prometheus自身 - job_name: prometheus static_configs: - targets: [localhost:9090] # 监控服务器基础指标 - job_name: node_exporter static_configs: - targets: [localhost:9100] # Node Exporter地址 labels: instance: wan21-server # 给这台服务器打个标签 # 监控GPU指标 - job_name: gpu_exporter static_configs: - targets: [localhost:9400] # DCGM Exporter地址 labels: instance: wan21-server device: gpu # 监控wan2.1-vae应用业务指标 - job_name: wan21_vae_app static_configs: - targets: [localhost:7860] # 假设应用指标暴露在7860端口的/metrics路径 labels: app: wan21-vae instance: wan21-server metrics_path: /metrics # 指标路径 # 如果应用认证可在此配置basic_auth等使用Docker运行Prometheus# 创建用于存储数据的目录 mkdir -p /opt/prometheus/data # 将上面的 prometheus.yml 放到 /opt/prometheus/ 目录下 # 运行Prometheus容器 docker run -d \ --nameprometheus \ --restartalways \ -p 9090:9090 \ -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \ -v /opt/prometheus/data:/prometheus \ prom/prometheus:latest验证访问http://你的服务器IP:9090进入Prometheus Web UI。在“Status - Targets”页面应该看到所有配置的 jobprometheus,node_exporter,gpu_exporter,wan21_vae_app都是UP状态。3.5 部署与配置GrafanaGrafana 用于可视化。使用Docker运行Grafana# 创建存储数据的目录 mkdir -p /opt/grafana/data # 运行Grafana容器 docker run -d \ --namegrafana \ --restartalways \ -p 3000:3000 \ -v /opt/grafana/data:/var/lib/grafana \ grafana/grafana-oss:latest初始配置访问http://你的服务器IP:3000默认账号密码是admin/admin首次登录会要求修改密码。添加数据源进入Configuration - Data Sources点击Add data source选择Prometheus。设置URL填写http://你的Prometheus服务器IP:9090如果都在同一台机可以是http://host.docker.internal:9090或http://服务器内网IP:9090。点击Save Test显示“Data source is working”即成功。4. 构建核心监控仪表盘数据源配置好后我们就可以在Grafana中创建看板了。你可以导入现成的模板也可以自己从头创建。这里我们指导创建几个核心面板。4.1 创建新的Dashboard在Grafana侧边栏点击Dashboards - New dashboard。4.2 添加GPU监控面板面板1双GPU利用率折线图标题GPU Utilization查询PromQL# DCGM Exporter的指标名可能不同以下是常见格式 DCGM_FI_DEV_GPU_UTIL{gpu~0|1} # 或 nvidia_gpu_utilization{gpu~0|1} # 根据你的exporter调整指标名设置Legend 设置为{{gpu}}这样图例会显示GPU 0和GPU 1。Y轴单位设为percent (0-100)。面板2GPU显存使用量折线图标题GPU Memory Usage查询DCGM_FI_DEV_FB_USED{gpu~0|1} / DCGM_FI_DEV_FB_TOTAL{gpu~0|1} * 100 # 或 nvidia_gpu_memory_used_bytes{gpu~0|1} / nvidia_gpu_memory_total_bytes{gpu~0|1} * 100设置Y轴单位设为percent (0-100)。4.3 添加QPS与请求监控面板面板3请求QPS每秒查询率折线图标题Request QPS查询rate(wan21_http_requests_total{endpoint/generate}[5m]) # rate函数计算5分钟内的平均每秒增长率即QPS设置可以复制此查询为不同的端点如/,/metrics创建多条线。面板4请求平均延迟与P99延迟折线图标题Request Latency (Avg P99)查询A平均延迟rate(wan21_http_request_duration_seconds_sum{endpoint/generate}[5m]) / rate(wan21_http_request_duration_seconds_count{endpoint/generate}[5m])查询BP99延迟histogram_quantile(0.99, rate(wan21_http_request_duration_seconds_bucket{endpoint/generate}[5m]))设置使用双Y轴左侧单位为seconds可以直观看到延迟的分布和长尾效应。面板5当前活跃请求数仪表盘标题In-Progress Requests查询wan21_http_requests_in_progress{endpoint/generate}设置选择Stat或Gauge可视化类型设置合适的阈值如绿色5黄色5-10红色10。4.4 添加服务器资源面板可选但建议面板6服务器CPU与内存使用率折线图查询CPU100 - (avg by (instance)(rate(node_cpu_seconds_total{modeidle}[5m])) * 100)查询内存(node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100面板7磁盘使用率饼图或条形图查询node_filesystem_avail_bytes{mountpoint/} / node_filesystem_size_bytes{mountpoint/} * 100将所有面板合理排列你的监控看板就初具雏形了。最终效果是一个屏幕上你能同时看到GPU负载、服务吞吐量QPS、请求延迟和服务器基础资源任何异常都一目了然。5. 总结从监控到洞察通过以上步骤我们成功为wan2.1-vae文生图服务搭建了一套从基础设施服务器、GPU到应用层QPS、延迟的立体化监控体系。这套看板能帮你日常巡检每天花一分钟看下仪表盘就能掌握服务整体健康度。性能分析在业务高峰时段观察GPU利用率与QPS的对应关系评估服务容量。故障排查当用户反馈生成慢时快速判断是GPU资源瓶颈、请求队列堆积还是其他系统问题。数据驱动决策用历史监控数据为服务器扩容、模型优化或架构调整提供依据。更进一步你还可以设置告警在Grafana或Prometheus Alertmanager中配置规则当GPU持续高负载或QPS异常下跌时自动发送通知到钉钉、企业微信或邮件。监控更多维度增加对生成图片数量、不同分辨率任务占比、负面提示词使用频率等业务指标的监控。优化查询学习更复杂的PromQL创建更能反映业务状态的复合指标。监控不是目的而是手段。它的最终价值在于将系统的“黑盒”状态变为“白盒”洞察让运维和开发工作更加主动、高效。现在你的wan2.1-vae服务就拥有了这样一双“智慧之眼”。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。