BGE-M3实战手册：Prometheus+Grafana监控Embedding QPS/延迟/显存指标

BGE-M3实战手册PrometheusGrafana监控Embedding QPS/延迟/显存指标1. 监控需求与方案概述在实际的文本嵌入服务部署中仅仅让服务运行起来是远远不够的。BGE-M3作为高性能的嵌入模型在生产环境中需要实时监控关键指标包括QPS每秒查询数了解服务负载和处理能力请求延迟监控响应速度确保用户体验GPU显存使用优化资源分配避免内存溢出错误率及时发现和处理异常情况传统的日志查看方式如tail -f /tmp/bge-m3.log只能提供有限的信息无法进行历史数据分析和可视化监控。因此我们需要一套完整的监控解决方案。为什么选择PrometheusGrafanaPrometheus是云原生时代最流行的监控系统具有强大的数据采集和存储能力。Grafana则是顶级的可视化工具能够将监控数据转化为直观的图表和仪表盘。两者结合可以为BGE-M3服务提供实时监控和历史数据追溯自定义告警规则和通知美观的数据可视化界面开源免费且社区活跃2. 环境准备与组件安装2.1 安装Prometheus首先安装Prometheus监控系统# 创建监控专用目录 mkdir -p /opt/monitoring cd /opt/monitoring # 下载Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.51.2/prometheus-2.51.2.linux-amd64.tar.gz tar -xzf prometheus-2.51.2.linux-amd64.tar.gz ln -s prometheus-2.51.2.linux-amd64 prometheus # 创建配置文件 cat /opt/monitoring/prometheus/prometheus.yml EOF global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090] - job_name: bge-m3 static_configs: - targets: [localhost:8000] EOF # 创建systemd服务 cat /etc/systemd/system/prometheus.service EOF [Unit] DescriptionPrometheus Monitoring System Documentationhttps://prometheus.io/docs/introduction/overview/ Afternetwork.target [Service] Userroot Grouproot Typesimple ExecStart/opt/monitoring/prometheus/prometheus \\ --config.file/opt/monitoring/prometheus/prometheus.yml \\ --storage.tsdb.path/opt/monitoring/prometheus/data \\ --web.console.templates/opt/monitoring/prometheus/consoles \\ --web.console.libraries/opt/monitoring/prometheus/console_libraries \\ --web.listen-address0.0.0.0:9090 Restarton-failure [Install] WantedBymulti-user.target EOF # 启动服务 systemctl daemon-reload systemctl enable prometheus systemctl start prometheus2.2 安装Grafana接下来安装Grafana可视化平台# 安装Grafana wget https://dl.grafana.com/oss/release/grafana-10.4.2.linux-amd64.tar.gz tar -xzf grafana-10.4.2.linux-amd64.tar.gz ln -s grafana-10.4.2.linux-amd64 grafana # 创建systemd服务 cat /etc/systemd/system/grafana.service EOF [Unit] DescriptionGrafana Documentationhttps://grafana.com/docs/grafana/latest/ Afternetwork.target [Service] Userroot Grouproot Typesimple ExecStart/opt/monitoring/grafana/bin/grafana-server \\ --config/opt/monitoring/grafana/conf/defaults.ini \\ --homepath/opt/monitoring/grafana \\ --packagingtar Restarton-failure [Install] WantedBymulti-user.target EOF # 启动服务 systemctl enable grafana systemctl start grafana2.3 安装Prometheus客户端库为BGE-M3服务添加监控指标导出功能pip install prometheus-client3. BGE-M3服务监控集成3.1 改造BGE-M3服务代码我们需要修改BGE-M3的服务代码添加Prometheus监控指标导出功能。创建新的监控版服务文件# app_monitor.py import time import torch import gradio as gr from FlagEmbedding import BGEM3FlagModel from prometheus_client import start_http_server, Counter, Gauge, Histogram import threading # 初始化Prometheus指标 REQUEST_COUNT Counter(bge_m3_requests_total, Total request count, [method, endpoint]) REQUEST_LATENCY Histogram(bge_m3_request_latency_seconds, Request latency, [method]) GPU_MEMORY Gauge(bge_m3_gpu_memory_bytes, GPU memory usage) ACTIVE_REQUESTS Gauge(bge_m3_active_requests, Active requests) ERROR_COUNT Counter(bge_m3_errors_total, Total error count, [type]) # 初始化模型 model BGEM3FlagModel( BAAI/bge-m3, use_fp16True, normalize_embeddingsTrue ) def monitor_gpu_memory(): 监控GPU显存使用情况 while True: if torch.cuda.is_available(): memory_allocated torch.cuda.memory_allocated() GPU_MEMORY.set(memory_allocated) time.sleep(5) def encode_text(texts, task): 带监控的文本编码函数 start_time time.time() ACTIVE_REQUESTS.inc() try: if task dense: result model.encode(texts, taskdense)[dense_vecs] elif task sparse: result model.encode(texts, tasksparse)[sparse_vecs] elif task colbert: result model.encode(texts, taskcolbert)[colbert_vecs] else: result model.encode(texts) # 记录成功请求 REQUEST_COUNT.labels(methodencode, endpointtask).inc() return result except Exception as e: # 记录错误 ERROR_COUNT.labels(typetype(e).__name__).inc() raise e finally: # 记录延迟 latency time.time() - start_time REQUEST_LATENCY.labels(methodencode).observe(latency) ACTIVE_REQUESTS.dec() # 启动监控服务器 start_http_server(8000) # 启动GPU监控线程 gpu_monitor_thread threading.Thread(targetmonitor_gpu_memory, daemonTrue) gpu_monitor_thread.start() # 创建Gradio界面保持原有功能 with gr.Blocks() as demo: gr.Markdown(# BGE-M3 Embedding Service with Monitoring) with gr.Row(): with gr.Column(): input_text gr.Textbox(label输入文本, lines3) task_type gr.Dropdown( choices[dense, sparse, colbert, all], valuedense, label编码模式 ) encode_btn gr.Button(生成嵌入向量) with gr.Column(): output gr.JSON(label嵌入结果) encode_btn.click( fnlambda text, task: encode_text([text], task)[0] if text else {}, inputs[input_text, task_type], outputsoutput ) if __name__ __main__: demo.launch(server_name0.0.0.0, server_port7860)3.2 更新启动脚本创建新的监控启动脚本# start_server_monitor.sh #!/bin/bash export TRANSFORMERS_NO_TF1 cd /root/bge-m3 # 启动监控版服务 python3 app_monitor.py更新后台运行命令nohup bash /root/bge-m3/start_server_monitor.sh /tmp/bge-m3.log 21 3.3 验证监控指标服务启动后验证监控指标是否正常导出# 检查监控端点 curl http://localhost:8000/metrics # 预期会看到类似输出 # # HELP bge_m3_requests_total Total request count # # TYPE bge_m3_requests_total counter # bge_m3_requests_total{methodencode,endpointdense} 0 # ...4. Grafana仪表盘配置4.1 配置数据源首先登录Grafana默认地址http://服务器IP:3000默认账号admin/admin添加Prometheus数据源左侧菜单 → Configuration → Data sources点击Add data source选择Prometheus配置URLhttp://localhost:9090点击Save Test确认连接成功4.2 创建BGE-M3监控仪表盘创建新的仪表盘添加以下监控面板QPS监控面板Query:rate(bge_m3_requests_total[1m])Visualization: StatTitle: 请求QPSUnit: requests/sec延迟监控面板Query:histogram_quantile(0.95, rate(bge_m3_request_latency_seconds_bucket[5m]))Visualization: GraphTitle: P95延迟Unit: secondsGPU显存监控Query:bge_m3_gpu_memory_bytesVisualization: GaugeTitle: GPU显存使用Unit: bytes活跃请求数Query:bge_m3_active_requestsVisualization: GraphTitle: 活跃请求数错误率监控Query:rate(bge_m3_errors_total[5m])Visualization: GraphTitle: 错误率4.3 导入预置仪表盘你也可以直接导入预配置的仪表盘左侧菜单 → Create → Import输入仪表盘ID: 18600BGE-M3监控专用选择Prometheus数据源点击Import完成导入5. 告警规则配置5.1 Prometheus告警规则创建告警规则文件# /opt/monitoring/prometheus/alerts.yml groups: - name: bge-m3-alerts rules: - alert: HighRequestLatency expr: histogram_quantile(0.95, rate(bge_m3_request_latency_seconds_bucket[5m])) 1 for: 5m labels: severity: warning annotations: summary: BGE-M3高延迟告警 description: P95延迟超过1秒当前值: {{ $value }}s - alert: HighErrorRate expr: rate(bge_m3_errors_total[5m]) 0.1 for: 2m labels: severity: critical annotations: summary: BGE-M3高错误率告警 description: 错误率超过10%当前值: {{ $value }} - alert: GPUMemoryHigh expr: bge_m3_gpu_memory_bytes / (1024^3) 10 for: 5m labels: severity: warning annotations: summary: GPU显存使用过高 description: GPU显存使用超过10GB当前值: {{ $value }}GB更新Prometheus配置添加告警规则# 在prometheus.yml中添加 rule_files: - alerts.yml alerting: alertmanagers: - static_configs: - targets: - localhost:90935.2 Grafana告警配置在Grafana中配置告警通知渠道左侧菜单 → Alerting → Contact points添加通知渠道Email、Slack、Webhook等配置告警规则和通知策略6. 实战监控数据分析6.1 性能基准测试使用监控系统进行性能基准测试# 使用ab进行压力测试 ab -n 1000 -c 10 -p data.json -T application/json http://localhost:7860/ # data.json内容 {data: [这是一个测试文本, 这是另一个测试文本]}通过监控仪表盘观察QPS随并发数变化的曲线延迟与并发数的关系GPU显存使用情况6.2 容量规划建议基于监控数据给出容量规划建议指标建议阈值扩容建议QPS 200增加GPU资源或部署多个实例P95延迟 0.5s优化模型或增加计算资源GPU显存 80%增加GPU内存或减少batch size错误率 5%检查模型服务状态6.3 日常监控维护日常监控维护 checklist[ ] 每日检查仪表盘关键指标[ ] 每周分析性能趋势报告[ ] 每月进行容量规划评估[ ] 定期检查告警规则有效性[ ] 备份监控配置和仪表盘7. 总结通过本文的实战指南我们为BGE-M3嵌入模型服务搭建了一套完整的监控系统。这套系统不仅能够实时监控服务的健康状况还能为容量规划和性能优化提供数据支持。关键收获全面监控覆盖从QPS、延迟到GPU显存使用全方位监控服务状态实时告警机制及时发现和处理异常情况保障服务稳定性历史数据分析基于历史数据进行趋势分析和容量规划可视化展示通过Grafana仪表盘直观展示监控数据下一步建议根据实际业务需求调整监控指标和告警阈值考虑部署多个BGE-M3实例并配置负载均衡设置自动化扩缩容策略基于监控指标动态调整资源定期回顾监控数据持续优化服务性能现在你的BGE-M3服务已经具备了生产级的监控能力可以放心地部署到实际业务环境中了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。