从零构建Prometheus+Grafana监控体系：MySQL性能可视化实战

1. 为什么需要监控MySQL数据库性能作为最流行的开源关系型数据库MySQL承载着大量企业的核心业务数据。但数据库性能问题就像温水煮青蛙——当发现查询变慢、连接数暴增时系统往往已经处于崩溃边缘。我经历过最惨痛的教训是某次大促期间由于没有提前发现慢查询堆积导致数据库线程打满整个电商系统瘫痪了47分钟。数据库监控的核心价值在于提前发现问题。通过PrometheusGrafana的组合我们可以实时跟踪QPS、连接数、缓存命中率等关键指标自动记录慢查询日志中的问题SQL可视化分析锁等待和事务冲突情况基于历史数据预测容量瓶颈2. 搭建Prometheus监控系统2.1 安装Prometheus服务端推荐使用二进制包安装最新稳定版当前为2.44.0wget https://github.com/prometheus/prometheus/releases/download/v2.44.0/prometheus-2.44.0.linux-amd64.tar.gz tar zxf prometheus-2.44.0.linux-amd64.tar.gz mv prometheus-2.44.0.linux-amd64 /usr/local/prometheus验证安装是否成功cd /usr/local/prometheus ./prometheus --version2.2 配置Prometheus核心参数修改prometheus.yml时重点关注这些参数global: scrape_interval: 15s # 数据采集间隔 evaluation_interval: 15s # 告警规则评估间隔 scrape_configs: - job_name: prometheus # 监控自身 static_configs: - targets: [localhost:9090]2.3 系统服务化部署创建systemd服务文件/usr/lib/systemd/system/prometheus.service[Unit] DescriptionPrometheus Monitoring System [Service] ExecStart/usr/local/prometheus/prometheus \ --config.file/usr/local/prometheus/prometheus.yml \ --web.listen-address:9090 \ --storage.tsdb.retention30d # 数据保留30天 Restarton-failure [Install] WantedBymulti-user.target启动服务后访问http://服务器IP:9090即可看到Web界面。3. 部署MySQL监控组件3.1 安装mysqld_exporter这个官方导出器会从MySQL采集140个性能指标wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz tar xf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /usr/local/ mv /usr/local/mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter3.2 配置数据库连接创建配置文件/usr/local/mysqld_exporter/.my.cnf[client] host127.0.0.1 usermonitor_user # 建议创建专用监控账号 passwordStrongPassword123 port3306记得在MySQL中授权CREATE USER monitor_userlocalhost IDENTIFIED BY StrongPassword123; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO monitor_userlocalhost;3.3 启动导出器服务建议用systemd管理[Unit] DescriptionMySQL Metrics Exporter [Service] ExecStart/usr/local/mysqld_exporter/mysqld_exporter \ --config.my-cnf/usr/local/mysqld_exporter/.my.cnf \ --web.listen-address:9104 Restarton-failure [Install] WantedBymulti-user.target4. 配置Grafana可视化4.1 安装与初始化使用清华镜像源快速安装wget https://mirrors.tuna.tsinghua.edu.cn/grafana/yum/rpm/Packages/grafana-7.4.3-1.x86_64.rpm yum install -y grafana-7.4.3-1.x86_64.rpm systemctl start grafana-server访问http://服务器IP:3000初始账号admin/admin。4.2 添加Prometheus数据源左侧菜单选择Configuration Data Sources点击Add data source选择Prometheus填写URLhttp://Prometheus服务器IP:9090点击Save Test验证连接4.3 导入专业监控面板推荐这些官方仪表板模板MySQL OverviewID7362基础性能概览MySQL InnoDB MetricsID7991存储引擎深度监控MySQL Query StatisticsID11323SQL查询分析导入方法左侧菜单选择Create Import输入仪表板ID选择之前添加的Prometheus数据源5. 关键监控指标解析5.1 性能类指标mysql_global_status_questions每秒查询量(QPS)mysql_global_status_connections当前连接数mysql_global_status_threads_running活跃线程数5.2 资源类指标mysql_global_variables_innodb_buffer_pool_size缓冲池大小mysql_global_status_innodb_buffer_pool_reads磁盘读取次数mysql_global_status_innodb_row_lock_time_avg平均行锁等待时间5.3 告警规则示例在Prometheus的rules/mysql.rules中添加groups: - name: mysql-alerts rules: - alert: HighThreadsRunning expr: mysql_global_status_threads_running 100 for: 5m labels: severity: warning annotations: summary: High MySQL threads running ({{ $value }}) description: Database threads are consistently high6. 生产环境优化建议在实际运维中我发现这些配置能显著提升监控效果采集频率调整生产环境scrape_interval: 5s测试环境scrape_interval: 30s指标过滤 在mysqld_exporter启动参数添加--collect.auto_increment.columns \ --collect.engine_innodb_status \ --collect.info_schema.processlistGrafana告警集成配置邮件/Slack通知通道设置多级告警阈值Warning/Critical添加告警历史看板这套监控体系在我们公司上线后数据库相关故障平均修复时间(MTTR)从原来的4小时缩短到15分钟。最惊喜的是通过历史趋势分析我们成功预测了三次容量瓶颈提前完成了扩容操作。