告别集群负载：用Docker Compose在外部机器部署Prometheus+Grafana监控K8S（附完整配置文件）

轻量化监控方案Docker Compose 部署 PrometheusGrafana 监控 Kubernetes 集群对于资源有限的中小团队或个人开发者来说将监控系统与业务集群分离是一个明智的选择。传统的 Kubernetes 监控方案通常将 Prometheus 和 Grafana 部署在集群内部这会占用宝贵的计算资源特别是在使用轻量级 K8S 发行版如 k3s、minikube或资源受限的云环境时。本文将介绍如何利用 Docker Compose 在集群外部部署完整的监控系统实现资源隔离与简化管理。1. 为什么选择集群外部署监控系统集群外部署监控系统有以下几个显著优势资源隔离监控系统通常需要持续运行并占用一定资源将其移出集群可以避免影响业务应用的性能简化升级维护独立于集群的监控系统可以单独进行升级或维护无需考虑与集群版本的兼容性多集群监控单一监控系统可以同时监控多个 Kubernetes 集群实现集中化管理快速恢复当集群出现问题时外部的监控系统仍可运行并提供故障诊断信息典型适用场景开发测试环境中小规模生产集群资源受限的边缘计算场景需要监控多个轻量级集群的场景2. 系统架构与核心组件这套监控解决方案由以下几个关键组件构成监控系统架构: ├── Prometheus (指标收集与存储) │ ├── 通过K8S API获取节点、Pod等资源信息 │ └── 从各类exporter拉取性能指标 ├── Grafana (数据可视化) │ ├── 预置K8S监控仪表盘 │ └── 自定义监控面板 └── Exporters (数据采集) ├── node-exporter (节点资源) ├── kube-state-metrics (集群状态) └── cAdvisor (容器指标)2.1 组件版本选择建议组件推荐版本功能说明Prometheusv2.40支持最新的服务发现机制Grafanav9.3提供优化的K8S监控模板node-exporterv1.5完善的节点指标采集kube-state-metricsv2.8全面的集群状态监控3. 部署准备与配置3.1 环境要求一台可以访问Kubernetes API的外部服务器2核4G以上配置Docker 20.10 和 Docker Compose 2.0对目标Kubernetes集群的管理权限开放的防火墙端口9090(Prometheus)、3000(Grafana)3.2 创建必要的K8S RBAC权限在Kubernetes集群中执行以下命令创建监控专用的ServiceAccount和权限# 创建监控专用命名空间 kubectl create namespace monitoring # 创建ServiceAccount kubectl create serviceaccount prometheus-external -n monitoring # 绑定集群管理员权限 kubectl create clusterrolebinding prometheus-external \ --clusterrolecluster-admin \ --serviceaccountmonitoring:prometheus-external # 获取访问令牌 kubectl get secret $(kubectl get serviceaccount prometheus-external -n monitoring -o jsonpath{.secrets[0].name}) -n monitoring -o jsonpath{.data.token} | base64 --decode k8s_token将生成的k8s_token文件保存到后续Prometheus容器可以访问的位置。4. Docker Compose 部署配置创建docker-compose.yml文件定义完整的监控服务栈version: 3.8 services: prometheus: image: prom/prometheus:v2.40.0 container_name: prometheus restart: unless-stopped ports: - 9090:9090 volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - ./k8s_token:/etc/prometheus/k8s_token - prometheus_data:/prometheus command: - --config.file/etc/prometheus/prometheus.yml - --storage.tsdb.path/prometheus - --web.enable-admin-api - --web.enable-lifecycle grafana: image: grafana/grafana:9.3.2 container_name: grafana restart: unless-stopped ports: - 3000:3000 volumes: - grafana_data:/var/lib/grafana depends_on: - prometheus volumes: prometheus_data: grafana_data:4.1 Prometheus 配置文件详解创建prometheus.yml配置文件配置Kubernetes服务发现和指标采集global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: kubernetes-nodes scheme: https tls_config: insecure_skip_verify: true bearer_token_file: /etc/prometheus/k8s_token kubernetes_sd_configs: - role: node api_server: https://your-k8s-api-server:6443 tls_config: insecure_skip_verify: true bearer_token_file: /etc/prometheus/k8s_token relabel_configs: - target_label: __address__ replacement: your-k8s-api-server:6443 - source_labels: [__meta_kubernetes_node_name] regex: (.) target_label: __metrics_path__ replacement: /api/v1/nodes/${1}:9100/proxy/metrics - job_name: kubernetes-pods scheme: https tls_config: insecure_skip_verify: true bearer_token_file: /etc/prometheus/k8s_token kubernetes_sd_configs: - role: pod api_server: https://your-k8s-api-server:6443 tls_config: insecure_skip_verify: true bearer_token_file: /etc/prometheus/k8s_token relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__meta_kubernetes_pod_container_port_number] action: keep regex: .* - target_label: __address__ replacement: your-k8s-api-server:6443 - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_name, __meta_kubernetes_pod_container_port_number] regex: ([^;]);([^;]);([^;]) target_label: __metrics_path__ replacement: /api/v1/namespaces/${1}/pods/http:${2}:${3}/proxy/metrics注意将配置文件中的your-k8s-api-server替换为实际的Kubernetes API服务器地址。5. 部署与验证5.1 启动监控服务docker-compose up -d5.2 验证服务状态Prometheus: 访问http://your-server:9090/targets查看所有监控目标状态Grafana: 访问http://your-server:3000使用默认账号admin/admin登录5.3 配置Grafana数据源登录Grafana后进入Configuration Data Sources添加Prometheus数据源URL填写http://prometheus:9090保存并测试连接5.4 导入Kubernetes监控仪表盘Grafana社区提供了丰富的Kubernetes监控仪表盘模板推荐导入以下ID的仪表盘Node Exporter Full: 1860Kubernetes Cluster Monitoring: 6417Kubernetes Pods Monitoring: 6336导入方法在Grafana侧边栏选择 Import输入仪表盘ID即可。6. 高级配置与优化6.1 持久化存储配置默认配置下监控数据会存储在Docker卷中。对于生产环境建议挂载到外部存储# 修改docker-compose.yml中的volumes部分 volumes: prometheus_data: driver: local driver_opts: type: none device: /path/to/external/storage/prometheus o: bind grafana_data: driver: local driver_opts: type: none device: /path/to/external/storage/grafana o: bind6.2 监控数据保留策略在Prometheus启动命令中添加以下参数调整数据保留时间command: - --config.file/etc/prometheus/prometheus.yml - --storage.tsdb.path/prometheus - --storage.tsdb.retention.time30d # 保留30天数据 - --web.enable-admin-api - --web.enable-lifecycle6.3 告警规则配置创建alerts.yml文件定义告警规则并在prometheus.yml中引用rule_files: - alerts.yml示例告警规则内容groups: - name: node-alerts rules: - alert: HighNodeCPU expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{modeidle}[5m])) * 100) 80 for: 10m labels: severity: warning annotations: summary: High CPU usage on {{ $labels.instance }} description: {{ $labels.instance }} CPU usage is {{ $value }}%7. 日常维护与管理7.1 服务管理命令操作命令启动服务docker-compose up -d停止服务docker-compose down查看日志docker-compose logs -f重启单个服务docker-compose restart 服务名更新配置后重载curl -X POST http://localhost:9090/-/reload7.2 监控系统升级流程备份重要数据cp -r /path/to/external/storage/prometheus /backup/prometheus-$(date %F) cp -r /path/to/external/storage/grafana /backup/grafana-$(date %F)修改docker-compose.yml中的镜像版本号执行更新docker-compose pull docker-compose up -d7.3 常见问题排查问题1Prometheus无法连接Kubernetes API检查k8s_token文件是否正确验证网络连通性curl -k -H Authorization: Bearer $(cat k8s_token) https://api-server:6443/api/v1/namespaces问题2监控目标显示为DOWN检查对应的exporter是否正常运行kubectl get pods -n monitoring验证指标端点是否可访问curl -k -H Authorization: Bearer $(cat k8s_token) https://api-server:6443/api/v1/nodes/node-name:9100/proxy/metrics问题3Grafana面板无数据检查数据源配置是否正确在Prometheus UI中验证对应的指标是否存在确认时间范围选择正确