Kubernetes故障排查与问题定位：实战指南

Kubernetes故障排查与问题定位实战指南一、故障排查概述Kubernetes故障排查是运维工作中的重要环节。常见的故障类型包括Pod故障Pod无法启动、崩溃、重启网络故障Pod之间无法通信、服务不可访问存储故障持久化存储挂载失败、数据丢失调度故障Pod无法调度到节点资源故障CPU/内存不足、资源配额超限二、Pod故障排查2.1 查看Pod状态# 查看所有Pod状态 kubectl get pods # 查看Pod详细状态 kubectl describe pod my-pod # 查看Pod事件 kubectl get events --field-selector involvedObject.namemy-pod # 查看Pod日志 kubectl logs my-pod kubectl logs my-pod -c my-container # 查看之前容器的日志 kubectl logs my-pod --previous2.2 常见Pod状态状态说明排查方向PendingPod正在等待调度检查节点资源、调度约束、网络策略RunningPod正在运行检查容器健康状态、日志CrashLoopBackOff容器反复崩溃检查应用日志、资源配置ImagePullBackOff镜像拉取失败检查镜像地址、镜像仓库认证InvalidImageName镜像名称无效检查镜像名称拼写2.3 Pod启动失败排查# 检查镜像拉取 kubectl describe pod my-pod | grep -A 10 Events # 检查容器启动命令 kubectl get pod my-pod -o jsonpath{.spec.containers[0].command} # 检查环境变量 kubectl get pod my-pod -o jsonpath{.spec.containers[0].env} # 检查资源限制 kubectl get pod my-pod -o jsonpath{.spec.containers[0].resources}三、节点故障排查3.1 查看节点状态# 查看所有节点状态 kubectl get nodes # 查看节点详细信息 kubectl describe node my-node # 查看节点资源使用 kubectl top nodes # 检查节点条件 kubectl get nodes -o jsonpath{.items[*].status.conditions}3.2 节点不可用排查# 检查节点是否被隔离 kubectl get node my-node -o jsonpath{.spec.unschedulable} # 检查节点污点 kubectl get node my-node -o jsonpath{.spec.taints} # 检查节点标签 kubectl get node my-node -o jsonpath{.metadata.labels} # 检查节点容量 kubectl get node my-node -o jsonpath{.status.capacity}3.3 Kubelet状态检查# 检查Kubelet日志 journalctl -u kubelet -f # 检查Kubelet健康状态 curl -s http://localhost:10255/healthz # 检查Kubelet配置 cat /var/lib/kubelet/config.yaml四、网络故障排查4.1 Pod网络连通性测试# 在Pod中测试网络 kubectl exec -it my-pod -- ping google.com # 测试Pod之间通信 kubectl exec -it pod1 -- ping pod2-ip # 测试DNS解析 kubectl exec -it my-pod -- nslookup kubernetes.default # 测试Service访问 kubectl exec -it my-pod -- curl http://my-service:80804.2 Service故障排查# 查看Service状态 kubectl get service my-service # 查看Service详情 kubectl describe service my-service # 检查Endpoint状态 kubectl get endpoints my-service # 检查Service选择器 kubectl get service my-service -o jsonpath{.spec.selector}4.3 Ingress故障排查# 查看Ingress状态 kubectl get ingress my-ingress # 查看Ingress详情 kubectl describe ingress my-ingress # 检查Ingress Controller日志 kubectl logs -n ingress-nginx -l app.kubernetes.io/nameingress-nginx # 测试Ingress访问 curl -H Host: app.example.com http://ingress-ip五、存储故障排查5.1 PVC故障排查# 查看PVC状态 kubectl get pvc my-pvc # 查看PVC详情 kubectl describe pvc my-pvc # 检查PV状态 kubectl get pv # 检查StorageClass kubectl get storageclass5.2 存储挂载失败# 检查Pod挂载状态 kubectl describe pod my-pod | grep -A 5 Volumes # 检查节点存储配置 lsblk # 检查存储卷挂载点 df -h # 检查CSI驱动状态 kubectl get csidrivers六、资源故障排查6.1 资源不足排查# 查看Pod资源使用 kubectl top pods # 查看节点资源使用 kubectl top nodes # 检查资源配额 kubectl get resourcequota # 检查LimitRange kubectl get limitrange6.2 OOM Killer排查# 检查系统日志中的OOM事件 grep -i Out of memory /var/log/messages # 检查Pod事件中的OOM kubectl get events | grep -i oom # 检查节点内存状态 free -h七、调度故障排查7.1 Pod无法调度# 查看Pod调度事件 kubectl describe pod my-pod | grep -A 20 Events # 检查节点选择器 kubectl get pod my-pod -o jsonpath{.spec.nodeSelector} # 检查节点亲和性 kubectl get pod my-pod -o jsonpath{.spec.affinity} # 检查节点污点 kubectl get nodes -o jsonpath{.items[*].spec.taints}7.2 调度器日志分析# 查看调度器日志 kubectl logs -n kube-system -l componentkube-scheduler # 检查调度器配置 kubectl get configmap -n kube-system kube-scheduler # 检查Pod优先级 kubectl get priorityclass八、高级排查工具8.1 使用kubectl debug# 创建调试Pod kubectl debug my-pod -it --imagebusybox # 复制Pod配置创建调试Pod kubectl debug my-pod -it --copy-todebug-pod --imagebusybox # 进入节点调试 kubectl debug node/my-node -it --imagebusybox8.2 使用tcpdump抓包# 在Pod中安装tcpdump kubectl exec -it my-pod -- apt-get update apt-get install -y tcpdump # 抓包 kubectl exec -it my-pod -- tcpdump -i any port 8080 # 保存抓包文件 kubectl exec -it my-pod -- tcpdump -i any -w /tmp/capture.pcap8.3 使用strace调试# 在Pod中安装strace kubectl exec -it my-pod -- apt-get update apt-get install -y strace # 追踪系统调用 kubectl exec -it my-pod -- strace -p pid # 追踪进程启动 kubectl exec -it my-pod -- strace -f -s 2048 ./my-app九、日志分析9.1 收集Pod日志# 收集所有Pod日志 kubectl logs my-pod my-pod.log # 收集容器日志 kubectl logs my-pod -c my-container my-container.log # 收集之前容器的日志 kubectl logs my-pod --previous my-pod-previous.log # 实时查看日志 kubectl logs -f my-pod9.2 分析系统日志# 查看Kubernetes组件日志 kubectl logs -n kube-system -l componentkube-apiserver kubectl logs -n kube-system -l componentkube-controller-manager kubectl logs -n kube-system -l componentkube-scheduler # 查看节点系统日志 journalctl -u kubelet journalctl -u docker journalctl -u containerd9.3 使用ELK分析日志apiVersion: v1 kind: ConfigMap metadata: name: fluentd-config data: fluent.conf: | source type tail path /var/log/containers/*.log tag kubernetes.* format json /source match kubernetes.** type elasticsearch host elasticsearch.default.svc.cluster.local port 9200 index_name k8s-logs /match十、故障排查流程图1. Pod无法启动 ├─→ 检查Pod状态 (kubectl get pods) ├─→ 查看Pod详情 (kubectl describe pod) ├─→ 查看Pod日志 (kubectl logs) └─→ 检查事件 (kubectl get events) 2. 服务无法访问 ├─→ 检查Service状态 (kubectl get svc) ├─→ 检查Endpoint (kubectl get endpoints) ├─→ 检查Pod网络 (kubectl exec ping) └─→ 检查Ingress (kubectl get ingress) 3. 节点不可用 ├─→ 检查节点状态 (kubectl get nodes) ├─→ 查看节点详情 (kubectl describe node) ├─→ 检查Kubelet日志 (journalctl) └─→ 检查节点资源 (kubectl top nodes) 4. 存储挂载失败 ├─→ 检查PVC状态 (kubectl get pvc) ├─→ 检查PV状态 (kubectl get pv) ├─→ 检查StorageClass (kubectl get sc) └─→ 检查节点存储 (df -h)十一、最佳实践11.1 日志收集配置集中式日志收集系统设置日志保留策略配置日志轮转11.2 监控告警配置关键指标监控设置合理的告警阈值配置告警通知渠道11.3 定期检查定期检查集群健康状态定期清理无用资源定期备份重要数据11.4 故障演练定期进行故障演练完善故障恢复流程文档化故障处理步骤参考资料Kubernetes故障排查指南kubectl debug文档Kubernetes日志文档