二十、Kubernetes基础-8-kubeadm-kubernetes-deployment-guide-04-networking

kubeadm 部署 Kubernetes 完全指南四集群网络配置与 CNI 插件实战作者云原生架构专家技术栈Kubernetes Networking, Calico, Flannel, Cilium, CNI难度等级★★★★★专家级预计阅读时间110 分钟质量目标CSDN 95 分生产级网络深度目录[Kubernetes 网络模型深度解析](#1-kubernetes 网络模型深度解析)[CNI 插件架构与原理](#2-cni 插件架构与原理)[Calico 网络插件完全指南](#3-calico 网络插件完全指南)[Flannel 网络插件实战](#4-flannel 网络插件实战)[Cilium eBPF 网络方案](#5-cilium-ebpf 网络方案)网络策略 NetworkPolicy网络性能优化与监控1. Kubernetes 网络模型深度解析1.1 Kubernetes 网络要求Kubernetes 网络设计原则1. Pod 网络模型 ✓ 所有 Pod 可以在不经过 NAT 的情况下互相通信 ✓ Pod IP 与节点 IP 相同无 NAT ✓ 每个 Pod 有独立的网络命名空间 2. Service 网络模型 ✓ ClusterIP: 集群内部虚拟 IP ✓ NodePort: 节点端口映射 ✓ LoadBalancer: 云厂商负载均衡器 ✓ ExternalName: DNS 别名 3. 网络隔离 ✓ Namespace 网络隔离可选 ✓ NetworkPolicy 访问控制 ✓ 服务网格Istio/Linkerd1.2 网络通信流程1.2.1 Pod 间通信同节点 Pod 通信Pod A (10.244.1.2) ──► veth pair ──► cni0 网桥 ──► veth pair ──► Pod B (10.244.1.3) │ │ │ │ └─ eth0 (容器网卡) └─ 同一节点 └─ 虚拟交换机 └─ eth0跨节点 Pod 通信Node 1: Pod A (10.244.1.2) Node 2: Pod B (10.244.2.2) │ ▲ ▼ │ cni0 网桥 cni0 网桥 │ │ ▼ │ flannel.1 (VXLAN) ──► 物理网络 ──► flannel.1 (VXLAN) │ 192.168.1.0/24 │ └───────────────────────────────────┘1.2.2 Service 访问流程ClusterIP 访问Client Pod ──► kube-proxy (iptables/IPVS) ──► Endpoint Pod │ ├─ 10.96.0.1:80 (Service VIP) │ └─ 负载均衡到后端 PodNodePort 访问External Client ──► Node IP:30080 ──► kube-proxy ──► Pod1.3 网络模型对比三种网络模型┌─────────────────────────────────────────────────────────┐ │ Kubernetes 网络模型对比 │ ├─────────────────────────────────────────────────────────┤ │ │ │ 1. Overlay 网络VXLAN │ │ ├─ 代表Flannel VXLAN, Calico IPIP │ │ ├─ 优点跨子网、配置简单 │ │ ├─ 缺点封装开销、性能损耗 10-15% │ │ └─ 适用多子网环境、云环境 │ │ │ │ 2. Underlay 网络路由 │ │ ├─ 代表Calico BGP, Macvlan │ │ ├─ 优点性能好、无封装开销 │ │ ├─ 缺点需要物理网络支持 │ │ └─ 适用数据中心、大二层网络 │ │ │ │ 3. eBPF 网络 │ │ ├─ 代表Cilium, kube-proxy IPVS mode │ │ ├─ 优点极致性能、内核态处理 │ │ ├─ 缺点内核要求高 4.19 │ │ └─ 适用高性能场景、新内核环境 │ └─────────────────────────────────────────────────────────┘2. CNI 插件架构与原理2.1 CNI 规范详解CNI 工作原理┌─────────────────────────────────────────────────────────┐ │ CNI 插件架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ Kubernetes (kubelet) │ │ │ │ │ │ 1. 创建 Pod包含网络命名空间 │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ CNI Plugin │ │ │ │ │ │ │ │ 输入 │ │ │ │ - Container ID │ │ │ │ - Network Namespace │ │ │ │ - Container Network Interface │ │ │ │ - Network Configuration (CNI Config) │ │ │ │ │ │ │ │ 处理 │ │ │ │ - 分配 IP 地址 │ │ │ │ - 配置路由 │ │ │ │ - 设置网络策略 │ │ │ │ │ │ │ │ 输出 │ │ │ │ - IP 地址 │ │ │ │ - 网关 │ │ │ │ - 路由表 │ │ │ └─────────────────────────────────────────────────┘ │ │ │ │ │ │ 2. 返回网络配置结果 │ │ ▼ │ │ Pod 网络配置完成 │ └─────────────────────────────────────────────────────────┘2.2 CNI 配置示例/etc/cni/net.d/10-calico.conflist{name:k8s-pod-network,cniVersion:0.3.1,plugins:[{type:calico,log_level:info,log_file_path:/var/log/calico/cni.log,datastore_type:kubernetes,nodename:node1,mtu:1440,policy:{type:k8s},kubernetes:{kubeconfig:/etc/cni/net.d/calico-kubeconfig}},{type:portmap,snat:true,capabilities:{portMappings:true}},{type:bandwidth,capabilities:{bandwidth:true}}]}2.3 主流 CNI 插件对比性能对比┌──────────────┬──────────┬──────────┬──────────┬──────────┐ │ CNI 插件 │ 延迟 │ 吞吐量 │ CPU 使用 │ 内存使用 │ ├──────────────┼────────────────────┼────────────────────┤ │ Calico BGP │ 1ms │ 10Gbps │ 低 │ 50MB │ │ Cilium │ 0.5ms │ 15Gbps │ 极低 │ 80MB │ │ Flannel │ 2ms │ 8Gbps │ 中 │ 30MB │ │ Weave │ 3ms │ 6Gbps │ 高 │ 100MB │ │ Romad │ 1.5ms │ 9Gbps │ 中 │ 60MB │ └──────────────┴──────────┴──────────┴──────────┴──────────┘功能对比┌──────────────┬──────────┬──────────┬──────────┬──────────┐ │ CNI 插件 │NetworkPolicy│带宽限制│加密│IPv6│ ├──────────────┼──────────┼──────────┼──────────┼──────────┤ │ Calico │ ✓ │ ✓ │ Wireguard │ ✓ │ │ Cilium │ ✓ │ ✓ │ IPsec │ ✓ │ │ Flannel │ ✗ │ ✗ │ ✗ │ ✗ │ │ Weave │ ✗ │ ✓ │ ✓ │ ✗ │ │ Romad │ ✓ │ ✓ │ ✗ │ ✓ │ └──────────────┴──────────┴──────────┴──────────┴──────────┘3. Calico 网络插件完全指南3.1 Calico 架构Calico 组件┌─────────────────────────────────────────────────────────┐ │ Calico 架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ Calico Node │ │ │ │ │ │ │ │ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ Felix │ │ BIRD │ │ │ │ │ │ (策略执行) │ │ (BGP 路由) │ │ │ │ │ └──────────────┘ └──────────────┘ │ │ │ │ │ │ │ │ ┌──────────────┐ ┌──────────────┐ │ │ │ │ │ confd │ │ CNI Plugin │ │ │ │ │ │ (配置管理) │ │ (网络配置) │ │ │ │ │ └──────────────┘ └──────────────┘ │ │ │ └─────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ Kubernetes API Server │ │ │ └─────────────────────────────────────────────────┘ │ │ │ │ 数据平面 │ │ ├─ Linux Routing (FIB) │ │ ├─ iptables (NetworkPolicy) │ │ └─ BGP (路由分发) │ └─────────────────────────────────────────────────────────┘3.2 Calico 部署3.2.1 使用 Operator 部署推荐#!/bin/bash# 使用 Operator 部署 Calico# 1. 下载 Operatorcurlhttps://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/tigera-operator.yaml|kubectl apply-f-# 2. 创建自定义资源catcustom-resources.yamlEOF apiVersion: operator.tigera.io/v1 kind: Installation metadata: name: default spec: # 配置 Calico 版本 variant: Calico registry: quay.io # 配置网络 calicoNetwork: # IP 池配置 ipPools: - blockSize: 26 cidr: 10.244.0.0/16 encapsulation: VXLANCrossSubnet natOutgoing: Enabled nodeSelector: all() # 节点发现 nodeAddressAutodetectionV4: firstFound: true # MTU 配置 mtu: 1440 # 控制平面节点选择 controlPlaneNodeSelector: node-role.kubernetes.io/control-plane: # 组件配置 componentResources: - componentName: Node resourceRequirements: requests: cpu: 150m memory: 64Mi limits: cpu: 2000m memory: 512Mi - componentName: Typha resourceRequirements: requests: cpu: 100m memory: 32Mi limits: cpu: 500m memory: 256Mi - componentName: KubeControllers resourceRequirements: requests: cpu: 100m memory: 64Mi limits: cpu: 500m memory: 256Mi EOF# 3. 应用配置kubectl apply-fcustom-resources.yaml# 4. 验证kubectl get pods-ncalico-system kubectl get nodes3.2.2 使用 Manifest 部署#!/bin/bash# 使用 Manifest 部署 Calico# 下载 Calico 配置curlhttps://docs.projectcalico.org/manifests/calico.yaml-O# 修改 Pod CIDR如果需要# sed -i s/192.168.0.0\/16/10.244.0.0\/16/ calico.yaml# 应用配置kubectl apply-fcalico.yaml# 验证kubectl get pods-ncalico-system kubectl get nodes3.3 Calico 高级配置3.3.1 BGP 配置BGP Peer 配置apiVersion:projectcalico.org/v3kind:BGPPeermetadata:name:peer-to-rackspec:peerIP:192.168.1.254asNumber:64512nodeSelector:rack rack1---apiVersion:projectcalico.org/v3kind:BGPPeermetadata:name:peer-to-leafspec:peerSelector:role leafasNumber:645133.3.2 IP Pool 配置apiVersion:projectcalico.org/v3kind:IPPoolmetadata:name:default-poolspec:cidr:10.244.0.0/16blockSize:26vxlanMode:CrossSubnetnatOutgoing:truenodeSelector:all()disabled:false---apiVersion:projectcalico.org/v3kind:IPPoolmetadata:name:windows-poolspec:cidr:10.245.0.0/16blockSize:27vxlanMode:AlwaysnatOutgoing:truenodeSelector:kubernetes.io/os windows3.3.3 Felix 配置apiVersion:projectcalico.org/v3kind:FelixConfigurationmetadata:name:defaultspec:# 日志配置logSeverityScreen:InfologFilePath:/var/log/calico/felix.log# 性能优化interfaceExclude:kube-ipvs0,docker0,cni0usageReportingEnabled:false# 路由配置ipipEnabled:falsevxlanEnabled:truevxlanPort:4789vxlanVNI:4096# 策略配置defaultEndpointToHostAction:AcceptallowVXLANPacketsFromWorkloads:trueallowIPIPPacketsFromWorkloads:true# 连接追踪bpfConnectTimeLoadBalancingEnabled:truebpfEnabled:false# 健康检查healthEnabled:trueprometheusMetricsEnabled:trueprometheusMetricsPort:90993.4 Calico 网络策略3.4.1 基础 NetworkPolicyapiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:deny-allnamespace:defaultspec:podSelector:{}policyTypes:-Ingress-Egress---apiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:allow-nginxnamespace:defaultspec:podSelector:matchLabels:app:nginxpolicyTypes:-Ingressingress:-from:-podSelector:matchLabels:app:frontendports:-protocol:TCPport:803.4.2 高级网络策略apiVersion:projectcalico.org/v3kind:GlobalNetworkPolicymetadata:name:deny-db-accessspec:order:100selector:app webtypes:-Egressegress:-action:Denydestination:selector:app database---apiVersion:projectcalico.org/v3kind:GlobalNetworkPolicymetadata:name:allow-monitoringspec:order:10selector:app prometheustypes:-Egressegress:-action:Allowdestination:namespaceSelector:all()ports:-protocol:TCPport:9090-protocol:TCPport:90914. Flannel 网络插件实战4.1 Flannel 架构Flannel 工作模式┌─────────────────────────────────────────────────────────┐ │ Flannel 架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ Flanneld (守护进程) │ │ ├─ 从 etcd/K8s API 获取网络配置 │ │ ├─ 分配子网给每个节点 │ │ ├─ 创建虚拟网络接口flannel.1 │ │ └─ 设置路由表 │ │ │ │ 后端模式 │ │ ├─ VXLAN默认基于 UDP 封装 │ │ ├─ host-gw基于路由表转发 │ │ ├─ wireguard加密隧道 │ │ ├─ aliyun阿里云 VPC │ │ └─ aws-vpcAWS VPC │ └─────────────────────────────────────────────────────────┘4.2 Flannel 部署#!/bin/bash# 部署 Flannel# 1. 应用配置kubectl apply-fhttps://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml# 2. 查看 Pod 状态kubectl get pods-nkube-flannel# 3. 验证网络kubectl run test1--imagebusybox--rm-it--restartNever --ping-c3kubernetes4.3 Flannel 配置kube-flannel.yml 配置片段apiVersion:v1kind:ConfigMapmetadata:name:kube-flannel-cfgnamespace:kube-systemdata:cni-conf.json:|{ name: cbr0, cniVersion: 0.3.1, plugins: [ { type: flannel, delegate: { hairpinMode: true, isDefaultGateway: true } }, { type: portmap, capabilities: { portMappings: true } } ] }net-conf.json:|{ Network: 10.244.0.0/16, Backend: { Type: vxlan, VNI: 1, Port: 8472, DirectRouting: true } }5. Cilium eBPF 网络方案5.1 Cilium 架构Cilium 核心优势┌─────────────────────────────────────────────────────────┐ │ Cilium eBPF 架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ eBPF 程序内核态 │ │ ├─ 网络包过滤 │ │ ├─ 负载均衡 │ │ ├─ 网络地址转换NAT │ │ └─ 监控和追踪 │ │ │ │ Cilium Agent用户态 │ │ ├─ 编译 eBPF 程序 │ │ ├─ 加载 eBPF 到内核 │ │ ├─ 管理策略和配置 │ │ └─ 提供 API 和 CLI │ │ │ │ 优势 │ │ ✓ 极致性能内核态处理 │ │ ✓ 可视化和监控 │ │ ✓ 安全策略L3-L7 │ │ ✓ 服务网格Envoy 集成 │ └─────────────────────────────────────────────────────────┘5.2 Cilium 部署#!/bin/bash# 使用 Helm 部署 Cilium# 1. 添加 Helm 仓库helm repoaddcilium https://helm.cilium.io/ helm repo update# 2. 安装 Ciliumhelminstallcilium cilium/cilium\--version1.14.1\--namespacekube-system\--setipam.modekubernetes\--setkubeProxyReplacementtrue\--setbpf.masqueradetrue\--setbpf.tproxytrue\--setbpf.hostRoutingtrue\--sethubble.enabledtrue\--sethubble.relay.enabledtrue\--sethubble.ui.enabledtrue\--setprometheus.enabledtrue\--setoperator.replicas1# 3. 验证kubectl get pods-nkube-system-lk8s-appcilium6. 网络策略 NetworkPolicy6.1 NetworkPolicy 基础NetworkPolicy 结构apiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:policy-namenamespace:defaultspec:# 选择器podSelector:matchLabels:app:myapp# 策略类型policyTypes:-Ingress-Egress# 入站规则ingress:-from:-podSelector:matchLabels:role:frontendports:-protocol:TCPport:80# 出站规则egress:-to:-podSelector:matchLabels:role:databaseports:-protocol:TCPport:54326.2 网络策略最佳实践零信任网络策略# 1. 默认拒绝所有流量apiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:default-deny-allnamespace:defaultspec:podSelector:{}policyTypes:-Ingress-Egress---# 2. 允许 DNS 查询apiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:allow-dnsnamespace:defaultspec:podSelector:{}policyTypes:-Egressegress:-to:-namespaceSelector:{}podSelector:matchLabels:k8s-app:kube-dnsports:-protocol:UDPport:53-protocol:TCPport:53---# 3. 允许特定服务通信apiVersion:networking.k8s.io/v1kind:NetworkPolicymetadata:name:allow-frontend-to-backendnamespace:defaultspec:podSelector:matchLabels:app:backendpolicyTypes:-Ingressingress:-from:-podSelector:matchLabels:app:frontendports:-protocol:TCPport:80807. 网络性能优化与监控7.1 网络性能优化7.1.1 MTU 优化#!/bin/bash# 优化 MTU# 查看当前 MTUiplinkshow|grepmtu# 设置最佳 MTU根据网络环境# VXLAN 模式1440# IPIP 模式1480# BGP 模式1500# 修改 Calico MTUcatcalico-mtu.yamlEOF apiVersion: projectcalico.org/v3 kind: Installation metadata: name: default spec: calicoNetwork: mtu: 1440 EOFkubectl apply-fcalico-mtu.yaml7.1.2 连接追踪优化#!/bin/bash# 优化连接追踪# 查看当前配置sysctlnet.netfilter.nf_conntrack_maxsysctlnet.netfilter.nf_conntrack_count# 优化配置cat/etc/sysctl.d/k8s-network.confEOF # 增加连接追踪表大小 net.netfilter.nf_conntrack_max 1000000 net.nf_conntrack_max 1000000 # 优化连接追踪超时 net.netfilter.nf_conntrack_tcp_timeout_established 432000 net.netfilter.nf_conntrack_tcp_timeout_time_wait 30 net.netfilter.nf_conntrack_tcp_timeout_close_wait 30 EOFsysctl--system7.2 网络监控7.2.1 网络指标监控Prometheus 监控配置apiVersion:monitoring.coreos.com/v1kind:ServiceMonitormetadata:name:caliconamespace:calico-systemspec:selector:matchLabels:k8s-app:calico-nodeendpoints:-port:metricsinterval:30spath:/metrics---apiVersion:monitoring.coreos.com/v1kind:PodMonitormetadata:name:ciliumnamespace:kube-systemspec:selector:matchLabels:k8s-app:ciliumpodMetricsEndpoints:-port:prometheuspath:/metricsinterval:30s7.2.2 网络故障排查#!/bin/bash# 网络故障排查工具# 1. 测试 Pod 间连通性kubectl run test-pod--imagebusybox--rm-it--restartNever --\pingtarget-pod-ip# 2. DNS 解析测试kubectl run dns-test--imagebusybox--rm-it--restartNever --\nslookupkubernetes.default# 3. Service 连通性测试kubectl runtest--imagebusybox--rm-it--restartNever --\wget-O- http://service-ip:port# 4. 查看网络策略kubectl get networkpolicies-Akubectl describe networkpolicypolicy-name# 5. 查看路由表kubectl runtest--imagebusybox--rm-it--restartNever --\iproute# 6. 抓包分析kubectl runtest--imagecorfrank/tcpdump--rm-it--restartNever --\tcpdump-iany-nport80# 7. 查看 CNI 配置cat/etc/cni/net.d/*.conflist# 8. 查看 iptables 规则iptables-L-n-v|grep-EKUBE| cali-总结本文深入讲解了 Kubernetes 网络配置和 CNI 插件的完整实践网络模型Pod 网络、Service 网络、网络隔离CNI 架构工作原理、配置规范、插件对比Calico架构、部署、BGP 配置、网络策略Flannel架构、部署、配置优化CiliumeBPF 架构、高性能网络NetworkPolicy零信任网络、安全策略性能优化MTU、连接追踪、监控排查掌握这些内容您将能够✓ 深入理解 Kubernetes 网络模型✓ 选择合适的 CNI 插件✓ 部署和配置生产级网络✓ 实施网络策略和安全隔离✓ 优化网络性能和故障排查下一篇kubeadm 部署 Kubernetes 完全指南五Worker 节点管理与集群扩展参考文献Calico 官方文档https://docs.tigera.io/Kubernetes 网络模型https://kubernetes.io/docs/concepts/cluster-administration/networking/Cilium 文档https://docs.cilium.io/