[K8S小白问题集] - Calico好在哪里？

一、Calico 的核心优势不止于连通Calico 的设计哲学是“用路由而非封装实现连通用策略而非信任保障安全”。它并非简单的 CNI而是一个完整的云原生网络与安全平台。1.1 三层核心能力能力技术实现价值BGP 原生 Underlay每个节点运行 BIRDBGP 守护进程直接向物理网络宣告 Pod CIDR性能接近裸机无 VXLAN 封装开销直接对接专网核心交换机 BGP云网融合细粒度网络策略原生支持 K8s NetworkPolicy并扩展至 GlobalNetworkPolicy集群级、HostEndpoint宿主机级等保 2.0/3.0 东西向微隔离的基石默认拒绝、白名单开放eBPF 数据面可选替换 iptables内核级处理报文支持 L7 可见性、源 IP 保留、DDoS 防护核心交易低延迟、高吞吐Service Mesh Sidecarless 化减少资源占用1.2 架构模式灵活性Calico 支持三种数据面模式可按场景混合使用模式机制适用场景BGP推荐节点通过 BGP 宣告 Pod 路由物理网络直接转发自建机房、专网、裸金属集群性能最优IPIPIP in IP跨子网时封装 IP 头类似轻量 VXLAN跨子网但无 BGP 路由能力的过渡场景VXLAN标准 VXLAN OverlayCalico 实现公有云 VPC 内无 BGP 权限时的备选但性能弱于 BGPeBPF数据面替代 iptables/ipvs内核态直接处理大规模高并发、需要 L7 可观测或 WireGuard 加密的场景关键决策若机房核心交换机支持 BGP或允许节点作为 BGP PeerBGP 模式是首选若上公有云且云厂商限制 BGP则 VXLAN 模式作为过渡但应评估 Cilium 作为替代。二、Calico vs Flannel架构级差异2.1 核心设计哲学对比维度FlannelCalico首要目标连通性让跨节点 Pod 能 ping 通连通 安全 可观测在连通基础上叠加策略与可视化网络模型Overlay 为主VXLAN/UDP虚构 L2Underlay 为主BGP L3尊重物理网络数据面实现内核 VXLAN 模块 静态 FDB/ARPBIRD BGP iptables/ipvs或 eBPF网络策略无。Flannel 本身不实现 NetworkPolicy需配合 CanalFlannelCalico Policy原生完整支持L3-L4 NetworkPolicyeBPF 模式下支持 L7IPAM简单子网分配Host-Local灵活Host-Local、Calico IPAM、集成云厂商 IPAM性能特征VXLAN 封装开销MTU-50用户态无加速BGP 直连接近裸机eBPF 进一步减少 iptables 遍历开销可扩展性瓶颈VXLAN 依赖内核 FDB大规模 ARP/广播可控BGP 通过 Route Reflector 扩展万级节点无压力宿主机连通Pod 访问 Node IP 需额外路由HostEndpoint 原生保护宿主机端口Windows 支持有限官方支持 Windows HNS 集成2.2 数据包路径对比跨节点 Pod 通信Flannel VXLAN 路径Pod A ──► veth ──► cni0 ──► flannel.1(VTEP) ──► VXLAN封装 ──► eth0──► 底层网络 ──► eth0 ──► VXLAN解封装 ──► flannel.1 ──► cni0 ──► Pod B封装点flannel.1 设备路由决策静态路由 静态 ARP FDB策略检查无仅依赖 K8s 原生 iptables kube-proxyCalico BGP 路径Pod A ──► veth ──► 路由表(10.244.2.3 via Node2_IP) ──► eth0──► 底层网络物理路由器已学习Pod CIDR路由──► eth0 ──► 路由表 ──► veth ──► Pod B封装点无同子网或 IPIP/VXLAN跨子网且 BGP 不可达时路由决策BGP 动态宣告物理网络参与路由策略检查Calico Felix 在出/入路径插入 iptables/eBPF 规则执行 NetworkPolicy2.3 关键差异场景FlannelCalico影响等保东西向隔离需额外引入 CanalFlannelCalico Policy架构复杂原生支持Pod 级、Namespace 级、全局策略一键下发Flannel 方案增加组件故障面专网对接VXLAN 与专网独立需 NAT 或双层路由BGP 直接宣告 Pod CIDR 到核心交换机专网原生可达Calico 网络架构与现有网络团队技能匹配裸金属数据库访问Pod 访问裸金属需额外路由打通HostEndpoint 将裸金属端口纳入策略统一微隔离核心账务数据库安全策略统一管理大规模集群500节点VXLAN ARP/FDB 表项膨胀排查困难BGP RR 收敛路由表清晰故障域可控大集群长期演进可观测审计仅能看到节点级流量Pod 级黑洞Flow 日志、策略命中日志、BGP 状态全可视等保审计要求三、Calico 可观测与监控管理Calico 原生设计了多维度可观测接口这是 Flannel 完全缺失的能力。3.1 指标体系PrometheusCalico 各组件暴露/metrics端点组件指标前缀关键指标告警Felix节点代理felix_*felix_iptables_rules_count规则数膨胀、felix_int_local_endpoint_poll_time_seconds接口轮询延迟、felix_active_local_endpoints本节点端点数规则数突增 20%可能遭遇策略注入攻击或配置漂移BIRDBGP 守护bird_*bird_protocol_up{protodirect1}BGP 邻居状态、bird_routes_imported导入路由数BGP 邻居 Down 2min跨节点 Pod 路由黑洞Typha集中式缓存大集群typha_*typha_connections_activeapiserver 连接数、typha_snapshots_generated快照生成速率大集群500 节点必须部署 Typha否则 Felix 直接压垮 apiserverCNI 插件cni_*cni_add_ops_totalCNI ADD 次数、cni_add_latency_secondsCNI ADD 延迟 5sPod 启动阻塞影响交易扩容ServiceMonitor 配置apiVersion: monitoring.coreos.com/v1kind: ServiceMonitormetadata:name: calico-monitoringnamespace: monitoringspec:selector:matchLabels:k8s-app: calico-nodeendpoints:- port: metricsinterval: 15spath: /metricsnamespaceSelector:matchNames:- kube-system3.2 日志与审计日志源采集方式用途Felix 日志DaemonSet 标准输出 → Vector/Loki策略拒绝事件、接口异常、路由表变更BIRD 日志节点本地/var/log/calico/bird/current→ 宿主机日志采集BGP 邻居震荡、路由宣告异常Policy AuditGlobalNetworkPolicy开启doNotTrackapplyOnForwardlogaction等保审计记录被策略拒绝的连接五元组汇入 SIEM策略审计示例apiVersion: projectcalico.org/v3kind: GlobalNetworkPolicymetadata:name: audit-deny-cross-departmentspec:selector: all()types:- Ingress- Egressingress:- action: Log # 先记录- action: Deny # 再拒绝source:selector: department ! sameegress:- action: Log- action: Denydestination:selector: department ! same日志输出[AUDIT] DROP src10.244.1.5 dst10.244.2.3 protoTCP sport5432 dport3306 policyaudit-deny-cross-department3.3 诊断工具链calicoctl运维必须掌握的排查工具命令作用场景calicoctl node status查看本节点 BGP 邻居状态、路由导入数跨节点 Pod 不通先查 BGPcalicoctl get wep --all-namespaces列出所有 WorkloadEndpointPod 网络接口确认 Pod 是否被 Calico 正确接入calicoctl get ippool查看 IP 池分配IP 耗尽排查calicoctl get policy查看生效的网络策略策略误拦截排查calicoctl get profile查看默认命名空间隔离规则默认拒绝策略来源排查calicoctl ipam checkIPAM 一致性检查孤儿 IP、IP 泄漏修复3.4 Grafana 大盘设计┌─────────────────────────────────────────┐│ Calico 网络健康总览NOC 值班大屏 │├─────────────────────────────────────────┤│ ├── BGP 邻居状态矩阵节点×节点 ││ │ └─ 绿色Established红色Down ││ ├── Pod IP 池利用率按 Pool ││ │ └─ 告警阈值 80% ││ ├── 网络策略命中 Top10 ││ │ └─ 被拒绝流量最多的策略规则 ││ ├── Felix iptables 规则数趋势 ││ │ └─ 突增配置漂移或攻击 ││ ├── 跨节点流量热力图基于 Flow 日志 ││ │ └─ 识别异常横向移动 ││ └── CNI ADD 延迟 P99 ││ └─ 3s 触发节点健康告警 │└─────────────────────────────────────────┘3.5 可观测增强需求实现方式Flow 日志长期留存Calico Flow Aggregator或集成 Cilium Hubble 替代→ Kafka → ClickHouse留存 6 个月策略变更审计calicoctl所有操作通过 K8s Audit Webhook 记录谁、何时、改了哪条策略信创内核适配麒麟/统信内核需确认iptable_raw、ip_set、xt_bpf模块加载eBPF 模式需内核 ≥ 5.10部分信创发行版需升级四、选型决策什么时候选 Calico条件建议模式自建机房/专网/裸金属为主Calico BGPUnderlay 直连性能最优网络团队可运维等保三级以上需东西向微隔离Calico 必选Flannel 无法满足默认拒绝策略混合云阿里云华为云自建Calico VXLAN/IPIP或Cilium跨云 BGP 不可行时Overlay 作为统一抽象大规模集群1000 节点Calico BGP Typha eBPFTypha 减轻 apiserver 压力eBPF 替代 iptables 遍历已深度使用 Istio需 L7 可观测Calico eBPF或CiliumCalico eBPF 支持 L7 策略但 Cilium 的 L7 可观测更成熟关键结论Flannel 是“让容器通起来”的最小可行方案Calico 是“让容器在受控、可视、可审计的状态下通起来”的企业级方案。对大集群而言等保合规、东西向隔离、专网融合、可观测审计四项要求决定了生产环境必须跨越 Flannel走向 Calico 或 Cilium。