Kilo：基于WireGuard的轻量级跨云Kubernetes网络覆盖方案

1. 项目概述与核心价值最近在梳理一些轻量级、高性能的网络工具时又翻出了Kilo-Org/kilo这个项目。它不是一个新面孔但在追求极致简洁和跨平台组网的场景下依然是我工具箱里的常备选项。简单来说Kilo 是一个用 Go 语言编写的、极其轻量的 WireGuard 网络覆盖层。如果你对 WireGuard 的配置复杂度感到头疼或者需要在异构网络比如跨越公有云、私有数据中心、边缘设备甚至家庭网络中快速搭建一个安全、稳定的三层网络那么 Kilo 提供了一种“一键式”的解决方案。它的核心价值在于“化繁为简”。WireGuard 本身已经足够优秀但其点对点的配置模型在管理超过十个节点时手动维护wg0.conf文件就会变成一场噩梦。Kilo 扮演了“自动化配置引擎”和“网络拓扑管理器”的角色。它通过读取集群节点支持 Kubernetes 和传统主机的元数据如标签、注解、区域信息自动为 WireGuard 接口生成正确的对等体配置和路由规则从而构建一个全互联或基于地理位置最优路径的网状网络。对于运维工程师、SRE 或任何需要构建跨云混合网络架构的开发者而言掌握 Kilo 意味着能用极低的资源开销和运维成本获得一个媲美商业 SD-WAN 解决方案的基础网络层。2. 核心架构与工作原理拆解要理解 Kilo 如何工作我们需要深入到它的架构层面。Kilo 的设计哲学是“非侵入式”和“声明式”。它不替代 Kubernetes 的 CNI也不强行接管主机的网络栈而是作为一个旁路组件专注于 WireGuard 隧道的建立与管理。2.1 核心组件交互模型Kilo 通常以 DaemonSet 的形式运行在 Kubernetes 集群的每个节点上或者以系统服务Systemd Unit的形式运行在传统主机上。其核心逻辑可以分解为以下几个持续运行的协程拓扑发现Kilo 会持续监听 Kubernetes API Server集群模式或读取本地配置文件主机模式收集所有节点的信息。关键信息包括节点的 IP 地址内网/公网、地理位置标签如topology.kubernetes.io/regionus-west-1、以及用户自定义的 Kilo 注解如指定 WireGuard 监听端口、公钥等。对等体计算这是 Kilo 的“大脑”。根据启动参数如--mesh-granularitylocation它会计算出一个最优的 WireGuard 对等体连接图。全互联模式每个节点与所有其他节点直接建立 WireGuard 隧道。适用于小型集群节点数50延迟最低但连接数呈 O(n²) 增长。位置模式这是默认且推荐的生产模式。Kilo 会将节点按地理位置通过节点标签识别分组。组内节点全互联而不同组的节点之间则通过每组选出的一个“领袖节点”进行通信。这大幅减少了跨区域流量所需的隧道数量降低了开销同时利用了区域内部网络低延迟的特性。逻辑组模式允许用户通过自定义标签来定义逻辑组组网规则与位置模式类似提供了更高的灵活性。配置渲染与生效计算好对等体关系后Kilo 会在内存中生成每个节点独有的 WireGuard 配置文件。然后它通过调用ip和wg命令行工具在主机网络命名空间内创建或更新wg0接口并配置相应的路由规则将目标为其他 Kilo 节点 Pod 或子网的流量导向wg0接口。密钥管理Kilo 支持为每个节点自动生成并维护 WireGuard 的公私钥对。私钥通常存储在节点的内存或一个短暂的本地文件中而公钥则通过 Kubernetes 的 Node 资源注解如kilo.squat.ai/public-key进行共享。这种设计避免了集中式的密钥存储更符合云原生的安全模式。2.2 数据面流转详解当 Pod A在节点 Node-1 上试图访问 Pod B在节点 Node-2 上时数据包的旅程如下Pod A 发出的数据包其目的 IP 是 Pod B 的地址。根据 Node-1 上的路由表所有发往 Kilo 网络段例如10.5.0.0/16的流量被指向wg0接口。WireGuard 内核模块接管此数据包使用 Node-1 的私钥和 Node-2 的公钥进行加密。加密后的数据包被封装在一个 UDP 包中外层目的 IP 是 Node-2 的公网 IP或经过 NAT 后的可达 IP。该 UDP 包通过物理网络接口发送出去经过互联网或专线到达 Node-2。Node-2 上的 WireGuard 监听端口收到包解密后将原始的内层数据包递交给wg0接口。Node-2 的内核根据路由规则将该数据包路由到本地的 Pod B。整个过程对应用容器完全透明它们感知到的就是一个扁平的三层网络。注意Kilo 默认不会处理集群原生 Service CIDR 的流量。它的重点是打通 Pod-to-Pod 或 Node-to-Node 的直接路由。如果你需要跨集群的服务发现需要结合 CoreDNS 的定制配置或其他的服务网格方案。3. 从零开始在 Kubernetes 集群中部署 Kilo理论讲得再多不如动手搭一遍。下面我将以一个横跨阿里云北京和腾讯云上海的两个节点集群为例演示如何部署 Kilo。3.1 前置条件与集群准备首先确保你有一个已经初始化好的 Kubernetes 集群这里以 K3s 为例它轻量且与 Kilo 兼容性好。两个节点信息如下Node-beijing (Leader): 公网 IP203.0.113.10 内网 IP10.0.1.10 区域标签topology.kubernetes.io/regioncn-beijingNode-shanghai: 公网 IP198.51.100.20 内网 IP10.0.2.20 区域标签topology.kubernetes.io/regioncn-shanghai为节点打上区域标签kubectl label node node-beijing topology.kubernetes.io/regioncn-beijing kubectl label node node-shanghai topology.kubernetes.io/regioncn-shanghai检查节点的默认 CNI。Kilo 与 Flannel、Calico 等大多数 CNI 兼容因为它创建的是另一个网络接口wg0。确保现有 CNI 的 Pod CIDR 不会与 Kilo 将要使用的 CIDR 冲突。3.2 通过 Manifest 文件部署 KiloKilo 项目提供了清晰的部署清单。我们选择使用位置网格模式。下载部署清单wget https://raw.githubusercontent.com/squat/kilo/main/manifests/kilo-k3s.yaml如果使用原生 K8s可以选择kilo.yaml使用 kubeadm 则选择kilo-kubeadm.yaml。它们的主要区别在于如何获取节点的私有 IP。关键配置修改编辑kilo-k3s.yaml找到 Kilo DaemonSet 的启动参数。# 在 kilo DaemonSet 的 containers 部分找到 args args: - --kubeconfig/etc/kubernetes/kubeconfig - --hostname$(NODE_NAME) - --mesh-granularitylocation # 确保是 location 模式 - --subnet10.5.0.0/16 # 指定 Kilo 用于 WireGuard 隧道的内部网段 - --encapsulatenever # 对于支持直接路由的云网络可以设置为 never 以使用主机网络封装性能更高--subnet这是 Kilo 内部为 WireGuard 隧道分配 IP 的网段。确保它与你的 Pod CIDR、Service CIDR 和主机网络都不重叠。--encapsulate设置为never时Kilo 会尝试为每个节点分配--subnet网段内的一个 IP并配置路由。如果云供应商不支持主机网络如某些托管 K8s可能需要设置为always来进行 UDP 封装。应用清单kubectl apply -f kilo-k3s.yaml这个命令会创建kilo命名空间以及相关的 ServiceAccount、ClusterRole、DaemonSet 等资源。验证部署kubectl get pods -n kilo -o wide你应该看到每个节点上都运行着一个kiloPod。查看日志确认无报错kubectl logs -n kilo -l app.kubernetes.io/namekilo --tail503.3 验证网络连通性部署完成后我们来验证跨云节点的 Pod 是否能够通过 Kilo 网络直接通信。在两地分别创建测试 Pod# 在北京节点创建一个测试Pod kubectl run test-pod-beijing --imagealpine --restartNever --labelsapptest --overrides{spec: {nodeName: node-beijing}} -- sleep 3600 # 在上海节点创建一个测试Pod kubectl run test-pod-shanghai --imagealpine --restartNever --labelsapptest --overrides{spec: {nodeName: node-shanghai}} -- sleep 3600获取 Pod IPkubectl get pods -l apptest -o wide记下两个 Pod 的 IP 地址例如10.42.0.10(北京) 和10.42.1.20(上海)。注意这是原有 CNI如 Flannel分配的 IP。执行跨节点 Ping 测试kubectl exec test-pod-beijing -- ping -c 4 test-pod-shanghai的IP如果 Kilo 工作正常你应该能看到成功的 ping 回复。此时流量路径是Pod(北京) - wg0(北京节点) - 公网 - wg0(上海节点) - Pod(上海)。检查 WireGuard 接口登录到任一节点查看 WireGuard 接口状态。sudo wg show你会看到wg0接口以及它的公钥和对等体列表。在位置模式下北京的节点可能只与上海区域的“领袖节点”建立了一条隧道而不是与上海的所有节点都建立。实操心得在公有云上务必确保安全组/防火墙放行了 WireGuard 的 UDP 端口默认是 51820。同时如果节点没有公网 IP 或位于 NAT 之后需要确保 Kilo 能正确获取到节点可被外部访问的“端点”地址有时需要通过--force-external-ip参数手动指定。4. 高级配置与生产级调优基础部署只能算“能用”要“好用”且稳定还需要进行一系列调优。以下是几个关键的生产级配置点。4.1 密钥管理与轮转策略Kilo 默认将私钥存储在kilo命名空间的一个 Secret 中并以卷的形式挂载到 Pod 里。这比存储在节点磁盘上更安全但依然需要考虑轮转。手动轮转最直接的方法是删除 Kilo 为每个节点生成的 Secret然后删除 Kilo Pod 让其重建。DaemonSet 控制器会创建新的 Pod而新 Pod 会检测到没有密钥从而生成新的密钥对并更新 Node 注解。# 注意这会导致短暂的网络中断 kubectl delete secret -n kilo kilo-node-name kubectl delete pod -n kilo -l app.kubernetes.io/namekilo --field-selector spec.nodeNamenode-name自动化考量对于大规模集群可以编写一个简单的 CronJob定期如每90天执行上述流程。更安全的方式是集成外部的密钥管理系统但这需要修改 Kilo 的代码以支持从 Vault 或 KMS 中读取私钥目前社区版不支持。4.2 网络策略与访问控制Kilo 打通了网络但并不意味着所有 Pod 都能任意访问。你仍然需要 Kubernetes NetworkPolicy 来进行微隔离。利用 Kilo 注解进行逻辑分组除了地理位置你可以用 Kilo 的kilo.squat.ai/location注解来创建逻辑组。例如将数据库节点标记为locationdb前端节点标记为locationweb。Kilo 会确保同组节点全互联跨组节点通过领袖连接。kubectl annotate node node-name kilo.squat.ai/locationdb定义 NetworkPolicy在 Kilo 网络层之上使用标准的 K8s NetworkPolicy 控制 Pod 间的流量。例如只允许来自locationweb组的 Pod 访问locationdb组内 Pod 的 5432 端口。由于 Kilo 不改变 Pod IP所以现有的 NetworkPolicy 可以无缝工作。4.3 性能监控与故障排查一个健康的 Kilo 网络需要被监控。监控指标Kilo DaemonSet 默认在 1107 端口暴露了 Prometheus 格式的指标。你可以配置 ServiceMonitor 来抓取。关键指标包括kilo_peers当前活跃的对等体数量。kilo_reconcile_errors_total配置协调错误计数器。wireguard_receive_bytes_total,wireguard_transmit_bytes_totalWireGuard 接口的流量统计。日志级别默认的日志级别是info。在排查复杂问题时可以将 DaemonSet 的启动参数--log-level设置为debug这会输出非常详细的拓扑计算和配置变更日志。故障排查清单Ping 不通首先检查kubectl get nodes -o wide确认节点 IP 是否正确。然后登录节点执行sudo wg show查看隧道状态。latest handshake字段显示最近一次握手时间如果是很久以前说明隧道建立失败。握手失败最常见的原因是防火墙。使用tcpdump -i eth0 udp port 51820在节点上抓包看是否能收到来自对等体的握手包。检查安全组和主机防火墙iptables/nftables。路由缺失在源节点执行ip route get 目标PodIP查看返回的路由是否正确指向wg0设备。如果不正确检查 Kilo Pod 日志看是否有路由配置错误。5. 与传统 SD-WAN 及同类方案的对比思考在项目选型时我们常会把 Kilo 和商业 SD-WAN、其他网络覆盖方案如 Calico 的 IP-in-IP、Flannel 的 VXLAN或者更复杂的服务网格如 Istio进行对比。与商业 SD-WAN 对比优势成本极低开源与 K8s 原生集成配置即代码扩展性随 K8s 集群自动伸缩。轻量级数据面依赖内核态的 WireGuard性能损耗通常 5%。劣势缺乏图形化控制台、集中的审计日志、高级的 QoS 策略、广域网优化如去重、压缩和厂商级别的技术支持。它解决的是“连通性”问题而不是“优化”问题。与 Calico/Flannel 等 CNI 对比定位不同Calico/Flannel 是标准的 CNI负责集群内所有 Pod 的网络。Kilo 是“覆盖层的覆盖层”专门用于解决跨集群、跨数据中心的 Pod 网络连通。它们可以共存Kilo 负责“远距离”通信Calico 负责“本地”通信和网络策略。协议差异Calico 的跨子网模式可能使用 BGP 或 IP-in-IPFlannel 使用 VXLAN。在跨公网的场景下WireGuard 的加密和轻量级特性通常比 IP-in-IP 或 VXLAN 更具优势后者通常需要额外的 IPSec 加密配置更复杂。与服务网格对比层级不同Istio/Linkerd 是七层网格提供高级的流量管理、观测、安全和金丝雀发布。Kilo 是三层网络工具。你可以也经常应该在 Kilo 提供的安全网络基础上再部署服务网格。Kilo 保证了网格控制面和数据面通道本身的安全加密隧道而服务网格在此基础上管理应用流量。我个人在多个混合云项目中采用“Kilo Calico Istio”的组合。Kilo 负责打通各个孤岛 K8s 集群的底层网络让它们像一个超大集群一样拥有平坦的 Pod IP 空间Calico 作为每个集群内部的 CNI 并提供网络策略Istio 则管理跨集群的应用服务流量。这个组合在复杂性、功能性和性能之间取得了很好的平衡。最后关于 Kilo 的局限性也需要心中有数它目前对 IPv6 的支持还在进行中对于极大规模数千节点的全互联网格需要谨慎评估对等体数量带来的开销它的活跃社区虽然友好但毕竟不像大厂项目那样有庞大的专职团队支持。在决定将其用于核心生产环境前务必在自己的测试环境中进行充分的压力和故障测试。