Nomad与Consul集群搭建实战指南

1. 为什么选择NomadConsul组合如果你正在寻找一套轻量级、易上手的分布式系统解决方案Nomad和Consul这对黄金搭档绝对值得考虑。我最早接触这个组合是在三年前的一个物联网项目中当时我们需要在20台边缘计算设备上动态部署服务传统方案要么太重比如Kubernetes要么功能不全比如纯手工脚本。NomadConsul的组合完美解决了我们的痛点。Nomad就像是你集群中的智能调度员负责把应用程序部署到合适的机器上。它支持Docker容器、原生二进制文件甚至Java应用调度决策只需要毫秒级时间。而Consul则是集群的神经系统提供服务发现、健康检查和键值存储功能。最让我惊喜的是它们的资源占用——单个Consul节点内存占用不到50MBNomad更是只有35MB左右这在资源受限的边缘设备上简直是救星。2. 环境准备与安装2.1 硬件需求规划根据我的实战经验建议至少准备2台虚拟机或物理机作为初始集群。每台机器配置建议CPU2核以上实测单核也能跑但调度性能会受影响内存2GB以上Consul和Nomad各占约50-100MB剩余给应用磁盘20GB SSD主要存放应用数据和日志我在阿里云上测试用的ecs.t6-c2m1.linux实例2核2GB跑三节点集群完全够用月成本不到200元。如果你用本地虚拟机VirtualBox和VMware都可以但要注意关闭防火墙或放行以下端口Consul8300-8302、8500、8600Nomad4646-46482.2 软件安装指南官方提供了多种安装方式我推荐直接用二进制文件安装简单不易出错。以Ubuntu 20.04为例# 下载最新版2023年7月版本 wget https://releases.hashicorp.com/nomad/1.5.6/nomad_1.5.6_linux_amd64.zip wget https://releases.hashicorp.com/consul/1.15.3/consul_1.15.3_linux_amd64.zip # 解压到系统路径 unzip *.zip sudo mv nomad consul /usr/local/bin/ # 验证安装 nomad version consul version如果遇到permission denied错误记得给二进制文件执行权限sudo chmod x /usr/local/bin/nomad /usr/local/bin/consul3. Consul集群搭建实战3.1 首次启动配置Consul的集群配置有几个关键参数需要特别注意。创建配置文件/etc/consul.d/consul.hcldatacenter dc1 data_dir /opt/consul server true bootstrap_expect 2 bind_addr 192.168.60.10 # 修改为当前节点IP client_addr 0.0.0.0 ui true retry_join [192.168.60.11] # 另一个节点IP这里有个坑我踩过好几次bootstrap-expect必须等于实际的server节点数我们测试用2台就设2。如果设3但只启动2台集群会一直卡在等待状态。启动命令建议用systemd管理创建/etc/systemd/system/consul.service[Unit] DescriptionConsul Service Discovery Afternetwork.target [Service] ExecStart/usr/local/bin/consul agent -config-dir/etc/consul.d Restartalways Userconsul Groupconsul [Install] WantedBymulti-user.target3.2 集群健康检查启动后验证集群状态consul members正常应该看到类似输出Node Address Status Type Build Protocol DC Segment node1 192.168.60.10:8301 alive server 1.15.3 2 dc1 all node2 192.168.60.11:8301 alive server 1.15.3 2 dc1 all如果Status不是alive检查几点节点间网络是否互通ping/telnet测试时间是否同步chrony或ntp服务防火墙规则是否放行4. Nomad集群配置详解4.1 Server节点配置Nomad的server配置比Consul稍复杂建议先创建基础配置文件/etc/nomad.d/nomad.hcldatacenter dc1 data_dir /opt/nomad/data server { enabled true bootstrap_expect 2 server_join { retry_join [192.168.60.10:4648, 192.168.60.11:4648] } } client { enabled false # server节点通常不运行任务 }关键点说明bootstrap_expect和Consul一样要匹配实际server数量retry_join建议填所有server节点的IPNomad会自动尝试连接data_dir确保目录存在且nomad用户有读写权限4.2 Client节点配置Client节点配置更简单主要区别在于client { enabled true servers [192.168.60.10:4647, 192.168.60.11:4647] } server { enabled false }这里有个性能优化技巧如果Client节点性能较差可以设置client { reserved { cpu 500 # 保留500MHz给系统 memory 512 # 保留512MB内存 } }5. 集群联调与问题排查5.1 常见启动问题第一次启动时最容易遇到的三个问题端口冲突Nomad默认用4646-4648如果被占用会报错。用ss -tulnp | grep 464检查。权限问题建议创建专用用户sudo useradd --system --home /etc/nomad.d --shell /bin/false nomad sudo chown -R nomad:nomad /opt/nomad时间不同步节点间时间差超过500ms会导致奇怪的问题。安装chronysudo apt install chrony sudo timedatectl set-ntp true5.2 运维监控技巧推荐几个实用的监控命令查看Nomad节点状态nomad node status检查Consul健康状态consul operator raft list-peers实时查看任务日志nomad alloc logs -f -tail alloc-id我在生产环境会配合Prometheus做监控Nomad和Consul都内置了metrics接口Nomad:http://ip:4646/v1/metricsConsul:http://ip:8500/v1/agent/metrics6. 实际应用案例演示6.1 部署第一个应用让我们部署一个简单的Nginx服务测试集群。创建nginx.nomad文件job nginx { datacenters [dc1] type service group web { count 2 network { port http { static 8080 } } task nginx { driver docker config { image nginx:alpine ports [http] } } } }提交任务nomad job run nginx.nomad查看状态nomad job status nginx6.2 服务发现实践Nomad与Consul集成后服务会自动注册。在Consul UIhttp://:8500可以看到刚部署的nginx服务。通过DNS查询服务dig 127.0.0.1 -p 8600 nginx.service.consul这个功能在实际项目中特别有用比如微服务间的调用不再需要硬编码IP直接通过service.service.consul域名即可访问。7. 生产环境优化建议经过多个项目的实战我总结了几条重要经验多数据中心配置如果跨机房部署建议每个机房设为一个datacenter。Nomad配置示例datacenter dc-east # 修改为实际机房名ACL安全控制生产环境一定要启用ACL配置方法consul acl bootstrap # 生成初始token备份策略定期备份Consul的raft数据consul snapshot save backup.snap资源隔离为关键任务设置资源限制resources { cpu 500 # 500MHz memory 1024 # 1GB }这套组合最让我满意的是它的弹性扩展能力。去年双十一期间我们通过Nomad在5分钟内扩容了200个临时节点处理流量高峰所有服务自动注册到Consul业务代码完全不用修改。