如何居家远程调试在公司内网的 Kafka 集群！内网穿透让内网集群秒变公网可访问

前言作为常年和分布式系统打交道的开发者我猜你一定遇到过这种糟心事想在家调试公司内网的 Kafka 集群却被防火墙、无公网 IP 这些问题卡得死死的 —— 要么只能等运维开端口要么被迫跑回公司原本 10 分钟能搞定的调试硬生生耗上大半天。最近我摸索出一个超实用的方法不用改 Kafka 任何配置也不用走繁琐的权限审批靠内网穿透就能把内网的 Kafka 端口暴露到公网居家远程调试 Kafka 直接丝滑拉满今天就把这套实操方案分享给大家。文章目录前言1.安装前准备1.1 操作系统要求1.2 java环境要求1.3 安装JDK2.安装 Kafka2.1 下载 Kafka2.2 创建数据日志目录2.3 配置Kafka配置文件2.4 配置zookeeper配置文件3.启动与停止Kafka3.1开启ZooKeeper3.2启动Kafka3.3停止zookeeper3.4停止kafkfa4.创建生产者topic和消费者topic简单示例5.安装cpolar内网穿透工具6.配置公网地址7.保留固定TCP公网地址总结总结1.安装前准备1.1 操作系统要求Kafka可以在多种 Linux 发行版 发行版上运行本文以CentOS 7为例其他发行版步骤类似只需调整包管理命令。1.2 java环境要求Kafka基于Java开发需安装JDK 8 或以上版本java-version1.3 安装JDK下载 JDKOracle 官网或 OpenJDK 官网下载 Linux 版本示例OpenJDK 8wgethttps://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz解压安装包mkdir-p/usr/local/javatar-zxvfopenjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz-C/usr/local/java配置环境变量在 /etc/profile 末尾追加exportJAVA_HOME/usr/local/java/jdk1.8.0_41exportPATH$PATH:$JAVA_HOME/bin使配置生效source/etc/profile验证安装java-version2.安装 Kafka2.1 下载 Kafka官网下载示例版本3.6.2linux系统可以直接命令一键安装wgethttps://downloads.apache.org/kafka/3.9.1/kafka_2.13-3.9.1.tgztar-xzfkafka_2.13-3.9.1.tgzmvkafka_2.13-3.9.1 kafka2.2 创建数据日志目录在kafka解压目录同一路径下创建一个kafka_data用于装kafka和zookeeper的log和数据等mkdir-p/opt/kafka_datamkdir-p/opt/kafka_data/zookeepermkdir-p/opt/kafka_data/logmkdir-p/opt/kafka_data/log/kafkamkdir-p/opt/kafka_data/log/zookeeper2.3 配置Kafka配置文件编辑这个文件broker.id0port9092host.nameiplog.dirs/opt/kafka_data/log/kafkazookeeper.connectlocalhost:21812.4 配置zookeeper配置文件dataDir/opt/kafka_data/zookeeperdataLogDir/opt/kafka_data/log/zookeeperclientPort2181maxClientCnxns100tickTimes2000initLimit10syncLimit53.启动与停止Kafka3.1开启ZooKeeper开启ZooKeeper./zookeeper-server-start.sh../config/zookeeper.properties3.2启动Kafka./kafka-server-start.sh../config/server.properties验证是否启动成功jps输出应包含QuorumPeerMain Kafka3.3停止zookeeper./zookeeper-server-stop.sh../config/zookeeper.properties3.4停止kafkfa./kafka-server-stop.sh../config/server.properties4.创建生产者topic和消费者topic简单示例在一个终端执行创建生产者 (推消息到shan)cd/opt/bin/#进入kafka目录./kafka-console-producer.sh --broker-list192.168.42.140:9092--topicwd_test#wd_test你要建立的topic名在一个终端执行创建消费者 从shan上消费消息)cd/opt/bin/#进入kafka目录./kafka-console-producer.sh --broker-list192.168.42.140:9092--topicwd_test#消费shan中topic消息查看效果 一个终端不断输入推送的消息另一个终端则消费这个消息查看当前主题./kafka-topics.sh--zookeeperlocalhost:2181--list你正在家里远程办公突然接到任务需要验证一个新业务模块的消息生产与消费逻辑。但Kafka集群部署在公司内网测试环境没有公网IP防火墙也不开放9099/9092端口——你既无法连接Broker创建Topic也无法从本地启动生产者或消费者进行调试。传统的做法是提交代码到CI/CD触发部署慢求运维临时开防火墙麻烦或干脆去公司不现实有没有更敏捷的方式有借助内网穿透工具我们可以将内网Kafka的9092端口安全暴露到公网。只需一条隧道命令你的本地开发机就能像在内网一样通过 kafka-topics.sh 创建测试 Topic用 kafka-console-producer.sh 发送消息用 kafka-console-consumer.sh 实时消费验证整个过程无需改动 Kafka 配置、无需网络权限审批5 分钟打通内外网让开发调试回归高效。跟我一起来操作吧~5.安装cpolar内网穿透工具cpolar 可以将你本地电脑中的服务如 SSH、Web、数据库映射到公网。即使你在家里或外出时也可以通过公网地址连接回本地运行的开发环境。❤️以下是安装cpolar步骤使用一键脚本安装命令sudocurlhttps://get.cpolar.sh|sh安装完成后执行下方命令查看cpolar服务状态如图所示即为正常启动sudosystemctl status cpolarCpolar安装和成功启动服务后在浏览器上输入虚拟机主机IP加9200端口即:【ip:9200】访问Cpolar管理界面使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可打开浏览器访问本地9200端口使用cpolar账户密码登录即可,登录后即可对隧道进行管理。6.配置公网地址通过配置你可以在本地 WSL 或 Linux 系统上运行 SSH 服务并通过 Cpolar 将其映射到公网从而实现从任意设备远程连接开发环境的目的。隧道名称可自定义本例使用了:zookeeper注意不要与已有的隧道名称重复协议tcp本地地址2181端口类型随机临时TCP端口地区China Top创建成功后打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址接下来就可以在其他电脑或者移动端设备异地上使用任意一个地址在终端中访问即可。tcp 表示使用的协议类型2.tcp.cpolar.top是 Cpolar 提供的域名13917是随机分配的公网端口号通过Cpolar提供的公网地址和端口Kafka就能从本地启动生产者或消费者进行调试啦生产./kafka-console-producer.sh --broker-list2.tcp.cpolar.top:13917--topicshan消费./kafka-console-consumer.sh --bootstrap-server2.tcp.cpolar.top:13917--topicshan7.保留固定TCP公网地址使用cpolar为其配置TCP地址该地址为固定地址不会随机变化。选择区域和描述有一个下拉菜单当前选择的是“China Top”。右侧输入框用于填写描述信息。保留按钮在右侧有一个橙色的“保留”按钮点击该按钮可以保留所选的TCP地址。列表中显示了一条已保留的TCP地址记录。地区显示为“China Top”。地址显示为“26.tcp.cpolar.top:13166”。登录cpolar web UI管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道Kafka点击右侧的编辑。修改隧道信息将保留成功的TCP端口配置到隧道中。端口类型选择固定TCP端口预留的TCP地址填写保留成功的TCP地址点击更新。创建完成后打开在线隧道列表此时可以看到随机的公网地址已经发生变化地址名称也变成了保留和固定的TCP地址。最后就可以使用命令测试啦总结其实不止 Kafka像 Zookeeper、Redis 这类部署在内网的服务都能靠这种内网穿透的思路解决远程访问问题。作为开发者咱们追求的就是高效解决问题不用被环境和网络限制住手脚。置到隧道中。端口类型选择固定TCP端口预留的TCP地址填写保留成功的TCP地址点击更新。创建完成后打开在线隧道列表此时可以看到随机的公网地址已经发生变化地址名称也变成了保留和固定的TCP地址。最后就可以使用命令测试啦总结其实不止 Kafka像 Zookeeper、Redis 这类部署在内网的服务都能靠这种内网穿透的思路解决远程访问问题。作为开发者咱们追求的就是高效解决问题不用被环境和网络限制住手脚。希望今天这个小技巧能帮到经常和内网服务打交道的你少走点弯路多省点时间在真正的开发调试上。如果有其他好用的远程调试小妙招也欢迎在评论区聊聊