大二学生眼中的Netty?基于Netty实现内网穿透!
爷的开场白
掘金的朋友们大家好!我是新来的Java练习生 CodeCodeBond!
这段时间呢,博主在学习Netty,想做一个自己感兴趣好玩的东西,那就是内网穿透!!(已经实现主要代理功能但有待优化)
后面会介绍到我个人的一些思路(能把学校内网的电控系统穿出来玩玩嘿嘿嘿
老实求放过说明: 博主对Netty底层知识仅仅是了解一下皮毛,哈哈哈精巧的框架让像我这种黄毛小子短时间熟悉精通确实不是那么容易的,需要时间的沉淀(#沉淀 orz)
什么!连Netty的底层知识都不懂!居然还会用Netty做开发网络编程???我想这也是框架的意义所在吧!将复杂繁琐的底层封装成简单好用且高性能的API,让开发者快速上手。(大多数Java混子curdBoy不也不知道Spring框架, Mysql的底层么…os:真是自己骂自己)
简单聊聊我眼中Netty是什么
Netty是一个优雅著称的高性能网络编程框架, 用于快速开发可维护的高性能协议服务器和客户端。Netty被广泛应用于各类网络应用开发,尤其是需要高性能和低延迟的场景,如游戏服务器、各种中间件和分布式系统等等。
Netty在我的眼里, 是Java领域内高性能网络编程的基石。 在网络编程的地位非常之高,有多高呢,有三四百层楼那么高吧。
可能身边的同学们还在用各种RPC、MQ…ES的时候,还不知道Netty在里面吧!(一种精通…咳咳,了解Netty的快感油然而生~)
没错,我们熟知的Dubbo,grpc的java端,rocket mq等等底层都有Netty的相关实现。Spring的web相关组件也是大量用到Netty,比如webFlux等。足以说明Netty的地位。
我认为Netty有两大特点,异步和回调。这使得Netty在高并发下仍能保持良好的性能以及处理各种事件。
问题来了,不熟悉网络编程的我在一开始上手十分困难,异步的机制和回调的代码书写让我感到十分难受,后来越来越被这种特点着迷,实际上Netty异步回调的代码实现的非常优雅。
它大量用到前人总结的设计模式,例如handler处理时候自定义的责任链模式,回调函数Listener的观察者模式… 真正的让开发者自由扩展,优雅编程。
下面我来简单说说Netty开发时的常用组件
常用组件
EventLoop(事件循环对象)
EventLoop 本质是一个单线程执行器,同时维护了一个Selector,里面有run方法处理Channel上源源不断地io事件。
它有两条继承线:
1、java并发包下的 j.u.c.ScheduledExecutorService 包含所有线程池的方法
2、Netty自身OrderedEventExecutor,
提供了 isEventLoop(Thread thread) 方法判断这个线程是否属于它
提供了parent方法 来看自己属于哪个EventLoopGroup
EventLoopGroup (事件循环组)
事件循环组
eventloopgroup是一组eventloop,channel一般会调用eventloopgroup的register方法来绑定其中一个
eventloop,后续这个(hannel 上的10事件都由此eventloop来处理(保证了io事件处理时的线程安全)
继承自 netty 自己的 ececutorgroup
实现了 iterable接口提供遍历 eventloop的 的能力
另有next 方法获取集合中下一个eventloop
ps: 其实一般开发就用两个,如果是接收多端的服务端ServerBootstrap那就一个BossGroup一个WorkerGroup,boss处理accept连接,而worker则处理io事件。如果是连接一个服务端的客户端,那么就只需要一个worker就可以啦
Channel
channel的主要作用及其常用函数
close()可以用来关闭channel
closefuture0用来处理channel的关闭
sync方法作用是同步等待channel关闭
而ad addlistener 方法是异步等待channel 关闭
pipeline()方法添加处理器,(自定义处理器,编解码处理器等等,Idle保活等等)
write()方法将数据写入
writeandflush0方法将数据写入并刷出
Future
搭配Promise既可以同步也可以异步,可以用的十分丰富炫酷,可以搭配juc去配套食用理解。
EmbeddedChannle
一般用来测试自己的处理器,很方便,可以直接将数据刷入站,读入站的数据。出站同理。
我就用来测试自己消息传输协议的编解码器,很方便的。
ByteBuf
- 池化与非池化, 减少建立连接的开销
- 直接内存与堆内存,直接内存读写快,堆内存分配快,相辅相成
- 自动扩容机制, 每次检测是否够空间()-> 不够 { 小于512直接扩容到512, 如果大于512都是*2处理 }
没错,仅需要这些组件(还有一些Handler要知道)就可以开始愉快的网络编程了。起飞~
我认为Netty能干嘛
掌握了这些,我能做什么。掌握了这些,你可以自由开发你能想到的网络编程,甚至是做一个服务器去代替Tomcat,咳咳(我相信有部分公司应该是不用tomcat的…吧)精通了Netty,那真的是非常之牛掰了,真正的掌握JUC、NIO、Socket编程的王Orz
比如能干嘛呢? 比如你可以基于Netty可以实现简单的聊天室功能了(被写烂了)参考某马程序员的Netty课程。如果要实现的比较正式高级的聊天室,可以到某站搜索程序员老罗, 他的仿微信项目中的聊天业务使用的Netty比较好!开源精神o( ̄▽ ̄)d;
我对内网穿透比较有兴趣,所以我学完Netty的基础后捏,就快速的上手手搓了一个简单的内网穿透项目,嗨嗨嗨!
(等我完善好哈,我一定要开源出来,做到简单配置,简单使用,简单扩展,覆盖大多数人的需求。/加油,xdm双击点波关注上车了喂)
我的内网穿透分析
下面是我实现内网穿透的思路, 有更好的思路欢迎讨论一起交流进步!
概括起来 其实主要分为三步:
1、 自定义消息传输协议 protocol。消息类包括type,data…当然还要有编解码器。
2、 监听访客端, 代理服务端, 代理客户端, 内网服务端。 四端以及他们的对应的自定义Handler。
3、 设计什么时候建立什么通道,什么时候用什么通道发送数据,什么时候关闭通道。并且如何维护这条通道,不会乱窜。
一、自定义消息传输协议
既然是协议,那肯定有消息体,有编解码。
首先ProxyMsg这个类你可以随便造,最简单的必须要有的也就是type和data,两个属性,其他消息流水号、指令消息等等可以自由发挥~ 这里是一个PeoxyMsg示例:
@Data
@EqualsAndHashCode
public class ProxyMsg {/** 心跳 */public static final byte TYPE_HEARTBEAT = 0x00;/** 数据传输 */public static final byte TYPE_TRANSFER = 0x01;/** 连接 */public static final byte TYPE_CONNECT = 0x10;/** 连接断开 */public static final byte TYPE_DISCONNECT = 0x11;//-----------------------------------------------------/** 消息类型 */private byte type;/** 消息携带数据 */private byte[] data;}
因为Netty是基于字节流的(ByteBuf)数据传输时自然会有粘包、半包的问题。所以编解码器要去解决这个问题。ProxyMsgEncoder和ProxyMsgDecoder。
如何去解决粘包问题呢? Netty提供了一个解决方案,使用LengthFieldBasedFrameDecoder实现定长解码器,通过定义一条消息的各部分的实际长度,控制解码读取字节的时候不多读,不少读,按照规定字段长度读!
这里提供同样,也提供一个ProxyMsgDecoder的示例哈:
@Slf4j
public class ProxyMsgDecoder extends LengthFieldBasedFrameDecoder {public ProxyMsgDecoder(){super(Integer.MAX_VALUE, 0, 4, 0, 0);}@Overrideprotected ProxyMsg decode(ChannelHandlerContext ctx, ByteBuf in2) throws Exception {ByteBuf in = (ByteBuf) super.decode(ctx, in2);log.info("in:{}",in);if(in==null||in.readableBytes()<4){return null;}int dataLen = in.readInt();byte type = in.readByte();ProxyMsg msg = new ProxyMsg();msg.setType(type);if(dataLen>1){byte[] data = new byte[dataLen - 1];in.readBytes(data);msg.setData(data);}
// log.info("msg:{}",msg);in.release();return msg;}
}
既然消息的解码器你已经想好了,将ByteBuf进行编码成ProxyMsg就很简单了,这里是ProxyEncoder类示例:
@Slf4j
public class ProxyMsgEncoder extends MessageToByteEncoder<ProxyMsg> {//提供空参构造public ProxyMsgEncoder(){}@Overrideprotected void encode(ChannelHandlerContext ctx, ProxyMsg msg, ByteBuf out) throws Exception {
// log.info("msg encode:{}",msg);int bodyLen = 1; //一个字节表示类型长度嘛,这个必须有的if(msg.getData() != null){bodyLen += msg.getData().length;}//先写入消息体长度 单位字节out.writeInt(bodyLen);//写入消息体类型out.writeByte(msg.getType());//写入消息携带的dataif (msg.getData() != null) {out.writeBytes(msg.getData());}}
}
ok,这样就做好了最简单的消息协议了,是不是发现协议其实也就是一种约定罢了,但是真正的协议其实要复杂的多。这里就不赘述了 O.o
用刚刚说到的EmbeddedChannel来测试一下吧!
public class Test {public static void main(String[] args) {EmbeddedChannel channel = new EmbeddedChannel();ProxyMsg msg = new ProxyMsg();msg.setType(ProxyMsg.TYPE_HEARTBEAT);msg.setData("11111".getBytes());channel.pipeline().addLast(new ProxyMsgDecoder()).addLast(new ProxyMsgEncoder());channel.writeOutbound(msg);ByteBuf encodedMsg = channel.readOutbound();channel.writeInbound(encodedMsg);ProxyMsg decodedMsg = channel.readInbound();System.out.println("Type: " + decodedMsg.getType());System.out.println("Data: " + new String(decodedMsg.getData()));System.out.println(0x10);}
}
测试结果不出所料,没错,日志打出来的就是我们想要的嘛。
直到这里,我们真正的建立好了简单的消息传输协议,可以开始着手做Socket的开发了。
二、我选择设计四个Socket
我将按照访客 => 代理服务端 => 代理客户端 => 内网服务; 这样的顺序来讲
反之同理
首先我觉得有必要说一下启动的流程: 是
先把代理两端也就是Netty做的代理服务端和客户端启动并相连接,当客户端连接上服务端后建立一条,客户端Connect.addListener()发送一条TYPE_CONNECT的消息,服务端收到解析后,注册这条主通道。
注册好主通道后,启动访客端,监听公网某某端口,接收访客的请求数据。当有访客连接,建立访客通道
启动内网服务端,connect.addListener()连接成功的话,就建立起内网服务真实通道。
因为Netty是异步的,每个启动中的步骤他都是一起执行的。所以这些操作只需要注意启动的顺序就可以了,代理服务器启动-> 代理客户端-> 内网服务端&&访客端启动
以下是实现的端口以及handler的分析
内网服务Socket\代理客户端 : Bootstrap
访客代理Socket\代理服务端 : ServerBootstrap
为什么呢? 其实判断他是单端的,还是多端的,就会明白!
- VisitorSocket&Handler 他会启动一个服务器并监听某个端口,用于给访客访问。当访客访问端口的时候,建立起一个访客通道,并发送访问请求的数据到ServerSocket(代理服务端);
- ServerSocket&Handler 启动代理服务端,根据消息类型的不同,处理消息的转发。当第一次和代理客户端相连接注册起主通道用来传输指令和唤起路由通道。
- ProxySocket&Handler 启动代理客户端,接收访客数据并解析转发给内网服务。
- ServiceSocket&Handler 启动内网服务端,新建一条路由通道发送CONNECT消息给代理服务端注册该通道。处理器对响应(Read到的)数据进行封装成TYPE_TRANSFER的消息,转发给代理服务端转发对应的访客通道。
四个Socket端,和对应四个Handler,和对应protocol协议,你数数加起来才几个类?
1234… 是的,也就才十一个类,再加一个server和client两个模块下的Constant,也才13个类就完成了Netty实现的内网穿透,是不是非常简单呢?
爷的结束语
最近期末周+准备投简历有点忙不过来,等我结束这段时间,我把内网穿透完善一下,在下篇文章我就开源出来,供大家使用、扩展自己需求。请xdm多多支持!感谢铁铁们。
凌晨一点半了,晚安各位Zzzzzzzzzzzzzzzzzzzzzzzzzzz
相关文章:
大二学生眼中的Netty?基于Netty实现内网穿透!
爷的开场白 掘金的朋友们大家好!我是新来的Java练习生 CodeCodeBond! 这段时间呢,博主在学习Netty,想做一个自己感兴趣好玩的东西,那就是内网穿透!!(已经实现主要代理功能但有待优化…...
JavaStringBuffer与StringBuilder
StringBuffer、StringBuilder 文章目录 StringBuffer、StringBuilderStringBuffer和StringBuilder的理解可变性分析对于String对于StringBuilder 常用方法执行效率对比 StringBuffer和StringBuilder的理解 String 不可变的字符序列 StringBuffer 可变的字符序列 JDK1.0声明&…...
云徙科技助力竹叶青实现用户精细化运营,拉动全渠道销售额增长
竹叶青茶以其别具一格的风味与深厚的历史底蕴,一直被誉为茶中瑰宝。历经千年的传承与创新,竹叶青不仅坚守着茶叶品质的极致追求,更在数字化的浪潮中,率先打破传统,以科技力量赋能品牌,成为茶行业的领军者。…...
深度揭秘:深度学习框架下的神经网络架构进化
深度学习框架下的神经网络架构经历了从基础到复杂的显著进化,这一进程不仅推动了人工智能领域的突破性进展,还极大地影响了诸多行业应用。本文旨在深入浅出地揭示这一进化历程,探讨关键架构的创新点及其对现实世界的影响。 引言:…...
MySQL的DML语句
文章目录 ☃️概述☃️DML☃️添加数据☃️更新和删除数据☃️DML的重要性 ☃️概述 MySQL 通用语法分类 ● DDL: 数据定义语言,用来 定义数据库对象(数据库、表、字段) ● DML: 数据操作语言,用来对数据库表中的数据进行增删改 …...
Wireshark的基本用法以及注意事项
Wireshark 是一个流行的网络协议分析工具,可以捕获和分析网络数据包。以下是一些常见的 Wireshark 的用法: 安装和启动:首先需要下载和安装 Wireshark。安装完成后,可以通过启动 Wireshark 应用程序来打开它。 选择网络接口&…...
集团门户网站的设计
管理员账户功能包括:系统首页,个人中心,管理员管理,论坛管理,集团文化管理,基础数据管理,公告通知管理 前台账户功能包括:系统首页,个人中心,论坛࿰…...
Tomcat基础详解
第一篇:Tomcat基础篇 lecture:邓澎波 一、构建Tomcat源码环境 工欲善其事必先利其器,为了学好Tomcat源码,我们需要先在本地构建一个Tomcat的运行环境。 1.源码环境下载 源码有两种下载方式: 1.1 官网下载 https://…...
【Python爬虫】爬取名人名言页面并进行简单的数据清洗(入门级)
目录 资源链接 一、网站选择 二、数据爬取要求 三、数据清洗要求 四、实现代码 1.数据采集 2.数据清洗 资源链接 下面有笔者所放的源码下载链接,读者可自行下载: 链接:https://pan.baidu.com/s/1YmTdlnbSJLvLrrx92zz6Qg 提取码&…...
Microsoft Visual C++ Redistributable 【安装包】【高速下载】
方法1、可以从官方下载,如下图 Visual C Redistributable for Visual Studio 2015 但是此链接只有一个版本 方法2 已经下载好并且已经整理好了2008--2022的所有版本点击下方链接即可高速下载 如果是win7-win8-win10-win11直接可以下载2015--2022版本,…...
MFC绘制哆啦A梦
文章目录 OnPaint绘制代码完整Visual Studio工程下载其他卡通人物绘制 OnPaint绘制代码 CPaintDC dc(this); // 用于绘画的设备上下文CRect rc;GetWindowRect(rc);int cxClient rc.Width();int cyClient rc.Height();// 辅助线HPEN hPen CreatePen(PS_DOT, 1, RGB(192, 192,…...
网络编程(TCP协议,UDP协议)
目录 网络编程三要素 IP IPv4 InetAddress类 端口号 协议 UDP协议 UDP协议发送数据 UDP协议接收数据 UDP的三种通信方式(代码实现) TCP协议 TCP通信程序 三次握手和四次挥手 练习 1、客户端:多次发送数据服务器:接收多次接收数据,并打印 2、客户端…...
读取Jar包下文件资源的问题及解决方案
问题 项目A代码调用到Resouces下的文件a.sh,打包成Jar包后,项目B调用对应方法时,出现报错,找不到a.sh文件路径,原来的代码可能是: URL resource getClass().getClassLoader().getResource("a.sh&qu…...
C++ 反转一个二进制串
描述 一个32位有符号整数,用二进制编码来表示。现需要将该二进制编码按位反转,计算出反转后的值。 示例1 输入: 1 返回值: -2147483648 说明: 00000000 00000000 00000000 00000001 翻转后为 10000000 000000…...
黑神话悟空-吉吉国王版本【抢先版】
在中国的游戏市场中,一款名为“黑神话悟空”的游戏引起了广泛的关注。这款游戏以中国传统的神话故事“西游记”为背景,创造了一个令人震撼的虚拟世界。今天,我们要来介绍的是这款游戏的一种特殊版本,那就是吉吉国王版本。 在吉吉国…...
【尚庭公寓SpringBoot + Vue 项目实战】预约看房与租约管理(完结)
【尚庭公寓SpringBoot Vue 项目实战】预约看房与租约管理(完结) 文章目录 【尚庭公寓SpringBoot Vue 项目实战】预约看房与租约管理(完结)1、业务说明2、接口开发2.1、预约看房管理2.1.1.保存或更新看房预约2.1.2. 查询个人预约…...
java拼图小游戏项目
创建一个Java拼图小游戏是一个有趣且富有教育意义的项目,可以锻炼你的编程技能。以下是开发一个基本拼图游戏可能需要考虑的几个步骤: 项目规划: 确定游戏的基本规则和玩法。设计游戏的界面和用户交互。 环境搭建: 确保你的开发环…...
[C++][数据结构][跳表]详细讲解
目录 0.什么是跳表?1.SkipList的优化思路2.SkipList的效率如何保证?3.SkipList实现4.SkipList VS 平衡搜索树 && Hash 0.什么是跳表? SkipList本质上也是一种查找结构,用于解决算法中的查找问题,跟平衡搜索树…...
tinyxml
github下载相关的软件包,其中有四个文件需要主要需要关注就是分别是tinyxml12.cpp,tinyxml12.h,rss网页xml文件,还有就是官方给的test文件tinyxmltest.cpp。 example1就是提供一个打开文件的方式 int example_1() {XMLDocument …...
Docker(三)-Docker常用命令
1.run run命令执行流程:2.帮助启动类命令 2.1 启动docker systemctl start docker2.2 停止docker systemctl stop docker2.3 重启docker systemctl restart docker2.4查看docker状态 systemctl status docker2.5开机启动 systemctl enable docker2.6查看docker概要信息 …...
2026职场进阶:数据分析技能的价值与应用
一、数据分析在职场中的核心价值市场需求增长:2026年企业对数据驱动决策的需求持续上升,数据分析成为跨行业通用技能。薪资竞争力:掌握数据分析能力的人才平均薪资高于同岗位非技术背景从业者。职业扩展性:从运营、市场到产品经理…...
别再让CPU干苦力了!手把手教你用John The Ripper的GPU加速命令,破解效率翻倍
解锁GPU潜能:John The Ripper高效破解实战指南 在安全测试领域,哈希破解速度往往决定着项目的成败。传统CPU破解方式在面对复杂加密算法时显得力不从心,而现代GPU凭借其并行计算能力,能将破解效率提升数十倍甚至上百倍。本文将带…...
3分钟解决游戏操作冲突:Hitboxer SOCD工具让你的键盘操作职业化
3分钟解决游戏操作冲突:Hitboxer SOCD工具让你的键盘操作职业化 【免费下载链接】socd Key remapper for epic gamers 项目地址: https://gitcode.com/gh_mirrors/so/socd 你是否在玩《街头霸王6》时连招总是失败?或者在《Apex英雄》中急停转向时…...
轻松解包网易游戏资源:unnpk工具完整使用指南
轻松解包网易游戏资源:unnpk工具完整使用指南 【免费下载链接】unnpk 解包网易游戏NeoX引擎NPK文件,如阴阳师、魔法禁书目录。 项目地址: https://gitcode.com/gh_mirrors/un/unnpk 想要探索网易游戏如《阴阳师》、《魔法禁书目录》中的精美角色立…...
从BetaFlight的Makefile设计,聊聊如何为你的飞控板(如STM32F7X2)定制固件
从BetaFlight的Makefile设计解析飞控固件定制之道 在无人机和航模领域,BetaFlight作为一款开源飞控软件,因其出色的性能和灵活的定制能力而广受欢迎。本文将深入探讨BetaFlight的构建系统设计,特别是其Makefile的实现哲学,并以STM…...
无王无帝定乾坤,来自田间第一人 立凰标定世序
谶曰 乱世去旧制,盛世出布衣。 凰标立天地,大同自此始。 一、破题:王权之外,另有乾坤 世人皆道 “普天之下,莫非王土;率土之滨,莫非王臣。” 却不知真正的变局, 起于垄亩࿰…...
鲲鹏面对Agentic沙箱的思考与能力布局
Agent在今年迎来爆发式增长,传统云原生架构在Agent沙箱场景下面临启动慢、弹性差、资源冗余、隔离不足等五大痛点。鲲鹏沙箱以快照快启、共享Rootfs、超节点共享内存三大核心技术破局——将沙箱启动从分钟级压缩至毫秒级,通过写时复制(CoW&am…...
CentOS 8.5最小化安装实战:为什么我只选Minimal Install,以及后续必装的10个软件包
CentOS 8.5最小化安装实战:为什么我只选Minimal Install,以及后续必装的10个软件包 当你面对CentOS 8.5安装界面中那个看似简单的"Software Selection"选项时,是否曾犹豫过该选择哪个?作为一个经历过无数次系统安装的老…...
华为擎云L420变身MCU开发主力机:VSCode + Cortex-Debug + 自编译工具链玩转雅特力AT32
华为擎云L420打造高效MCU开发环境:VSCodeCortex-Debug全流程实战 在嵌入式开发领域,效率工具的选择往往能决定项目的成败。当国产化浪潮席卷技术圈,越来越多的开发者开始尝试在纯国产硬件上构建完整的工作流。华为擎云L420作为一款基于ARM架构…...
Linux密钥文件管理排查方法
Linux密钥文件管理排查方法本文面向具备一定 Linux 基础的技术人员,围绕密钥文件管理展开,重点讨论敏感文件权限、轮换流程和审计追踪。在中级运维和系统管理工作中,这类主题常常与配置变更、资源状态、权限边界、自动化任务和业务影响交织在…...
