大二学生眼中的Netty?基于Netty实现内网穿透!
爷的开场白
掘金的朋友们大家好!我是新来的Java练习生 CodeCodeBond!
这段时间呢,博主在学习Netty,想做一个自己感兴趣好玩的东西,那就是内网穿透!!(已经实现主要代理功能但有待优化)
后面会介绍到我个人的一些思路(能把学校内网的电控系统穿出来玩玩嘿嘿嘿
老实求放过说明: 博主对Netty底层知识仅仅是了解一下皮毛,哈哈哈精巧的框架让像我这种黄毛小子短时间熟悉精通确实不是那么容易的,需要时间的沉淀(#沉淀 orz)
什么!连Netty的底层知识都不懂!居然还会用Netty做开发网络编程???我想这也是框架的意义所在吧!将复杂繁琐的底层封装成简单好用且高性能的API,让开发者快速上手。(大多数Java混子curdBoy不也不知道Spring框架, Mysql的底层么…os:真是自己骂自己)
简单聊聊我眼中Netty是什么
Netty是一个优雅著称的高性能网络编程框架, 用于快速开发可维护的高性能协议服务器和客户端。Netty被广泛应用于各类网络应用开发,尤其是需要高性能和低延迟的场景,如游戏服务器、各种中间件和分布式系统等等。
Netty在我的眼里, 是Java领域内高性能网络编程的基石。 在网络编程的地位非常之高,有多高呢,有三四百层楼那么高吧。
可能身边的同学们还在用各种RPC、MQ…ES的时候,还不知道Netty在里面吧!(一种精通…咳咳,了解Netty的快感油然而生~)
没错,我们熟知的Dubbo,grpc的java端,rocket mq等等底层都有Netty的相关实现。Spring的web相关组件也是大量用到Netty,比如webFlux等。足以说明Netty的地位。
我认为Netty有两大特点,异步和回调。这使得Netty在高并发下仍能保持良好的性能以及处理各种事件。
问题来了,不熟悉网络编程的我在一开始上手十分困难,异步的机制和回调的代码书写让我感到十分难受,后来越来越被这种特点着迷,实际上Netty异步回调的代码实现的非常优雅。
它大量用到前人总结的设计模式,例如handler处理时候自定义的责任链模式,回调函数Listener的观察者模式… 真正的让开发者自由扩展,优雅编程。
下面我来简单说说Netty开发时的常用组件
常用组件
EventLoop(事件循环对象)
EventLoop 本质是一个单线程执行器,同时维护了一个Selector,里面有run方法处理Channel上源源不断地io事件。
它有两条继承线:
1、java并发包下的 j.u.c.ScheduledExecutorService 包含所有线程池的方法
2、Netty自身OrderedEventExecutor,
提供了 isEventLoop(Thread thread) 方法判断这个线程是否属于它
提供了parent方法 来看自己属于哪个EventLoopGroup
EventLoopGroup (事件循环组)
事件循环组
eventloopgroup是一组eventloop,channel一般会调用eventloopgroup的register方法来绑定其中一个
eventloop,后续这个(hannel 上的10事件都由此eventloop来处理(保证了io事件处理时的线程安全)
继承自 netty 自己的 ececutorgroup
实现了 iterable接口提供遍历 eventloop的 的能力
另有next 方法获取集合中下一个eventloop
ps: 其实一般开发就用两个,如果是接收多端的服务端ServerBootstrap那就一个BossGroup一个WorkerGroup,boss处理accept连接,而worker则处理io事件。如果是连接一个服务端的客户端,那么就只需要一个worker就可以啦
Channel
channel的主要作用及其常用函数
close()可以用来关闭channel
closefuture0用来处理channel的关闭
sync方法作用是同步等待channel关闭
而ad addlistener 方法是异步等待channel 关闭
pipeline()方法添加处理器,(自定义处理器,编解码处理器等等,Idle保活等等)
write()方法将数据写入
writeandflush0方法将数据写入并刷出
Future
搭配Promise既可以同步也可以异步,可以用的十分丰富炫酷,可以搭配juc去配套食用理解。
EmbeddedChannle
一般用来测试自己的处理器,很方便,可以直接将数据刷入站,读入站的数据。出站同理。
我就用来测试自己消息传输协议的编解码器,很方便的。
ByteBuf
- 池化与非池化, 减少建立连接的开销
- 直接内存与堆内存,直接内存读写快,堆内存分配快,相辅相成
- 自动扩容机制, 每次检测是否够空间()-> 不够 { 小于512直接扩容到512, 如果大于512都是*2处理 }
没错,仅需要这些组件(还有一些Handler要知道)就可以开始愉快的网络编程了。起飞~
我认为Netty能干嘛
掌握了这些,我能做什么。掌握了这些,你可以自由开发你能想到的网络编程,甚至是做一个服务器去代替Tomcat,咳咳(我相信有部分公司应该是不用tomcat的…吧)精通了Netty,那真的是非常之牛掰了,真正的掌握JUC、NIO、Socket编程的王Orz
比如能干嘛呢? 比如你可以基于Netty可以实现简单的聊天室功能了(被写烂了)参考某马程序员的Netty课程。如果要实现的比较正式高级的聊天室,可以到某站搜索程序员老罗, 他的仿微信项目中的聊天业务使用的Netty比较好!开源精神o( ̄▽ ̄)d;
我对内网穿透比较有兴趣,所以我学完Netty的基础后捏,就快速的上手手搓了一个简单的内网穿透项目,嗨嗨嗨!
(等我完善好哈,我一定要开源出来,做到简单配置,简单使用,简单扩展,覆盖大多数人的需求。/加油,xdm双击点波关注上车了喂)
我的内网穿透分析
下面是我实现内网穿透的思路, 有更好的思路欢迎讨论一起交流进步!
概括起来 其实主要分为三步:
1、 自定义消息传输协议 protocol。消息类包括type,data…当然还要有编解码器。
2、 监听访客端, 代理服务端, 代理客户端, 内网服务端。 四端以及他们的对应的自定义Handler。
3、 设计什么时候建立什么通道,什么时候用什么通道发送数据,什么时候关闭通道。并且如何维护这条通道,不会乱窜。
一、自定义消息传输协议
既然是协议,那肯定有消息体,有编解码。
首先ProxyMsg这个类你可以随便造,最简单的必须要有的也就是type和data,两个属性,其他消息流水号、指令消息等等可以自由发挥~ 这里是一个PeoxyMsg示例:
@Data
@EqualsAndHashCode
public class ProxyMsg {/** 心跳 */public static final byte TYPE_HEARTBEAT = 0x00;/** 数据传输 */public static final byte TYPE_TRANSFER = 0x01;/** 连接 */public static final byte TYPE_CONNECT = 0x10;/** 连接断开 */public static final byte TYPE_DISCONNECT = 0x11;//-----------------------------------------------------/** 消息类型 */private byte type;/** 消息携带数据 */private byte[] data;}
因为Netty是基于字节流的(ByteBuf)数据传输时自然会有粘包、半包的问题。所以编解码器要去解决这个问题。ProxyMsgEncoder和ProxyMsgDecoder。
如何去解决粘包问题呢? Netty提供了一个解决方案,使用LengthFieldBasedFrameDecoder实现定长解码器,通过定义一条消息的各部分的实际长度,控制解码读取字节的时候不多读,不少读,按照规定字段长度读!
这里提供同样,也提供一个ProxyMsgDecoder的示例哈:
@Slf4j
public class ProxyMsgDecoder extends LengthFieldBasedFrameDecoder {public ProxyMsgDecoder(){super(Integer.MAX_VALUE, 0, 4, 0, 0);}@Overrideprotected ProxyMsg decode(ChannelHandlerContext ctx, ByteBuf in2) throws Exception {ByteBuf in = (ByteBuf) super.decode(ctx, in2);log.info("in:{}",in);if(in==null||in.readableBytes()<4){return null;}int dataLen = in.readInt();byte type = in.readByte();ProxyMsg msg = new ProxyMsg();msg.setType(type);if(dataLen>1){byte[] data = new byte[dataLen - 1];in.readBytes(data);msg.setData(data);}
// log.info("msg:{}",msg);in.release();return msg;}
}
既然消息的解码器你已经想好了,将ByteBuf进行编码成ProxyMsg就很简单了,这里是ProxyEncoder类示例:
@Slf4j
public class ProxyMsgEncoder extends MessageToByteEncoder<ProxyMsg> {//提供空参构造public ProxyMsgEncoder(){}@Overrideprotected void encode(ChannelHandlerContext ctx, ProxyMsg msg, ByteBuf out) throws Exception {
// log.info("msg encode:{}",msg);int bodyLen = 1; //一个字节表示类型长度嘛,这个必须有的if(msg.getData() != null){bodyLen += msg.getData().length;}//先写入消息体长度 单位字节out.writeInt(bodyLen);//写入消息体类型out.writeByte(msg.getType());//写入消息携带的dataif (msg.getData() != null) {out.writeBytes(msg.getData());}}
}
ok,这样就做好了最简单的消息协议了,是不是发现协议其实也就是一种约定罢了,但是真正的协议其实要复杂的多。这里就不赘述了 O.o
用刚刚说到的EmbeddedChannel来测试一下吧!
public class Test {public static void main(String[] args) {EmbeddedChannel channel = new EmbeddedChannel();ProxyMsg msg = new ProxyMsg();msg.setType(ProxyMsg.TYPE_HEARTBEAT);msg.setData("11111".getBytes());channel.pipeline().addLast(new ProxyMsgDecoder()).addLast(new ProxyMsgEncoder());channel.writeOutbound(msg);ByteBuf encodedMsg = channel.readOutbound();channel.writeInbound(encodedMsg);ProxyMsg decodedMsg = channel.readInbound();System.out.println("Type: " + decodedMsg.getType());System.out.println("Data: " + new String(decodedMsg.getData()));System.out.println(0x10);}
}
测试结果不出所料,没错,日志打出来的就是我们想要的嘛。
直到这里,我们真正的建立好了简单的消息传输协议,可以开始着手做Socket的开发了。
二、我选择设计四个Socket
我将按照访客 => 代理服务端 => 代理客户端 => 内网服务; 这样的顺序来讲
反之同理
首先我觉得有必要说一下启动的流程: 是
先把代理两端也就是Netty做的代理服务端和客户端启动并相连接,当客户端连接上服务端后建立一条,客户端Connect.addListener()发送一条TYPE_CONNECT的消息,服务端收到解析后,注册这条主通道。
注册好主通道后,启动访客端,监听公网某某端口,接收访客的请求数据。当有访客连接,建立访客通道
启动内网服务端,connect.addListener()连接成功的话,就建立起内网服务真实通道。
因为Netty是异步的,每个启动中的步骤他都是一起执行的。所以这些操作只需要注意启动的顺序就可以了,代理服务器启动-> 代理客户端-> 内网服务端&&访客端启动
以下是实现的端口以及handler的分析
内网服务Socket\代理客户端 : Bootstrap
访客代理Socket\代理服务端 : ServerBootstrap
为什么呢? 其实判断他是单端的,还是多端的,就会明白!
- VisitorSocket&Handler 他会启动一个服务器并监听某个端口,用于给访客访问。当访客访问端口的时候,建立起一个访客通道,并发送访问请求的数据到ServerSocket(代理服务端);
- ServerSocket&Handler 启动代理服务端,根据消息类型的不同,处理消息的转发。当第一次和代理客户端相连接注册起主通道用来传输指令和唤起路由通道。
- ProxySocket&Handler 启动代理客户端,接收访客数据并解析转发给内网服务。
- ServiceSocket&Handler 启动内网服务端,新建一条路由通道发送CONNECT消息给代理服务端注册该通道。处理器对响应(Read到的)数据进行封装成TYPE_TRANSFER的消息,转发给代理服务端转发对应的访客通道。
四个Socket端,和对应四个Handler,和对应protocol协议,你数数加起来才几个类?
1234… 是的,也就才十一个类,再加一个server和client两个模块下的Constant,也才13个类就完成了Netty实现的内网穿透,是不是非常简单呢?
爷的结束语
最近期末周+准备投简历有点忙不过来,等我结束这段时间,我把内网穿透完善一下,在下篇文章我就开源出来,供大家使用、扩展自己需求。请xdm多多支持!感谢铁铁们。
凌晨一点半了,晚安各位Zzzzzzzzzzzzzzzzzzzzzzzzzzz
相关文章:
大二学生眼中的Netty?基于Netty实现内网穿透!
爷的开场白 掘金的朋友们大家好!我是新来的Java练习生 CodeCodeBond! 这段时间呢,博主在学习Netty,想做一个自己感兴趣好玩的东西,那就是内网穿透!!(已经实现主要代理功能但有待优化…...
JavaStringBuffer与StringBuilder
StringBuffer、StringBuilder 文章目录 StringBuffer、StringBuilderStringBuffer和StringBuilder的理解可变性分析对于String对于StringBuilder 常用方法执行效率对比 StringBuffer和StringBuilder的理解 String 不可变的字符序列 StringBuffer 可变的字符序列 JDK1.0声明&…...
云徙科技助力竹叶青实现用户精细化运营,拉动全渠道销售额增长
竹叶青茶以其别具一格的风味与深厚的历史底蕴,一直被誉为茶中瑰宝。历经千年的传承与创新,竹叶青不仅坚守着茶叶品质的极致追求,更在数字化的浪潮中,率先打破传统,以科技力量赋能品牌,成为茶行业的领军者。…...
深度揭秘:深度学习框架下的神经网络架构进化
深度学习框架下的神经网络架构经历了从基础到复杂的显著进化,这一进程不仅推动了人工智能领域的突破性进展,还极大地影响了诸多行业应用。本文旨在深入浅出地揭示这一进化历程,探讨关键架构的创新点及其对现实世界的影响。 引言:…...
MySQL的DML语句
文章目录 ☃️概述☃️DML☃️添加数据☃️更新和删除数据☃️DML的重要性 ☃️概述 MySQL 通用语法分类 ● DDL: 数据定义语言,用来 定义数据库对象(数据库、表、字段) ● DML: 数据操作语言,用来对数据库表中的数据进行增删改 …...
Wireshark的基本用法以及注意事项
Wireshark 是一个流行的网络协议分析工具,可以捕获和分析网络数据包。以下是一些常见的 Wireshark 的用法: 安装和启动:首先需要下载和安装 Wireshark。安装完成后,可以通过启动 Wireshark 应用程序来打开它。 选择网络接口&…...
集团门户网站的设计
管理员账户功能包括:系统首页,个人中心,管理员管理,论坛管理,集团文化管理,基础数据管理,公告通知管理 前台账户功能包括:系统首页,个人中心,论坛࿰…...
Tomcat基础详解
第一篇:Tomcat基础篇 lecture:邓澎波 一、构建Tomcat源码环境 工欲善其事必先利其器,为了学好Tomcat源码,我们需要先在本地构建一个Tomcat的运行环境。 1.源码环境下载 源码有两种下载方式: 1.1 官网下载 https://…...
【Python爬虫】爬取名人名言页面并进行简单的数据清洗(入门级)
目录 资源链接 一、网站选择 二、数据爬取要求 三、数据清洗要求 四、实现代码 1.数据采集 2.数据清洗 资源链接 下面有笔者所放的源码下载链接,读者可自行下载: 链接:https://pan.baidu.com/s/1YmTdlnbSJLvLrrx92zz6Qg 提取码&…...
Microsoft Visual C++ Redistributable 【安装包】【高速下载】
方法1、可以从官方下载,如下图 Visual C Redistributable for Visual Studio 2015 但是此链接只有一个版本 方法2 已经下载好并且已经整理好了2008--2022的所有版本点击下方链接即可高速下载 如果是win7-win8-win10-win11直接可以下载2015--2022版本,…...
MFC绘制哆啦A梦
文章目录 OnPaint绘制代码完整Visual Studio工程下载其他卡通人物绘制 OnPaint绘制代码 CPaintDC dc(this); // 用于绘画的设备上下文CRect rc;GetWindowRect(rc);int cxClient rc.Width();int cyClient rc.Height();// 辅助线HPEN hPen CreatePen(PS_DOT, 1, RGB(192, 192,…...
网络编程(TCP协议,UDP协议)
目录 网络编程三要素 IP IPv4 InetAddress类 端口号 协议 UDP协议 UDP协议发送数据 UDP协议接收数据 UDP的三种通信方式(代码实现) TCP协议 TCP通信程序 三次握手和四次挥手 练习 1、客户端:多次发送数据服务器:接收多次接收数据,并打印 2、客户端…...
读取Jar包下文件资源的问题及解决方案
问题 项目A代码调用到Resouces下的文件a.sh,打包成Jar包后,项目B调用对应方法时,出现报错,找不到a.sh文件路径,原来的代码可能是: URL resource getClass().getClassLoader().getResource("a.sh&qu…...
C++ 反转一个二进制串
描述 一个32位有符号整数,用二进制编码来表示。现需要将该二进制编码按位反转,计算出反转后的值。 示例1 输入: 1 返回值: -2147483648 说明: 00000000 00000000 00000000 00000001 翻转后为 10000000 000000…...
黑神话悟空-吉吉国王版本【抢先版】
在中国的游戏市场中,一款名为“黑神话悟空”的游戏引起了广泛的关注。这款游戏以中国传统的神话故事“西游记”为背景,创造了一个令人震撼的虚拟世界。今天,我们要来介绍的是这款游戏的一种特殊版本,那就是吉吉国王版本。 在吉吉国…...
【尚庭公寓SpringBoot + Vue 项目实战】预约看房与租约管理(完结)
【尚庭公寓SpringBoot Vue 项目实战】预约看房与租约管理(完结) 文章目录 【尚庭公寓SpringBoot Vue 项目实战】预约看房与租约管理(完结)1、业务说明2、接口开发2.1、预约看房管理2.1.1.保存或更新看房预约2.1.2. 查询个人预约…...
java拼图小游戏项目
创建一个Java拼图小游戏是一个有趣且富有教育意义的项目,可以锻炼你的编程技能。以下是开发一个基本拼图游戏可能需要考虑的几个步骤: 项目规划: 确定游戏的基本规则和玩法。设计游戏的界面和用户交互。 环境搭建: 确保你的开发环…...
[C++][数据结构][跳表]详细讲解
目录 0.什么是跳表?1.SkipList的优化思路2.SkipList的效率如何保证?3.SkipList实现4.SkipList VS 平衡搜索树 && Hash 0.什么是跳表? SkipList本质上也是一种查找结构,用于解决算法中的查找问题,跟平衡搜索树…...
tinyxml
github下载相关的软件包,其中有四个文件需要主要需要关注就是分别是tinyxml12.cpp,tinyxml12.h,rss网页xml文件,还有就是官方给的test文件tinyxmltest.cpp。 example1就是提供一个打开文件的方式 int example_1() {XMLDocument …...
Docker(三)-Docker常用命令
1.run run命令执行流程:2.帮助启动类命令 2.1 启动docker systemctl start docker2.2 停止docker systemctl stop docker2.3 重启docker systemctl restart docker2.4查看docker状态 systemctl status docker2.5开机启动 systemctl enable docker2.6查看docker概要信息 …...
Spring Boot 实现流式响应(兼容 2.7.x)
在实际开发中,我们可能会遇到一些流式数据处理的场景,比如接收来自上游接口的 Server-Sent Events(SSE) 或 流式 JSON 内容,并将其原样中转给前端页面或客户端。这种情况下,传统的 RestTemplate 缓存机制会…...
Redis相关知识总结(缓存雪崩,缓存穿透,缓存击穿,Redis实现分布式锁,如何保持数据库和缓存一致)
文章目录 1.什么是Redis?2.为什么要使用redis作为mysql的缓存?3.什么是缓存雪崩、缓存穿透、缓存击穿?3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...
(二)TensorRT-LLM | 模型导出(v0.20.0rc3)
0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述,后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作,其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...
基于当前项目通过npm包形式暴露公共组件
1.package.sjon文件配置 其中xh-flowable就是暴露出去的npm包名 2.创建tpyes文件夹,并新增内容 3.创建package文件夹...
成都鼎讯硬核科技!雷达目标与干扰模拟器,以卓越性能制胜电磁频谱战
在现代战争中,电磁频谱已成为继陆、海、空、天之后的 “第五维战场”,雷达作为电磁频谱领域的关键装备,其干扰与抗干扰能力的较量,直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器,凭借数字射…...
Android Bitmap治理全解析:从加载优化到泄漏防控的全生命周期管理
引言 Bitmap(位图)是Android应用内存占用的“头号杀手”。一张1080P(1920x1080)的图片以ARGB_8888格式加载时,内存占用高达8MB(192010804字节)。据统计,超过60%的应用OOM崩溃与Bitm…...
Spring数据访问模块设计
前面我们已经完成了IoC和web模块的设计,聪明的码友立马就知道了,该到数据访问模块了,要不就这俩玩个6啊,查库势在必行,至此,它来了。 一、核心设计理念 1、痛点在哪 应用离不开数据(数据库、No…...
Device Mapper 机制
Device Mapper 机制详解 Device Mapper(简称 DM)是 Linux 内核中的一套通用块设备映射框架,为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程,并配以详细的…...
华为OD机考-机房布局
import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...
快刀集(1): 一刀斩断视频片头广告
一刀流:用一个简单脚本,秒杀视频片头广告,还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农,平时写代码之余看看电影、补补片,是再正常不过的事。 电影嘛,要沉浸,…...
