聊聊分布式架构06——[NIO入门]简单的Netty NIO示例
目录
Java NIO和Netty NIO比较
Java NIO:
Netty:
Netty NIO中的主要模块
Transport(传输层)
Buffer(缓冲区)
Codec(编解码器)
Handler(处理器)
EventLoop(事件循环)
Bootstrap和Channel(引导和通道)
Future和Promise(异步编程)
Netty示例
服务端时序图
服务端代码
客户端时序图
客户端代码
总结

Java NIO和Netty NIO比较
Java NIO:
-
原生Java库: Java NIO是Java标准库的一部分,提供了非阻塞I/O的核心功能。它是Java平台上的底层API,允许开发者直接操作通道、缓冲区和选择器等组件。
-
较低级别: Java NIO是相对较低级别的API,需要开发者编写更多的底层代码来处理网络通信和协议。这可以提供更多的控制权,但也增加了开发复杂性。
-
多路复用: Java NIO通过选择器(Selector)实现多路复用,允许一个线程管理多个通道。这对于处理大量并发连接非常有用。
-
手动管理缓冲区: Java NIO需要开发者手动管理缓冲区,包括分配、读取、写入和释放缓冲区。这可能导致更复杂的代码结构。
-
适用场景: Java NIO适用于需要高度自定义的网络协议网络服务器。它在性能和灵活性方面提供了更多的控制权。
Netty:
-
高级别框架: Netty是一个基于Java NIO的高级别框架,它封装了底层的NIO细节,提供了更简单和强大的API来处理网络通信。
-
事件驱动: Netty是事件驱动的框架,使用事件处理器(Event Handlers)来处理入站和出站事件。这使得编写网络应用程序更加模块化和可维护。
-
自动管理缓冲区: Netty自动管理缓冲区,无需开发者手动分配和释放缓冲区。这减轻了内存管理的负担。
-
丰富的功能: Netty提供了丰富的功能,包括HTTP、WebSocket、TLS/SSL支持、UDP通信、拆包和粘包处理等。它还支持异步和同步I/O操作。
-
社区和生态系统: Netty拥有强大的社区支持和丰富的生态系统,有大量的扩展和插件可用。这使得开发人员可以更快地构建复杂的网络应用。
-
适用场景: Netty适用于构建高性能、可扩展、可维护的网络应用程序,特别是在处理协议复杂、并发连接众多的情况下。
为什么选择Netty?
| Java NIO | Netty NIO | |
|---|---|---|
| API和类库 | 繁杂麻烦,需掌握Selector、Channel、Buffer等 | 封装简单,门槛低 |
| 扩展实现 | 需要熟悉多线程和网络编程保证代码质量 | 通过ChannelHandler对框架灵活扩展 |
| 可靠性 | 可靠性能力需手动补齐,工作量和难度大 | 预编码、多协议,功能强,性能高 |
| Bug Fixed | 臭名昭著的epoll bug(selector空轮询,CPU到100%)1.6版本说修复,1.7版本还在,只是调低了触发率 | 稳定,成熟,修复了所有已发现的Java NIO Bug |
| 社区生态 | / | 社区活跃,迭代周期短 |
| 生存迭代 | / | 经历大规模商业应用考验,质量得到验证 |
基础篇我们使用Java NIO举例演示了简单的RPC通信。代码的行数和步骤确实挺繁琐,不如来看看Netty 的操作,是骡子是马牵出来溜溜先,就当诸君饭后消个食。
Netty NIO中的主要模块
Netty是一个强大的网络编程框架,它由多个主要模块组成,每个模块负责不同的功能。以下是Netty中的一些主要模块:
-
Transport(传输层)
-
NIO: 这个模块实现了基于Java NIO的传输层,提供了非阻塞的网络通信功能。它包括
NioEventLoopGroup、NioServerSocketChannel、NioSocketChannel等类,用于创建和管理NIO通道。
-
-
Buffer(缓冲区)
-
Java NIO中的ByteBuffer局限性:
-
ByteBuffer长度固定,不能动态伸缩和扩展,编码对象时容易引起索引越界异常
-
ByteBuffer只有一个标识位置的指针position,需要手工调用flip()和rewind(),不方便
-
ByteBuffer的API功能有限,需要使用者自己编程实现一些高级和实用的特性
-
-
为了弥补这些不足,Netty NIO提供了自己的实现——ByteBuf:
Netty提供了高性能的缓冲区实现ByteBuf,用于处理数据的读取和写入。ByteBuf提供了直接和间接缓冲区,并支持池化,以减少内存分配和回收的开销。
-
-
Codec(编解码器)
-
编码器和解码器: 这个模块包括一系列编解码器,用于将数据序列化和反序列化为字节,以便在网络中传输。Netty提供了JSON、Protobuf、HTTP、WebSocket等多种编解码器。
-
-
Handler(处理器)
-
ChannelHandler:
ChannelHandler是Netty中的核心概念,用于处理事件和数据。它可以自定义,用于构建处理链。Netty提供了各种内置的ChannelHandler,如SimpleChannelInboundHandler、ChannelDuplexHandler等。
-
-
EventLoop(事件循环)
-
EventLoopGroup: 这个模块包括了
EventLoopGroup和EventLoop,用于实现事件循环机制。EventLoopGroup管理一组EventLoop,每个EventLoop负责处理一组通道上的事件。事件循环是Netty实现异步和事件驱动的关键。
-
-
Bootstrap和Channel(引导和通道)
-
ServerBootstrap和Bootstrap: 这两个类用于引导Netty应用程序的启动。
ServerBootstrap用于启动服务器端,而Bootstrap用于启动客户端。 -
Channel和ChannelPipeline:
Channel表示通道,它代表了一个网络连接。在Channel接口层,采用Fade模式进行统一封装。ChannelPipeline是处理链,包含一系列ChannelHandler,用于处理事件和数据。
-
-
Future和Promise(异步编程)
-
Future: Netty使用
Future来表示异步操作的结果,允许开发者异步地等待操作完成。 -
Promise:
Promise是Future的扩展,允许开发者设置操作的结果,使得异步编程更加方便。
-
Netty示例
服务端时序图

服务端代码
/*** Netty Server* 开始:需要绑定端口用于启动* 1.创建线程组bossGroup用于处理客户端连接* 2.创建线程组workGroup用于socket网络读写* 3.创建Bootstrap服务启动辅助类,类似serverSocketChannel* 4.链式编程,构造线程组、serverChannel、options、channelHandle* 5.ChannelHandle继承自ChannelInitializer<SocketChannel>进行功能扩展* 结束:优雅退出关闭资源*/
public class Server {public static void main(String[] args) {new Server().bind(8088);}
/*** 绑定端口用于启动* @param port 服务端口*/public void bind(int port) {// 1.创建线程组bossGroup处理客户端连接EventLoopGroup bossGroup = new NioEventLoopGroup();// 2.创建线程组workGroup用于socket网络读写EventLoopGroup workerGroup = new NioEventLoopGroup();try {// 3.创建Bootstrap服务启动辅助类,类似serverSocketChannelServerBootstrap server = new ServerBootstrap();// 4.链式编程,构造线程组、serverChannel、options、channelHandleserver.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).option(ChannelOption.SO_BACKLOG, 1024).childHandler(new ChildChannelHandler());System.out.println("server start on port:" + port);
// 绑定端口异步调用连接客户端,同步阻塞等待(连接结果)连接成功ChannelFuture channelFuture = server.bind(port).sync();
// 异步调用close关闭链路,同步阻塞等待(关闭结果)关闭成功后退出main函数channelFuture.channel().closeFuture().sync();} catch (InterruptedException e) {e.printStackTrace();} finally {// 优雅退出关闭资源bossGroup.shutdownGracefully();workerGroup.shutdownGracefully();}}
/*** 5.ChannelHandle继承自ChannelInitializer<SocketChannel>进行功能扩展*/private class ChildChannelHandler extends ChannelInitializer<SocketChannel> {
@Overrideprotected void initChannel(SocketChannel socketChannel) throws Exception {socketChannel.pipeline().addLast(new ServerHandler());}}
private class ServerHandler extends ChannelHandlerAdapter {@Overridepublic void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {ByteBuf buf = (ByteBuf) msg;byte[] req = new byte[buf.readableBytes()]; // 读取缓冲区可读取长度buf.readBytes(req);String body = new String(req, "UTF-8");System.out.println("Server receive msg:" + body);String currTime = "query time".equalsIgnoreCase(body) ? new Date(System.currentTimeMillis()).toString() : "error code";ByteBuf resp = Unpooled.copiedBuffer(currTime.getBytes());ctx.write(resp);}
@Overridepublic void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {ctx.close();}
@Overridepublic void channelReadComplete(ChannelHandlerContext ctx) throws Exception {ctx.flush(); // 将发送缓冲数组中的消息通过flush()写入socketChannel发送,避免了频繁调用selector进行发送}}
}
客户端时序图

客户端代码
/*** 开始:连接服务端ip:port* 1.创建EventLoopGroup管理socket读取* 2.创建客户端辅助类Bootstrap,类似于之前的SocketChannel* 3.链式编程,构造客户端流程client、option、handler* 4.handler使用的是ChannelInitializer<SocketChannel>* 结束:优雅的关闭资源*/
public class Client {public static void main(String[] args) {new Client().connect("localhost", 8088);}
/*** 连接服务端ip:port* @param ip 服务端地址* @param port 服务端端口*/public void connect(String ip, int port) {// 1.创建EventLoopGroup管理socket读取EventLoopGroup group =new NioEventLoopGroup();try {// 2.创建客户端辅助类Bootstrap,类似于之前的SocketChannelBootstrap client = new Bootstrap();// 3.链式编程,构造客户端流程client、option、handlerclient.group(group).channel(NioSocketChannel.class).option(ChannelOption.TCP_NODELAY, true).handler(new ChannelInitializer<SocketChannel>() {@Overrideprotected void initChannel(SocketChannel socketChannel) throws Exception {socketChannel.pipeline().addLast(new ClientHandler());}});
// 发起异步连接操作ChannelFuture channelFuture = client.connect(ip, port).sync();
// 等待服务端链路关闭channelFuture.channel().closeFuture().sync();} catch (InterruptedException e) {e.printStackTrace();} finally {// 优雅退出,释放资源group.shutdownGracefully();}}
/*** 4.handler使用的是ChannelInitializer<SocketChannel>*/public class ClientHandler extends ChannelHandlerAdapter {@Overridepublic void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {ByteBuf buf = (ByteBuf) msg;byte[] req = new byte[buf.readableBytes()];buf.readBytes(req);String body = new String(req, "UTF-8");System.out.println("client receive server send:" + body);channelActive(ctx);}
@Overridepublic void channelActive(ChannelHandlerContext ctx) throws Exception {Scanner scanner = new Scanner(System.in);System.out.println("请输入");String clientIn = scanner.nextLine();ByteBuf firstMessage = Unpooled.buffer(clientIn.getBytes().length);firstMessage.writeBytes(clientIn.getBytes());System.out.println("client send:" + clientIn);ctx.writeAndFlush(firstMessage);}@Overridepublic void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {ctx.close();}}
}
运行结果:

总结
不难看出,不管是流程步骤还是实现功能的代码行数,Netty NIO都是优于Java原生NIO的。到此,一个简单的NIO入门示例完成。
资料参考:《Netty权威指南》
相关文章:
聊聊分布式架构06——[NIO入门]简单的Netty NIO示例
目录 Java NIO和Netty NIO比较 Java NIO: Netty: Netty NIO中的主要模块 Transport(传输层) Buffer(缓冲区) Codec(编解码器) Handler(处理器) Even…...
H5逆向之远程RPC
引言前一讲说过H5 怎么去抓包,逆向分析。其中说到RPC。这一节详细讲一下。有一种情况,JS 比较复杂,混淆的厉害。 这个时候就用到RPC。原理就是,hook web 浏览器,直接调用js 里边的方法。 Node 服务。为什么用到Node 服务,先来看下这架构 Node 对外提供各种接口,外部可以…...
解决Ubuntu18.04安装好搜狗输入法后无法打出中文的问题
首先下载安装 搜狗拼音输入法 ,下载选择: x86_64 在ubuntu中设置 fcitx 最后发现安装好了,图标有了 ,但是使用时不能输入中文,使用下面的命令解决: sudo apt install libqt5qml5 libqt5quick5 libqt5qu…...
Ubuntu LabelMe AI 识别
1.创建虚拟环境 conda create -n labelme python3.9 2.激活虚拟环境 conda activate labelme 3.安装labelme pip install pyqt5 -i https://pypi.tuna.tsinghua.edu.cn/simple pip install pillow -i https://pypi.tuna.tsinghua.edu.cn/simple pip install labelme -i ht…...
基于FPGA的图像缩小算法实现,包括tb测试文件和MATLAB辅助验证
目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 将FPGA的处理结果导出到matlab中显示图像效果: 2.算法运行软件版本 vivado2019.2 matlab2022a 3.部分核心程序 timescale 1ns / 1p…...
黑马店评-04缓存更新策略,保证MySQL数据库中的数据和Redis中缓存的数据一致性
缓存更新策略(数据一致) 更新策略 缓存更新是Redis为了节约内存而设计出来的机制,当我们向Redis插入太多数据时就会导致缓存中的数据过多,所以Redis会对部分数据进行更新即淘汰 低一致性需求(数据长久不发生变化): 使用内存淘汰机制,例如店铺类型信息的查询缓存,因为这部分…...
matlab相机标定实验
实验原理 1. 相机标定坐标系 相机的参数对目标的识别、定位精度有很大的影响,相机标定就是为了求出相机的内外参数。标定中有3个不同层次的坐标系:世界坐标系、相机坐标系和图像坐标系(图像物理坐标系和图像像素坐标系)。世界坐…...
【每日一题Day343】LC2731移动机器人 | 脑筋急转弯+数学
移动机器人【LC2731】 有一些机器人分布在一条无限长的数轴上,他们初始坐标用一个下标从 0 开始的整数数组 nums 表示。当你给机器人下达命令时,它们以每秒钟一单位的速度开始移动。 给你一个字符串 s ,每个字符按顺序分别表示每个机器人移动…...
疯狂java 1.7垃圾回收机制
内存泄漏:如果一些分配出去的内存得不到及时回收,就会引起系统运行速度下降,甚至导致程序瘫痪 Java程序的内存分配和回收都是由JRE在后台自动进行的。JRE会负责回收哪些不再使用的内存,这种机制被称为垃圾回收(Garbag…...
day01_基础
零、今日内容 1 jdk 2 idea使用 3 HelloWorld程序 4 变量 5 数据类型 6 String 一、JDK安装 JDK java开发工具包,敲代码的环境 1.1 卸载 控制面板 -> 卸载程序 -> 选择jdk,右键卸载 1.2 安装 注意: 现在安装的是JDK8版本,虽然最新的版本是21版本,但是工作市场中最流行的…...
RabbitMQ开启消息发送确认和消费手动确认
开启RabbitMQ的生产者发送消息到RabbitMQ服务端的接收确认(ACK)和消费者通过手动确认或者丢弃消费的消息。 通过配置 publisher-confirm-type: correlated 和publisher-returns: true开启生产者确认消息。 server:port: 8014spring:rabbitmq:username: …...
嵌入式系统开发【深入浅出】 GPIO 类设备的驱动程序
目录 GPIO管脚的输出功能相当于控制、输入相当于检测 使用GPIO基本流程 对于某一个管脚来说最多有几种功能? 拓展 【定时器与系统定时器】 决定定时长短的因素: 普通定时器 系统定时器 STM32F103RBT6的时钟源有哪五种 sysclk 的时钟频率由哪个时钟源提供基…...
项目管理必备的22个公式
大家好,我是老原。 趁着国庆时间比较空闲,给你们整理了一些项目管理必备的计算公式,一共22个。 每一个公式都给你们标注了适用情况和使用方法,为了方便你们理解,也加了一些例子,保准你看了就会。 觉得不…...
ccache加速编译速度
ccache https://gitee.com/lixiaoxmm/ccache.git 依赖hiredis、zstd(zstd的cmakelists.txt在build/cmake目录下) 下载mingw,https://www.mingw-w64.org/downloads/#w64devkit hiredis、zstd使用mingw编译 cmake -G “MinGW Makefiles” cmakecache.txt手动修改去掉网络下载,…...
Apache POI使用
1.导入坐标 <!-- poi --><dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>${poi}</version></dependency><dependency><groupId>org.apache.poi</groupId><a…...
UNIQUE VISION Programming Contest 2023 Autumn(AtCoder Beginner Contest 323)
A - Weak Beats 链接 : A - Weak Beats 思路 : 模拟即可,如果在偶数位上出现了非0得元素,直接输出"No"后返回即可,循环顺利结束的话,就直接输出"Yes"; 代码 : #include<bits/stdc.h> #define IOS ios::sy…...
Docker 网络管理
Docker 网络实现原理 Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关。因为在同一宿主机…...
网络安全国家队-安防思考与实践
按照工信部“三同步”安全建设的统一要求,本项目的实施应具备符合等级保护要求的安全防护措施(主要为传输控制、防火墙隔离、入侵检测、安全审计等网络安全措施;操作系统安全、数据库安全、防病毒管理、安全审计等基础系统安全措施࿰…...
epoll 定时器
参考: Linux下使用epoll监听定时器-CSDN博客 但是这个用的是gettimeofday。 本人使用的是 #include <stdlib.h> #include<stdio.h> #include <sys/timerfd.h> #include <sys/epoll.h> #include <unistd.h> #include <sys/time.…...
BUUCTF Java逆向解密 1
Class文件是Java编译后的二进制字节码文件。 我这里使用的是jadx-gui,直接将class文件拖进去即可 package defpackage;import java.util.ArrayList; import java.util.Scanner;/* renamed from: Reverse reason: default package */ /* loaded from: Reverse.clas…...
7.4.分块查找
一.分块查找的算法思想: 1.实例: 以上述图片的顺序表为例, 该顺序表的数据元素从整体来看是乱序的,但如果把这些数据元素分成一块一块的小区间, 第一个区间[0,1]索引上的数据元素都是小于等于10的, 第二…...
MFC内存泄露
1、泄露代码示例 void X::SetApplicationBtn() {CMFCRibbonApplicationButton* pBtn GetApplicationButton();// 获取 Ribbon Bar 指针// 创建自定义按钮CCustomRibbonAppButton* pCustomButton new CCustomRibbonAppButton();pCustomButton->SetImage(IDB_BITMAP_Jdp26)…...
Cesium1.95中高性能加载1500个点
一、基本方式: 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
【位运算】消失的两个数字(hard)
消失的两个数字(hard) 题⽬描述:解法(位运算):Java 算法代码:更简便代码 题⽬链接:⾯试题 17.19. 消失的两个数字 题⽬描述: 给定⼀个数组,包含从 1 到 N 所有…...
【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 初始化服务器)
服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...
Linux简单的操作
ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...
EtherNet/IP转DeviceNet协议网关详解
一,设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络,本网关连接到EtherNet/IP总线中做为从站使用,连接到DeviceNet总线中做为从站使用。 在自动…...
IT供电系统绝缘监测及故障定位解决方案
随着新能源的快速发展,光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域,IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选,但在长期运行中,例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...
在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案
这个问题我看其他博主也写了,要么要会员、要么写的乱七八糟。这里我整理一下,把问题说清楚并且给出代码,拿去用就行,照着葫芦画瓢。 问题 在继承QWebEngineView后,重写mousePressEvent或event函数无法捕获鼠标按下事…...
Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程,代码下载:这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中,**知识蒸馏(Knowledge Distillation)**被广泛应用,作为提升模型…...
