当前位置: 首页 > news >正文

Java I/O模型发展以及Netty网络模型的设计思想

Java I/O模型发展以及Netty网络模型的设计思想

  • I/O模型
    • Java BIO
    • Java NIO
    • Java AIO
  • NIO Reactor网络模型
    • 单Reactor单线程模型
    • 单Reactor多线程模型
    • 主从Reactor多线程模型
  • Netty通信框架

前言:
BIO、NIO的代码实践参考:Java分别用BIO、NIO实现简单的客户端服务器通信

I/O模型

  • I/O:I和O指inputoutput,输入输出
  • 通俗理解:用怎么样的通道进行数据的发送和接收
  • 很大程度上决定程序通信的性能

Java共支持三种I/O模型:BIO,NIO,AIO

  • BIO:同步阻塞,一个线程处理一个连接。只要有一个客户端连接到服务器就需要开一个线程。同一个线程的连接和读写操作会阻塞
  • NIO:同步非阻塞,一个线程处理多个连接。实现方式是客户端的请求事件都会注册到多路复用器(selector)上面,多路复用器进行轮询处理
  • AIO:异步非阻塞,引入异步通道概念,采用Proactor模式,有效请求事件才会启动线程,特点是先由操作系统完成后才通知服务器程序启动线程,适用于连接数多的长连接请求

Java BIO

流程:

  1. 服务器启动一个ServerSocket
  2. 客户端启动socket与服务器通信。服务器需要对每个客户端建立一个线程
  3. 客户端发出请求后,先咨询服务器有无线程响应,没有则等待
  4. 有响应,客户端会等待请求结束后再继续执行

在这里插入图片描述

Java NIO

主要概念:

  1. 三大核心:Channel(通道),Buffer(缓冲区),Selector(多路复用器)
  2. 非阻塞模式:一个线程从通道请求或读取数据时,它仅能得到能用的数据,无可用数据时,不会阻塞线程,可以继续做其他事情,非阻塞写也是一样,不需要等待写入
  3. 通俗理解:NIO可以做到用一个线程处理多个操作,假设有10000个请求,实际可能只需要开50-100个线程,不像BIO一样必须分配10000个线程
  4. HTTP2.0也使用了多路复用技术,做到了一个连接并发处理多个请求,数量比HTTP1.0大了好几个数量级

Channel(通道),Buffer(缓冲区),Selector(多路复用器)的关系:

  1. 每个Channel对应一个Buffer
  2. Selector对应一个线程,一个线程对应多个Channel
  3. Selector根据不用事件,在各个通道上切换
  4. Buffer是一个内存块,底层是数组,读写切换需要用flip()
  5. Channel是双向的,可以返回底层操作系统的情况

Channel:

  1. BIO的stream是单向的
  2. Channel是双向的,可以读也可以写
  3. 常见的Channel还有FileChannel,DatagramChannel,SocketChannel,ServerSocketChannel
  4. FileChannel:文件读写
  5. DatagramChannel:UDP读写
  6. SocketChannel,ServerSocketChannel:TCP读写

NIO编程流程:

  1. 服务器启动一个ServerSocket得到一个ServerSocketChannel
  2. 创建一个服务器的Selector
  3. ServerSocketChannel注册到Selector上,标记为连接事件,Selector监听该事件
  4. 开始循环
  5. Selector得到有事件的SelectorKey集合,并进行轮询
  6. 使用SelectorKey上绑定的Channel进行业务处理(连接,读,写)

在这里插入图片描述

Java AIO

NIO Reactor网络模型

单Reactor单线程模型

方案:

  1. Selector是网络编程API,可以实现应用程序对多路链接请求的处理
  2. 服务器用一个多路复用器即一个Reactor监听所有的客户端的请求连接、读、写事件
  3. 每次处理完连接,会创建一个Handler处理连接后的读写业务处理
  4. Handler负责完成整个读、业务处理、写业务流程

优缺点:

  1. 代码简单,只有一个线程,清晰明了
  2. 客户端连接较多时,无法支撑
  3. 一般的NIO实现样例就是用的这种模型(Java分别用BIO、NIO实现简单的客户端服务器通信)

在这里插入图片描述

单Reactor多线程模型

方案:

  1. Selector是网络编程API,可以实现应用程序对多路链接请求的处理
  2. 服务器用一个多路复用器即一个Reactor监听所有的客户端的请求连接、读、写事件
  3. 每次处理完连接,会创建一个Handler处理连接后的读写业务处理
  4. Handler只响应事件,读取数据,不做业务处理,分发给worker线程池里面的线程处理业务
  5. worker线程池分配一个线程负责完成业务处理、回传等业务流程

优缺点:

  1. 可以充分利用多核cpu处理能力
  2. 多线程数据访问和共享比较复杂
  3. Reactor同样是单线程,相比于单Reactor单线程模型性能好一些,但是高并发场景同样会遇到性能瓶颈

在这里插入图片描述

主从Reactor多线程模型

方案:

  1. Reactor主线程Reactor从线程,主线程负责处理连接事件,从线程负责处理读写事件
  2. 主Reactor通过Acceptor处理完连接事件后,主Reactor把连接分给从Reactor处理
  3. 从Reactor将连接的channel注册到Selector中进行监听,并创建各种Handler进行处理
  4. Handler只响应事件,读取数据,不做业务处理,分发给worker线程池里面的线程处理业务
  5. worker线程池分配一个线程负责完成业务处理、回传等业务流程

优缺点:

  1. 主线程和从线程数据交互简单,职责明确
  2. 能处理较大并发量
  3. 编程复杂度较高

在这里插入图片描述

Netty通信框架

主要基于主从Reactor多线程模型,做了一定的改进,增加了Reactor线程池,可以多个主线程和多个从线程并发处理

Netty模型图(简单版)
在这里插入图片描述
Netty模型图(复杂版)
在这里插入图片描述

工作原理:

  1. netty抽象出两种线程池BossGroupWorkGroup,分别做连接事件多路复用和网络读写事件多路复用
  2. BossGroup,WorkGroup都是NioEventLoopGroup
  3. NioEventLoopGroup相当于事件循环组,组中有多个NioEventLoop事件循环
  4. NioEventLoop表示一个不断循环的执行处理任务的线程,每个NioEventLoop都有一个多路复用器Selector
  5. 每个BossGroup中的NioEventLoop执行步骤是: a. 轮询accept事件 b. 处理accept事件,与客户端建立连接,生成channel,并将其注册到某个WorkGroup中的NioEventLoop上的Selector c. 处理任务队列的任务,即runAllTask
  6. 每个WorkGroup中的NioEventLoop执行步骤是: a. 轮询read,write事件 b. 处理read,write事件,主要是处理channel c. 处理任务队列的任务,即runAllTask
  7. 每个WorkGroup中的NioEventLoop处理业务时,会使用pipeline管道,pipeline包含了channel,pipeline维护了很多handler处理器

在这里插入图片描述

相关文章:

Java I/O模型发展以及Netty网络模型的设计思想

Java I/O模型发展以及Netty网络模型的设计思想 I/O模型Java BIOJava NIOJava AIO NIO Reactor网络模型单Reactor单线程模型单Reactor多线程模型主从Reactor多线程模型 Netty通信框架 前言: BIO、NIO的代码实践参考:Java分别用BIO、NIO实现简单的客户端服…...

智能电网时代:数字孪生的崭露头角

随着科技的不断进步,数字孪生已经开始在电力行业崭露头角,为这个关键的行业带来了前所未有的机遇和潜力。本文就带大家了解一下数字孪生在哪些方面为电力行业做出改变,以及未来的创新应用。 首先,数字孪生可以提高电力系统运营效率…...

每日一题 501二叉搜素树中的众数(中序遍历)

题目 给你一个含重复值的二叉搜索树(BST)的根节点 root ,找出并返回 BST 中的所有 众数(即,出现频率最高的元素)。 如果树中有不止一个众数,可以按 任意顺序 返回。 假定 BST 满足如下定义&a…...

测试理论与方法----测试流程第三个环节:设计测试用例

测试流程第三个环节&#xff1a;设计测试用例&#xff1a;怎么测<——>测试需求的提取&#xff1a;测什么 ### 5、测试用例 描述&#xff1a;测试用例(TestCase)&#xff1a;是一份关于【具体测试步骤】的文档&#xff0c;是为了达到最佳的测试效果或高效揭露软件中潜藏的…...

C++多态案例2----制作饮品

#include<iostream> using namespace std;//制作饮品的大致流程都为&#xff1a; //煮水-----冲泡-----倒入杯中----加入辅料//本案例利用多态技术&#xff0c;提供抽象类制作饮品基类&#xff0c;提供子类制作茶叶和咖啡class AbstractDrinking {public://煮水//冲水//倒…...

机械零件保养3d模拟演示打消客户购买顾虑

复杂机械的工作运转是复杂的&#xff0c;想要对机械有深度的理解和迭代&#xff0c;必须了解它的运转原理及参数&#xff0c;复杂机械运行原因教学存在着不可视、系统庞杂及知识点多等弊病&#xff0c;3D虚拟展示是基于web3d网页运行的三维页面&#xff0c;可以将复杂机械运行过…...

SpringBoot的自动装配源码分析

文章目录 一&#xff1a;什么是自动装配二、springboot的启动流程1.调用SpringApplication&#xff08;&#xff09;的构造方法2.执行核心run方法&#xff08;&#xff09;3.执行核心prepareContext&#xff08;&#xff09;4.执行核心refreshContext&#xff08;&#xff09;5…...

Linux常用命令——csplit命令

在线Linux命令查询工具 csplit 将一个大文件分割成小的碎片文件 补充说明 csplit命令用于将一个大文件分割成小的碎片&#xff0c;并且将分割后的每个碎片保存成一个文件。碎片文件的命名类似“xx00”&#xff0c;“xx01”。csplit命令是split的一个变体&#xff0c;split只…...

React 组件的3大属性: state

state 一、理解二、用途三、使用3.1、类初始化3.2、函数初始化 四、状态读更4.1、组件内部状态管理和数据更新4.2、state 和 props 一起使用 一、理解 组件被称为"状态机", 页面的显示是根据组件的state 属性的数据来显示。 state 是一个用于存储和管理组件内部数据的…...

vscode 上传项目到gitlab

第一步初始化项目 如果没有创建过分支&#xff08;创建分支这里不记录&#xff09;&#xff0c;默认是master分支&#xff1a; ①将所需要的上传的文件添加到暂存区&#xff0c;如图&#xff1a; ②填写一下注释信息&#xff0c;将暂存区的文件上传到本地分支&#xff08;没有创…...

[羊城杯 2020] easyphp

打开题目&#xff0c;源代码 <?php$files scandir(./); foreach($files as $file) {if(is_file($file)){if ($file ! "index.php") {unlink($file);}}}if(!isset($_GET[content]) || !isset($_GET[filename])) {highlight_file(__FILE__);die();}$content $_GE…...

QT 常用类与组件

0 思维导图 1 信息调试类&#xff08;QDebug&#xff09; #include "widget.h" #include<iostream> //printf #include<QDebug> //qDebuf using namespace std; //coutWidget::Widget(QWidget *parent): QWidget(parent) {//输出函数//使用…...

C#控制台连接Mysql数据库,有配置数据库连接字符串的配置文件

C#控制台连接Mysql数据库&#xff0c;有配置数据库连接字符串的配置文件 实现功能 读取..txt 中的配置文件&#xff0c;来初始化连接字符串让连接字符串的配置文件不存在会主动创建默认的连接字符串 注意点&#xff1a; 需要引用Newtonsoft使用mysql 代码如下 using Syst…...

PowerBuilder连接SQLITE3

PowerBuilder,一个古老的IDE,打算陆续发些相关的,也许还有人需要,内容可能涉及其他作者,但基本都是基于本人实践整理,如涉及归属,请联系. SQLite,轻型数据库,相对与PowerBuilder来说是个新事务,故发数来,以供参考. PB中使用OLE Microsoft OLE DB方式进行连接,如下 // Profile…...

Git 基本原理和常用操作

Git Git 是一个开源的分布式版本控制系统&#xff0c;可以有效、高速地处理从很小到非常大的项目版本管理。由 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开源的版本控制软件。 Git 常用操作 git 提交流程&#xff1a;工作区 -> git add 到暂存区 -> gi…...

单元测试和集成测试的区别

单元测试和集成测试是软件开发中常用的两种测试方法&#xff0c;它们的主要区别如下&#xff1a; 范围不同&#xff1a;单元测试关注于对软件中的最小功能单元进行测试&#xff0c;通常是对独立的函数、方法或类进行测试。而集成测试则更加综合&#xff0c;涉及多个模块、组件或…...

node基础概念

前言&#xff1a;可以让别人访问我们的网页&#xff0c;可以开发服务端应用、工具类应用、桌面端应用&#xff08;electron&#xff09; 1. 计算机基础 概念&#xff1a;CPU 内存 硬盘 主板 显卡 2. 进程和线程 概念&#xff1a;进程是一个程序的执行&#xff0c;线程组合形…...

ArcGIS Maps SDK for JS(二):MapView简介----创建2D地图

文章目录 1 AMD 引用 ArcGIS Maps SDK for JavaScript2 加载相应模块3 创建地图4 创建 2D 视图 view5 确定页面内容6 CSS 样式7 完整代码 本教程使用 AMD 模块&#xff0c;指导您如何在二维地图视图中创建一个简单的地图。 1 AMD 引用 ArcGIS Maps SDK for JavaScript 在 <…...

知识图谱推理研究综述9.3

综述分类 根据样本量大小的不同&#xff0c;将知识图谱推理方法分为多样本推理、少样本推理和零与单样本推理 KG定义&#xff1a;&#xff08;Y&#xff09; 知识图谱是以图的形式表示真实世界的实体与关系之间关系的知识库。 具体来说知识图谱是通过将应用数学、图形学、信…...

详细介绍c++中的类

C 中的类是面向对象编程的基本概念&#xff0c;它指的是一种能够封装数据和方法的用户定义数据类型。类是程序中一个重要的概念&#xff0c;它允许程序员通过定义类来实现代码复用、模块化和继承等特性。 C 中的类由以下部分组成&#xff1a; Data members&#xff1a;成员变量…...

【WiFi帧结构】

文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成&#xff1a;MAC头部frame bodyFCS&#xff0c;其中MAC是固定格式的&#xff0c;frame body是可变长度。 MAC头部有frame control&#xff0c;duration&#xff0c;address1&#xff0c;address2&#xff0c;addre…...

vscode(仍待补充)

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh&#xff1f; debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序

一、开发准备 ​​环境搭建​​&#xff1a; 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 ​​项目创建​​&#xff1a; File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...

linux arm系统烧录

1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 &#xff08;忘了有没有这步了 估计有&#xff09; 刷机程序 和 镜像 就不提供了。要刷的时…...

【HTTP三个基础问题】

面试官您好&#xff01;HTTP是超文本传输协议&#xff0c;是互联网上客户端和服务器之间传输超文本数据&#xff08;比如文字、图片、音频、视频等&#xff09;的核心协议&#xff0c;当前互联网应用最广泛的版本是HTTP1.1&#xff0c;它基于经典的C/S模型&#xff0c;也就是客…...

算法笔记2

1.字符串拼接最好用StringBuilder&#xff0c;不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...

Java 二维码

Java 二维码 **技术&#xff1a;**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

Java求职者面试指南:Spring、Spring Boot、MyBatis框架与计算机基础问题解析

Java求职者面试指南&#xff1a;Spring、Spring Boot、MyBatis框架与计算机基础问题解析 一、第一轮提问&#xff08;基础概念问题&#xff09; 1. 请解释Spring框架的核心容器是什么&#xff1f;它在Spring中起到什么作用&#xff1f; Spring框架的核心容器是IoC容器&#…...

Ubuntu Cursor升级成v1.0

0. 当前版本低 使用当前 Cursor v0.50时 GitHub Copilot Chat 打不开&#xff0c;快捷键也不好用&#xff0c;当看到 Cursor 升级后&#xff0c;还是蛮高兴的 1. 下载 Cursor 下载地址&#xff1a;https://www.cursor.com/cn/downloads 点击下载 Linux (x64) &#xff0c;…...

Linux中《基础IO》详细介绍

目录 理解"文件"狭义理解广义理解文件操作的归类认知系统角度文件类别 回顾C文件接口打开文件写文件读文件稍作修改&#xff0c;实现简单cat命令 输出信息到显示器&#xff0c;你有哪些方法stdin & stdout & stderr打开文件的方式 系统⽂件I/O⼀种传递标志位…...