Java I/O模型发展以及Netty网络模型的设计思想

前言：
BIO、NIO的代码实践参考：Java分别用BIO、NIO实现简单的客户端服务器通信

I/O模型

• I/O：I和O指input和output，输入输出
• 通俗理解：用怎么样的通道进行数据的发送和接收
• 很大程度上决定程序通信的性能

Java共支持三种I/O模型：BIO，NIO，AIO

• BIO：同步阻塞，一个线程处理一个连接。只要有一个客户端连接到服务器就需要开一个线程。同一个线程的连接和读写操作会阻塞
• NIO：同步非阻塞，一个线程处理多个连接。实现方式是客户端的请求事件都会注册到多路复用器（selector）上面，多路复用器进行轮询处理
• AIO：异步非阻塞，引入异步通道概念，采用Proactor模式，有效请求事件才会启动线程，特点是先由操作系统完成后才通知服务器程序启动线程，适用于连接数多的长连接请求

Java BIO

流程：

1. 服务器启动一个ServerSocket
2. 客户端启动socket与服务器通信。服务器需要对每个客户端建立一个线程
3. 客户端发出请求后，先咨询服务器有无线程响应，没有则等待
4. 有响应，客户端会等待请求结束后再继续执行

Java NIO

主要概念：

1. 三大核心：Channel（通道），Buffer（缓冲区），Selector（多路复用器）
2. 非阻塞模式：一个线程从通道请求或读取数据时，它仅能得到能用的数据，无可用数据时，不会阻塞线程，可以继续做其他事情，非阻塞写也是一样，不需要等待写入
3. 通俗理解：NIO可以做到用一个线程处理多个操作，假设有10000个请求，实际可能只需要开50-100个线程，不像BIO一样必须分配10000个线程
4. HTTP2.0也使用了多路复用技术，做到了一个连接并发处理多个请求，数量比HTTP1.0大了好几个数量级

Channel（通道），Buffer（缓冲区），Selector（多路复用器）的关系：

1. 每个Channel对应一个Buffer
2. Selector对应一个线程，一个线程对应多个Channel
3. Selector根据不用事件，在各个通道上切换
4. Buffer是一个内存块，底层是数组，读写切换需要用flip()
5. Channel是双向的，可以返回底层操作系统的情况

Channel：

1. BIO的stream是单向的
2. Channel是双向的，可以读也可以写
3. 常见的Channel还有FileChannel，DatagramChannel，SocketChannel，ServerSocketChannel
4. FileChannel：文件读写
5. DatagramChannel：UDP读写
6. SocketChannel，ServerSocketChannel：TCP读写

NIO编程流程：

1. 服务器启动一个ServerSocket得到一个ServerSocketChannel
2. 创建一个服务器的Selector
3. ServerSocketChannel注册到Selector上，标记为连接事件，Selector监听该事件
4. 开始循环
5. Selector得到有事件的SelectorKey集合，并进行轮询
6. 使用SelectorKey上绑定的Channel进行业务处理（连接，读，写）

Java AIO

NIO Reactor网络模型

单Reactor单线程模型

方案：

1. Selector是网络编程API，可以实现应用程序对多路链接请求的处理
2. 服务器用一个多路复用器即一个Reactor监听所有的客户端的请求连接、读、写事件
3. 每次处理完连接，会创建一个Handler处理连接后的读写业务处理
4. Handler负责完成整个读、业务处理、写业务流程

优缺点：

1. 代码简单，只有一个线程，清晰明了
2. 客户端连接较多时，无法支撑
3. 一般的NIO实现样例就是用的这种模型（Java分别用BIO、NIO实现简单的客户端服务器通信）

单Reactor多线程模型

方案：

1. Selector是网络编程API，可以实现应用程序对多路链接请求的处理
2. 服务器用一个多路复用器即一个Reactor监听所有的客户端的请求连接、读、写事件
3. 每次处理完连接，会创建一个Handler处理连接后的读写业务处理
4. Handler只响应事件，读取数据，不做业务处理，分发给worker线程池里面的线程处理业务
5. worker线程池分配一个线程负责完成业务处理、回传等业务流程

优缺点：

1. 可以充分利用多核cpu处理能力
2. 多线程数据访问和共享比较复杂
3. Reactor同样是单线程，相比于单Reactor单线程模型性能好一些，但是高并发场景同样会遇到性能瓶颈

主从Reactor多线程模型

方案：

1. Reactor主线程和Reactor从线程，主线程负责处理连接事件，从线程负责处理读写事件
2. 主Reactor通过Acceptor处理完连接事件后，主Reactor把连接分给从Reactor处理
3. 从Reactor将连接的channel注册到Selector中进行监听，并创建各种Handler进行处理
4. Handler只响应事件，读取数据，不做业务处理，分发给worker线程池里面的线程处理业务
5. worker线程池分配一个线程负责完成业务处理、回传等业务流程

优缺点：

1. 主线程和从线程数据交互简单，职责明确
2. 能处理较大并发量
3. 编程复杂度较高

Netty通信框架

主要基于主从Reactor多线程模型，做了一定的改进，增加了Reactor线程池，可以多个主线程和多个从线程并发处理

Netty模型图（简单版）

Netty模型图（复杂版）

工作原理：

1. netty抽象出两种线程池BossGroup，WorkGroup，分别做连接事件多路复用和网络读写事件多路复用
2. BossGroup，WorkGroup都是NioEventLoopGroup
3. NioEventLoopGroup相当于事件循环组，组中有多个NioEventLoop事件循环
4. NioEventLoop表示一个不断循环的执行处理任务的线程，每个NioEventLoop都有一个多路复用器Selector
5. 每个BossGroup中的NioEventLoop执行步骤是： a. 轮询accept事件 b. 处理accept事件，与客户端建立连接，生成channel，并将其注册到某个WorkGroup中的NioEventLoop上的Selector c. 处理任务队列的任务，即runAllTask
6. 每个WorkGroup中的NioEventLoop执行步骤是： a. 轮询read,write事件 b. 处理read,write事件，主要是处理channel c. 处理任务队列的任务，即runAllTask
7. 每个WorkGroup中的NioEventLoop处理业务时，会使用pipeline管道，pipeline包含了channel，pipeline维护了很多handler处理器