【在Linux世界中追寻伟大的One Piece】五种IO模型和阻塞IO
目录
1 -> 五种IO模型
1.1 -> 阻塞IO(Blocking IO)
1.2 -> 非阻塞IO(Non-blocking IO)
1.3 -> 信号驱动IO(Signal-Driven IO)
1.4 -> IO多路转接(IO Multiplexing)
1.5 -> 异步IO(Asynchronous IO)
2 -> 高级IO概念
2.1 -> 同步通信VS异步通信(synchronous communication/asynchronous communication)
2.2 -> 阻塞VS非阻塞
2.3 -> 非阻塞IO
2.3.1 -> fcntl函数
3 -> 实现函数SetNoBlock
4 -> 轮询方式读取标准输入

1 -> 五种IO模型
1.1 -> 阻塞IO(Blocking IO)
阻塞IO是一种同步IO模型,它是最基本的IO模型。在这种模型中,当一个线程调用read()或write()进行IO操作时,该线程被阻塞,即线程会暂停执行直到有数据被读取或数据完全写入。在此期间,线程不能执行其他操作。阻塞IO的特点是实现简单,但在高并发场景下,每个线程都可能长时间处于阻塞状态,导致系统资源利用率低下。
在阻塞IO模型中,如果应用程序尝试读取数据,而内核的缓冲区中没有数据可读,那么应用程序会阻塞等待,直到数据准备好。同样,如果应用程序尝试写入数据,但内核的缓冲区已满,写入操作也会阻塞,直到有空间可用。
阻塞IO通常用于连接数较少且每个连接都有大量数据交换的应用场景。在这种情况下,每个连接都可以由一个单独的线程处理,从而简化编程模型。
总的来说,阻塞IO是在内核将数据准备好之前,系统调用会一直等待。所有的套接字,默认都是阻塞方式。
阻塞IO是最常见的IO模型。

1.2 -> 非阻塞IO(Non-blocking IO)
非阻塞IO允许线程发起IO请求后立即返回,即使数据还没有准备好。在这种模式下,线程可以进行其他任务,而不是等待IO操作完成。如果数据准备好,线程可以继续执行IO操作;如果没有,线程可以轮询或执行其他任务。非阻塞IO适用于需要处理大量并发连接但每个连接的数据量不大的场景。
总的来说,如果内核还未将数据准备好,系统调用仍然会直接返回,并且返回EWOULDBLOCK错误码。非阻塞IO往往需要程序员循环的方式反复尝试读写文件描述符,这种过程称为轮询。这对CPU来说是较大的浪费,一般只有特定场景下才使用。

1.3 -> 信号驱动IO(Signal-Driven IO)
信号驱动IO(Signal-Driven IO)是一种IO模型,它允许应用程序在数据准备好时通过信号来处理IO事件。在这种模型中,当用户线程发起一个IO请求操作时,会给对应的socket注册一个信号函数,然后用户线程会继续执行。当内核数据就绪时,会发送一个信号给用户线程,用户线程接收到信号之后,便在信号函数中调用IO读写操作来进行实际的IO请求操作。
信号驱动IO特别适合于UDP套接字,因为在UDP中,SIGIO信号会在数据报到达套接字或套接字上发生错误时产生。这样,应用程序可以在信号处理函数中读取数据,而不需要不断轮询。
在TCP套接字中,SIGIO信号的使用并不常见,因为TCP是双工的,信号产生得过于频繁,并且信号的出现并没有告诉我们发生了什么事情。因此,对于TCP套接字,SIGIO信号的使用是有限的。
总的来说,信号驱动IO是内核将数据准备好的时候,使用SIGIO信号通知应用程序进行IO操作。

1.4 -> IO多路转接(IO Multiplexing)
IO多路转接是一种网络编程技术,它允许一个或多个进程使用单个或少量的线程高效地管理多个网络连接。这种技术通过内核提供的系统调用来实现,内核会监视多个文件描述符,当这些文件描述符上的IO事件(如可读、可写)准备就绪时,内核会通知应用程序。这样,应用程序就可以在同一个线程中同时处理多个网络连接,而不是为每个连接创建一个新的线程,从而提高了程序的并发处理能力和系统资源的利用率。
在Linux系统中,常见的IO多路转接技术包括select、poll和epoll。这些技术在处理大量并发连接时非常有用,尤其是在构建高性能的服务器应用程序时。
虽然从流程图上看起来和阻塞IO类似。实际上最核心在于IO多路转接能够同时等待多个文件描述符的就绪状态。

1.5 -> 异步IO(Asynchronous IO)
异步IO(Asynchronous IO)是一种IO处理模式,它允许应用程序在发起一个IO操作后立即继续执行其他任务,而不需要等待IO操作的完成。在异步IO模型中,当应用程序发起一个IO请求时,它会立即返回,应用程序可以继续处理其他任务。一旦IO操作完成,系统会通过某种机制通知应用程序,应用程序可以在适当的时候处理IO操作的结果。这种模型可以显著提高程序的并发处理能力和系统资源的利用率,尤其是在处理大量并发IO请求时。
总的来说,异步IO是由内核在数据拷贝完成时,通知应用程序(而信号驱动是告诉应用程序何时可以开始拷贝数据)。

任何IO过程中,都包含两个步骤。第一是等待,第二是拷贝。而且在实际的应用场景中,等待消耗的时间往往都远远高于拷贝的时间。让IO更高效,最核心的办法就是让等待的时间尽量少。
2 -> 高级IO概念
高级IO涉及到文件的IO操作,它包括多种技术,如非阻塞IO、记录锁、IO多路转接、异步IO和存储映射等。这些技术通常依赖于文件描述符(fd)和fcntl函数的支持,用于提高文件IO操作的效率和灵活性。
2.1 -> 同步通信VS异步通信(synchronous communication/asynchronous communication)
同步和异步关注的是消息通信机制。
- 所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回. 但是一旦调用返回,就得到返回值了;换句话说,就是由调用者主动等待这个调用的结果。
- 异步则是相反,调用在发出之后,这个调用就直接返回了,所以没有返回结果;换句话说,当一个异步过程调用发出后,调用者不会立刻得到结果;而是在调用发出后,被调用者通过状态、通知来通知调用者,或通过回调函数处理这个调用。
这里的同步通信和进程之间的同步是完全不相干的概念。
- 进程/线程同步也是进程/线程之间直接的制约关系。
- 是为完成某种任务而建立的两个或多个线程,这个线程需要在某些位置上协调他们的工作次序而等待、传递信息所产生的制约关系。尤其是在访问临界资源的时候。
2.2 -> 阻塞VS非阻塞
阻塞和非阻塞关注的是程序在等待调用结果(消息、返回值)时的状态。
- 阻塞调用是指调用结果返回之前,当前线程会被挂起。调用线程只有在得到结果之后才会返回。
- 非阻塞调用指在不能立刻得到结果之前,该调用不会阻塞当前线程。
2.3 -> 非阻塞IO
2.3.1 -> fcntl函数
fcntl(file control)是一个在UNIX和类UNIX操作系统中用于文件描述符控制的系统调用。它提供了多种功能,包括复制文件描述符、设置文件状态标志、管理文件锁定以及设置文件描述符的异步I/O通知等。fcntl函数的原型通常如下:
#include <unistd.h>
#include <fcntl.h>int fcntl(int fd, int cmd, ... /* arg */ );
其中,fd是要操作的文件描述符,cmd是一个指示要执行的操作的命令,arg是一个可选参数,具体取决于cmd的值。fcntl函数可以接受不同的命令来执行不同的操作,例如:
- F_DUPFD:复制文件描述符。
- F_GETFD 和 F_SETFD:获取和解析文件描述符的标志。
- F_GETFL 和 F_SETFL:获取和解析文件状态标志,如O_NONBLOCK(非阻塞模式)。
- F_GETLK、F_SETLK 和 F_SETLKW:获取、设置和尝试设置记录锁。
- F_GETOWN 和 F_SETOWN:获取和解析接收SIGIO信号的进程ID或进程组ID。
fcntl函数在文件IO操作中非常有用,尤其是在需要对文件描述符进行精细控制时,如设置文件为非阻塞模式或管理多进程对同一文件的并发访问。在网络编程中,fcntl也常用于设置文件描述符的异步通知,允许进程在IO事件发生时接收信号,而不是轮询检查。
3 -> 实现函数SetNoBlock
基于fcntl,我们实现一个SetNoBlock函数,将文件描述符设置为非阻塞。
void SetNoBlock(int fd)
{int fl = fcntl(fd, F_GETFL);if (fl < 0) {perror("fcntl");return;}fcntl(fd, F_SETFL, fl | O_NONBLOCK);
}
- 使用F_GETFL将当前的文件描述符的属性取出来(这是一个位图)。
- 然后再使用F_SETFL将文件描述符设置回去。设置回去的同时,加上一个O_NONBLOCK参数。
4 -> 轮询方式读取标准输入
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>void SetNoBlock(int fd)
{int fl = fcntl(fd, F_GETFL);if (fl < 0) {perror("fcntl");return;}fcntl(fd, F_SETFL, fl | O_NONBLOCK);
}int main()
{SetNoBlock(0);while (1) {char buf[1024] = { 0 };ssize_t read_size = read(0, buf, sizeof(buf) - 1);if (read_size < 0) {perror("read");sleep(1);continue;}printf("input:%s\n", buf);}return 0;
}
感谢各位大佬支持!!!
互三啦!!!
相关文章:
【在Linux世界中追寻伟大的One Piece】五种IO模型和阻塞IO
目录 1 -> 五种IO模型 1.1 -> 阻塞IO(Blocking IO) 1.2 -> 非阻塞IO(Non-blocking IO) 1.3 -> 信号驱动IO(Signal-Driven IO) 1.4 -> IO多路转接(IO Multiplexing) 1.5 -> 异步IO(Asynchronous IO) 2 -> 高级IO概念 2.1 -> 同步通信VS异步通信…...
nginx实现权重机制(nginx基础配置二)
在上一篇文章中我们已经完成了对轮询机制的测试,详情请看轮询机制。 接下来我们进行权重机制的测试 一、conf配置 upstream backServer{ server 127.0.0.1:8080 weight2; server 127.0.0.1:8081 weight1; } server { listen 80; server_name upstream.boyatop.cn…...
华为的仓颉和ArkTS这两门语言有什么区别
先贴下官网: ArkTs官网 仓颉官网 ArkTS的官网介绍说,ArkTS是TypeScript的进一步强化版本,简单来说就是包含了TS的风格,但是做了一些改进。 了解TypeScript的朋友都应该知道,其实TypeScript就是JavaScript的改进版本&…...
(SERIES10)DM逻辑备份还原
1 概念 逻辑备份还原是对数据库逻辑组件(如表、视图和存储过程等数据库对象)的备份还原。逻辑导出(dexp)和逻辑导入(dimp)是 DM 数据库的两个命令行工具,分别用来实现对 DM 数据库的逻辑备份和逻…...
Java零基础-StringBuilder类详解
哈喽,各位小伙伴们,你们好呀,我是喵手。运营社区:C站/掘金/腾讯云/阿里云/华为云/51CTO;欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点,并以文字的形式跟大家一起交流,互…...
免费爬虫软件“HyperlinkCollector超链采集器v0.1”
HyperlinkCollector超链采集器单机版v0.1 软件采用python的pyside2和selenium开发,暂时只支持window环境,抓取方式支持普通程序抓取和selenium模拟浏览器抓取。软件遵守robots协议。 首先下载后解压缩,然后运行app目录下的HyperlinkCollector.exe 运行…...
OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案
在第二届拯救者杯OPENAIGC开发者大赛中,涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到,我们特意开设了优秀作品报道专栏,旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者,希望能带给您…...
k8s(kubernetes)的PV / PVC / StorageClass(理论+实践)
NFS总是不支持PVC扩容 先来个一句话总结:PV、PVC是K8S用来做存储管理的资源对象,它们让存储资源的使用变得可控,从而保障系统的稳定性、可靠性。StorageClass则是为了减少人工的工作量而去自动化创建PV的组件。所有Pod使用存储只有一个原则&…...
前端Excel热成像数据展示及插值算法
🎬 江城开朗的豌豆:个人主页 🔥 个人专栏:《 VUE 》 《 javaScript 》 📝 个人网站 :《 江城开朗的豌豆🫛 》 ⛺️生活的理想,就是为了理想的生活! 目录 📘 前言 📘一、热成像数…...
VBA_NZ系列工具NZ01: VBA二维码应用技术
我的教程一共九套及VBA汉英手册一部,分为初级、中级、高级三大部分。是对VBA的系统讲解,从简单的入门,到数据库,到字典,到高级的网抓及类的应用。大家在学习的过程中可能会存在困惑,这么多知识点该如何组织…...
小明震惊OpenAI 的新模型 01
在硅谷的中心,繁忙的咖啡馆和创业中心周围,年轻的软件工程师小明坐在他的办公桌前,面露困惑。科技界一直在盛传一项新的AI突破,但他持怀疑态度,不敢抱太大希望。他认为AI泡沫即将破灭,炒作列车即将出轨&…...
Clickhouse使用笔记
clickhouse官方文档:https://clickhouse.com/docs/zh/sql-reference/data-types/decimal 一,建表 create table acitivity_user_record ( id String DEFAULT generateUUIDv4(), -- 主键自增 activityId String, userId String, userName Nullable(Strin…...
基于高通主板的ARM架构服务器
一、ARM架构服务器的崛起 (一)市场需求推动 消费市场寒冬,全球消费电子需求下行,服务器成半导体核心动力之一。Arm 加速布局服务器领域,如 9 月推出 Neoverse V2。长久以来,x86 架构主导服务器市场&#…...
AV1 Bitstream Decoding Process Specification--[2]:符号和缩写术语
原文地址:https://aomediacodec.github.io/av1-spec/av1-spec.pdf没有梯子的下载地址:AV1 Bitstream & Decoding Process Specification摘要:这份文档定义了开放媒体联盟(Alliance for Open Media)AV1视频编解码器…...
【Python爬虫系列】_022.异步文件操作aiofiles
课 程 推 荐我 的 个 人 主 页:👉👉 失心疯的个人主页 👈👈入 门 教 程 推 荐 :👉👉 Python零基础入门教程合集 👈👈虚 拟 环 境 搭 建 :👉👉 Python项目虚拟环境(超详细讲解) 👈👈PyQt5 系 列 教 程:👉👉 Python GUI(PyQt5)文章合集 👈👈...
GD32E230 RTC报警中断功能使用
GD32E230 RTC报警中断使用 GD32E230 RTC时钟源有3个,一个是内部RC振动器产生的40KHz作为时钟源,或者是有外部32768Hz晶振.,或者外部高速时钟晶振分频作为时钟源。 🔖个人认为最难理解难点的就是有关RTC时钟异步预分频和同步预分频的计算。在对…...
C/C++语言基础--从C到C++的不同(上)
本专栏目的 更新C/C的基础语法,包括C的一些新特性 前言 之前更新的C语言,感谢大家的点赞收藏关注,接下来我们逐步也开始更新C;C语言后面也会继续更新知识点,如内联汇编;本人现在正在写一个C语言的图书管理系…...
自动驾驶自动泊车场景应用总结
自动泊车技术是当前智能驾驶技术的一个重要分支,其目标是通过车辆自身的感知、决策和控制系统,实现车辆在有限空间内的自主泊车操作。目前自动泊车可分为半自动泊车、全自动泊车、记忆泊车、自主代客泊车四种产品形态,其中, 根据搭载传感器和使用场景的不同,全自动泊车又可…...
redis常见的数据类型?
参考:一文读懂Redis五种数据类型及应用场景 - 知乎 (zhihu.com) String 类型 String 类型:Redis 最基本的数据类型,它是二进制安全的,意味着你可以用它来存储任何类型的数据,如图片、序列化对象等。使用场景ÿ…...
TCP Analysis Flags 之 TCP ZeroWindow
前言 默认情况下,Wireshark 的 TCP 解析器会跟踪每个 TCP 会话的状态,并在检测到问题或潜在问题时提供额外的信息。在第一次打开捕获文件时,会对每个 TCP 数据包进行一次分析,数据包按照它们在数据包列表中出现的顺序进行处理。可…...
stm32G473的flash模式是单bank还是双bank?
今天突然有人stm32G473的flash模式是单bank还是双bank?由于时间太久,我真忘记了。搜搜发现,还真有人和我一样。见下面的链接:https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会,其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具,对过去十年 WWDC 主题演讲内容进行了系统化分析,形成了这份…...
postgresql|数据库|只读用户的创建和删除(备忘)
CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时,发现没有set类的方法,只有get,那么要改变tree值,只能遍历treeData,递归修改treeData的checked,发现无法更改,原因在于check模式下,子元素的勾选状态跟父节…...
论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法(ISWC2024)
笔记整理:刘治强,浙江大学硕士生,研究方向为知识图谱表示学习,大语言模型 论文链接:http://arxiv.org/abs/2407.16127 发表会议:ISWC 2024 1. 动机 传统的知识图谱补全(KGC)模型通过…...
安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”(装配)
船舶制造装配管理现状:装配工作依赖人工经验,装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书,但在实际执行中,工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...
保姆级教程:在无网络无显卡的Windows电脑的vscode本地部署deepseek
文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama(有网络的电脑)2.2.3 安装Ollama(无网络的电脑)2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...
计算机基础知识解析:从应用到架构的全面拆解
目录 前言 1、 计算机的应用领域:无处不在的数字助手 2、 计算机的进化史:从算盘到量子计算 3、计算机的分类:不止 “台式机和笔记本” 4、计算机的组件:硬件与软件的协同 4.1 硬件:五大核心部件 4.2 软件&#…...
Python 训练营打卡 Day 47
注意力热力图可视化 在day 46代码的基础上,对比不同卷积层热力图可视化的结果 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pypl…...
spring Security对RBAC及其ABAC的支持使用
RBAC (基于角色的访问控制) RBAC (Role-Based Access Control) 是 Spring Security 中最常用的权限模型,它将权限分配给角色,再将角色分配给用户。 RBAC 核心实现 1. 数据库设计 users roles permissions ------- ------…...
