Linux学习记录——사십 高级IO(1)
文章目录
- 1、IO
- 2、同、异步IO(5种IO类型)
- 3、其它高级IO
- 4、非阻塞IO
其它IO类型的实现在这篇之后的三篇
1、IO
input,output。调用read或recv接口时,如果对方长时间不向我方接收缓冲区拷贝数据,我们的进程就只能阻塞,这是读取条件不满足。阻塞的时间成本最后会体现在用户上。因此可以说,IO = 等 + 数据拷贝。高效IO则是单位事件内,等的比重越低,IO效率越高。
可以看出IO是有条件的,满足条件就叫IO时间就绪。
IO有五种模型
2、同、异步IO(5种IO类型)
调用读取用的接口后,对于有自己的接收缓冲区,有5种IO方式
阻塞IO:如果缓冲区内没有好数据,系统调用就一直阻塞等待,不做别的事情,直到准备好数据,才开始读取并返回。所有的套接字默认都是阻塞IO。
非阻塞IO:单次检验缓冲区内没有数据,recv函数就返回EWOULDBLOCK,每隔一段时间再调用recv接口来查看缓冲区,如果有就读取并返回数据,没有就还返回上面的。这也就是非阻塞轮询。
阻塞与非阻塞的区别在于等的方式不同,不过都要自己去拷贝数据。非阻塞在没得到结果前就不阻塞当前进程,直接返回,过一会再来查看;阻塞就是一直阻塞等待,直到读取数据再返回。
上面两个等的方式不同,但拷贝方式相同。
信号驱动IO:缓冲区内有数据时,就发送SIGIO信号通知上层调用接口来读取。信号是告知上层什么时候可以读取的,接口是在信号处理了之后才调用的。
recv函数调用后会先检测有没有数据,也就是条件检测,没有返回,有才读取再返回。像这样的接口只使用一个文件描述符。
多路复用/多路转接IO:执行一个进程,传多个文件描述符,调用多个接口来等待数据,进程只负责等待数据,等到有了数据,也就是IO条件就绪,就通知上层调用recv接口来读取并返回。
多路复用IO是效率最高的,因为并不只是一个进程在等,而是很多个进程在等,那么等待成功的可能性就更高。单个进程等待的概率和多个进程等待的概率相比。
上面4个都是同步IO。
异步IO:不参与等待过程,只是发起一个进程,给一个缓冲区来接收数据。至于结果怎么样,由操作系统来决定。多路复用是进程在等待,异步IO是系统在等待。
两种IO方式的区别是有没有参与等以及读取的过程。实际上,对应到系统,应当是一个进程通过特定的文件描述符,等待IO事件就绪,通过系统调用来读取数据拷贝到上层。
recv函数就是在做条件检测,条件通过再读取。
3、其它高级IO
记录锁、系统V流机制。存储映射IO(mmap),readv和writev函数等
4、非阻塞IO
int main()
{char buffer[64];while(true){printf(">>> ");fflush(stdout);ssize_t n = read(0, buffer, sizeof(buffer) - 1);if(n > 0){buffer[n - 1] = 0;std::cout << "echo# " << buffer << std::endl;}}
}
这就是一个等待的过程,如果我们不输入,就一直卡在read那里。这是阻塞,如果要变成非阻塞,用fcntl接口。
#include <fcntl.h>
int fcntl(int fd, int cmd, …/* arg */);
cmd值有5种
复制一个现有的描述符(cmd=F_DUPFD)
获得/设置文件描述符标记(cmd=F_GETFD或F_SETFD)
获得/设置文件状态标记(cmd=F_GETFL或F_SETFL)//GET获得文件状态标记位,SET设置这个文件新的状态
获得/设置异步I/O所有权(cmd=F_GETOWN或F_SETOWN)
获得/设置记录锁(cmd=F_GETLK,F_SETLK或F_SETLKW)
void SetNonBlock(int fd) {int fl = fcntl(fd, F_GETFL);//使用F_GETFL将当前的文件描述符的属性取出来(这是一个位图)if (fl < 0) {perror("fcntl");return; }fcntl(fd, F_SETFL, fl | O_NONBLOCK);//然后再使用F_SETFL将文件描述符设置回去. 设置回去的同时, 加上一个O_NONBLOCK参数
}
非阻塞和阻塞都是文件的读取方式,在文件结构体中就是一个变量设为1或0,这里的O_NONBLOCK是宏,只有一个比特位,通过fcntl将这个数设置进文件结构体。
#include <iostream>
#include <fcntl.h>
#include <unistd.h>
#include <cstdio>
#include <cstring>void SetNonBlock(int fd)
{int fl = fcntl(fd, F_GETFL);//使用F_GETFL将当前的文件描述符的属性取出来(这是一个位图)if (fl < 0){std::cerr << "error string: " << strerror(errno) << " error code: " << errno << std::endl;return ;}fcntl(fd, F_SETFL, fl | O_NONBLOCK);//然后再使用F_SETFL将文件描述符设置回去. 设置回去的同时, 加上一个O_NONBLOCK参数
}int main()
{char buffer[64];//SetNonBlock(0);//0表示非阻塞while(true){printf(">>> ");fflush(stdout);ssize_t n = read(0, buffer, sizeof(buffer) - 1);if(n > 0){buffer[n - 1] = 0;std::cout << "echo# " << buffer << std::endl;}else if(n == 0){std::cout << "end file" << std::endl;break;} else{std::cout << "read error??" << std::endl;break;} }
}
不设置成0,就是阻塞。read那里不是0而是4,当前没有打开文件描述符为4的文件,就会read error。加上错误原因
else{std::cerr << "read error?" << "error string: " << strerror(errno) << " error code: " << errno << std::endl;break;}
现在再用上SetNonBlock,设置为0,那么即使不输入,也会出错,因为它不阻塞,直接去判断,没输入也没读取完,所以就打印错误语句
那么这里就在每一次循环后sleep一会。只有在输入时才会打印正常语句,不输入就一直打印错误语句。非阻塞IO在底层没有数据时,就以出错形式返回,不过不算正式地出错。
区分一下
else{if(errno == EAGAIN || errno == EWOULDBLOCK)//也就是错误码为11的两个,表示非阻塞式的出错返回{//底层数据没有准备好,下次继续检测sleep(1);std::cout << "data not ready" << std::endl;continue;}else if(errno == EINTR){//这次IO被信号中断,需要重新读取continue;}std::cerr << "read error? " << "error string: " << strerror(errno) << " error code: " << errno << std::endl;break;}
非阻塞IO在没有得到数据之前,可以做别的工作,模拟一下:
#include <iostream>
#include <unistd.h>
#include <fcntl.h>
#include <cstdio>
#include <cstring>
#include <vector>
#include <functional>void PrintLog()
{std::cout << "这个是一个日志例程" << std::endl;
}void OpenMysql()
{std::cout << "这个是一个操作数据库的例程" << std::endl;
}void CheckNet()
{std::cout << "这个是一个检测网络状态的例程" << std::endl;
}using func_t = std::function<void (void)>;
std::vector<func_t> funcs;void LoadTask()
{funcs.push_back(PrintLog);funcs.push_back(OpenMysql);funcs.push_back(CheckNet);
}void HandlerAllTask()
{for(const auto& func: funcs) func();
}void SetNonBlock(int fd)
{int fl = fcntl(fd, F_GETFL);//使用F_GETFL将当前的文件描述符的属性取出来(这是一个位图)if (fl < 0){std::cerr << "error string: " << strerror(errno) << " error code: " << errno << std::endl;return ;}fcntl(fd, F_SETFL, fl | O_NONBLOCK);//然后再使用F_SETFL将文件描述符设置回去. 设置回去的同时, 加上一个O_NONBLOCK参数
}int main()
{char buffer[64];SetNonBlock(0);//0表示非阻塞LoadTask();while(true){printf(">>> ");fflush(stdout);ssize_t n = read(0, buffer, sizeof(buffer) - 1);if(n > 0){buffer[n - 1] = 0;std::cout << "echo# " << buffer << std::endl;}else if(n == 0){std::cout << "end file" << std::endl;break;}else{if(errno == EAGAIN || errno == EWOULDBLOCK)//也就是错误码为11的两个,表示非阻塞式的出错返回{//底层数据没有准备好,下次继续检测HandlerAllTask();sleep(1);std::cout << "data not ready" << std::endl;continue;}else if(errno == EINTR){//这次IO被信号中断,需要重新读取continue;}std::cerr << "read error? " << "error string: " << strerror(errno) << " error code: " << errno << std::endl;break;}sleep(3); }
}
本篇gitee
结束。
相关文章:

Linux学习记录——사십 高级IO(1)
文章目录 1、IO2、同、异步IO(5种IO类型)3、其它高级IO4、非阻塞IO 其它IO类型的实现在这篇之后的三篇 1、IO input,output。调用read或recv接口时,如果对方长时间不向我方接收缓冲区拷贝数据,我们的进程就只能阻塞&a…...
【代码随想录】2
数组篇 二分查找 int search(int* nums, int numsSize, int target) { int left0; int rightnumsSize-1; while(left<right) {int mlddle(leftright)/2;if(nums[mlddle]>target){rightmlddle-1;}else if(nums[mlddle]<target){leftmlddle1;}else{return mlddle;}} r…...
TCP性能分析
ref: TCP性能和发送接收窗口、Buffer的关系 | plantegg...

RibbonGroup 添加QRadioButton
RibbonGroup添加QRadioButton: QRadioButton * pRadio new QRadioButton(tr("Radio")); pRadio->setToolTip(tr("Radio")); groupClipboard->addWidget(pRadio); connect(pRadio, SIGNAL(clicked(…...
一篇文章掌握WebService服务、工作原理、核心组件、主流框架
目录 1、WebService定义 解决问题: 2、WebService的工作原理 2.1 实现一个完整的Web服务包括以下步骤 2.2 调用方式 3、Web Service的核心组件 3.1 XML 3.2 SOAP 3.3 WSDL 3.4 UDDI 4、主流框架 4.1 AXIS(已淘汰) 4.2 XFire 4.3 CXF 5、Soap协议详解…...

观成科技-加密C2框架EvilOSX流量分析
工具简介 EvilOSX是一款开源的,由python编写专门为macOS系统设计的C2工具,该工具可以利用自身释放的木马来实现一系列集成功能,如键盘记录、文件捕获、浏览器历史记录爬取、截屏等。EvilOSX主要使用HTTP协议进行通信,通信内容为特…...

PCL 计算异面直线的距离
目录 一、算法原理二、代码实现三、结果展示四、相关链接本文由CSDN点云侠原创,PCL 计算异面直线的距离,爬虫自重。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫与GPT。 一、算法原理 设置直线 A B AB A...

【数字人】9、DiffTalk | 使用扩散模型基于 audio-driven+对应人物视频 合成说话头(CVPR2023)
论文:DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation 代码:https://sstzal.github.io/DiffTalk/ 出处:CVPR2023 特点:需要音频对应人物的视频来合成新的说话头视频,嘴部抖…...

完成源示例
本主题演示如何创作和使用自己的完成源类,类似于 .NET 的 TaskCompletionSource。 completion_source 示例的源代码 下面的列表中的代码作为示例提供。 其目的是说明如何编写自己的版本。 例如,支持取消和错误传播不在此示例的范围内。 #include <w…...
业务和流程的关系
背景 概念不清,沟通就容易出现问题,最可怕会出现跑偏情况如何解决,数字化落地过程,程序是死的,最怕灵活,所以在沟通和编码,设计中,很重要的一点就是解决概念,澄清问题&a…...

【河海大学论文LaTeX+VSCode全指南】
河海大学论文LaTeXVSCode全指南 前言一、 LaTeX \LaTeX{} LATEX的安装二、VScode的安装三、VScode的配置四、验证五、优化 前言 LaTeX \LaTeX{} LATEX在论文写作方面具有传统Word无法比拟的优点,VScode作为一个轻量化的全功能文本编辑器,由于其极强的…...

学习python仅此一篇就够了(文件操作:读,写,追加)
python文件操作 文件编码 编码技术即:翻译的规则,记录了如何将内容翻译成二进制,以及如何将二进制翻译回可识别内容。 计算机中有许多可用编码: UTF-8 GBK BUG5 文件的读取操作 open()函数 在pyth…...
vue中 ref 和 $refs的使用
1. 作用 利用 ref 和 $refs 可以用于 获取 dom 元素, 或 组件实例 2. 获取 dom 使用步骤: 2.1 目标标签添加属性 :ref <div ref"chartRef">我是渲染图表的容器</div>2.2 通过$ref:获取标签 mounted() {console.log(this.$re…...

Centos7升级openssl到openssl1.1.1
Centos7升级openssl到openssl1.1.1 1、先查看openssl版本:openssl version 2、Centos7升级openssl到openssl1.1.1 升级步骤 #1、更新所有现有的软件包列表并安装最新的软件包: $sudo yum update #2、接下来,我们需要从源代码编译和构建OpenS…...

uniapp中实现H5录音和上传、实时语音识别(兼容App小程序)和波形可视化
文章目录 Recorder-UniCore插件特性集成到项目中调用录音上传录音ASR语音识别 在uniapp中使用Recorder-UniCore插件可以实现跨平台录音功能,uniapp自带的recorderManager接口不支持H5、录音格式和实时回调onFrameRecorded兼容性不好,用Recorder插件可避免…...

HashMap集合万字源码详解(面试常考)
文章目录 HashMap集合1.散列2.hashMap结构3.继承关系4.成员变量5.构造方法6.成员方法6.1增加方法6.2将链表转换为红黑树的treeifyBin方法6.3扩容方法_resize6.3.1扩容机制6.3.2源码resize方法的解读 6.4 删除方法(remove)6.5查找元素方法(get)6.6遍历HashMap集合几种方式 7.初始…...
LeetCode1124. Longest Well-Performing Interval
文章目录 一、题目二、题解 一、题目 We are given hours, a list of the number of hours worked per day for a given employee. A day is considered to be a tiring day if and only if the number of hours worked is (strictly) greater than 8. A well-performing in…...

如何使用手机公网远程访问本地群辉Video Station中视频文件【内网穿透】
最近,我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念,而且内容风趣幽默。我觉得它对大家可能会有所帮助,所以我在此分享。点击这里跳转到网站。 文章目录 1.使用环境要求:2.下载群晖videostation&am…...

事件分析应急响应-Server2229(环境+解析)
任务环境说明: 服务器场景:Server2229(开放链接)用户名:root,密码:...

SpringCloud:微服务
文章目录 微服务服务架构演变单例架构(集中式架构)分布式架构 微服务SpringCloud 微服务 服务架构演变 单例架构(集中式架构) 单例架构: 将业务的所有功能集中在一个项目中开发,打成一个包部署 优点&…...

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式
一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明:假设每台服务器已…...
uniapp 对接腾讯云IM群组成员管理(增删改查)
UniApp 实战:腾讯云IM群组成员管理(增删改查) 一、前言 在社交类App开发中,群组成员管理是核心功能之一。本文将基于UniApp框架,结合腾讯云IM SDK,详细讲解如何实现群组成员的增删改查全流程。 权限校验…...
三维GIS开发cesium智慧地铁教程(5)Cesium相机控制
一、环境搭建 <script src"../cesium1.99/Build/Cesium/Cesium.js"></script> <link rel"stylesheet" href"../cesium1.99/Build/Cesium/Widgets/widgets.css"> 关键配置点: 路径验证:确保相对路径.…...
Qwen3-Embedding-0.6B深度解析:多语言语义检索的轻量级利器
第一章 引言:语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域,文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量,支撑着搜索引擎、推荐系统、…...
在Ubuntu中设置开机自动运行(sudo)指令的指南
在Ubuntu系统中,有时需要在系统启动时自动执行某些命令,特别是需要 sudo权限的指令。为了实现这一功能,可以使用多种方法,包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法,并提供…...

k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN,根据VPN原理,打通两个内网必然需要借助一个公共中继节点,ktconnect工具巧妙的利用k8s原生的portforward能力,简化了建立连接的过程,apiserver间接起到了中继节…...

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台
🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型(LLM)的广泛应用,开发者常面临多个挑战: 各大模型(OpenAI、Claude、Gemini、Ollama)接口风格不统一;缺乏一个统一平台进行模型调用与测试;本地模型 Ollama 的集成与前…...
2023赣州旅游投资集团
单选题 1.“不登高山,不知天之高也;不临深溪,不知地之厚也。”这句话说明_____。 A、人的意识具有创造性 B、人的认识是独立于实践之外的 C、实践在认识过程中具有决定作用 D、人的一切知识都是从直接经验中获得的 参考答案: C 本题解…...

如何在网页里填写 PDF 表格?
有时候,你可能希望用户能在你的网站上填写 PDF 表单。然而,这件事并不简单,因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件,但原生并不支持编辑或填写它们。更糟的是,如果你想收集表单数据ÿ…...

HDFS分布式存储 zookeeper
hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架,允许使用简单的变成模型跨计算机对大型集群进行分布式处理(1.海量的数据存储 2.海量数据的计算)Hadoop核心组件 hdfs(分布式文件存储系统)&a…...