【Linux取经路】文件系统之缓冲区
文章目录
- 一、先看现象
- 二、用户缓冲区的引入
- 三、用户缓冲区的刷新策略
- 四、为什么要有用户缓冲区
- 五、现象解释
- 六、结语
一、先看现象
#include <stdio.h>
#include <string.h>
#include <unistd.h>int main()
{const char* fstr = "Hello fwrite\n";const char* str = "Hello write\n";printf("Hello printf\n");fprintf(stdout, "Hello fprintf\n");fwrite(fstr, strlen(fstr), 1, stdout); // 返回值是写入成功的快数write(1, str, strlen(str)); // 返回值是写入成功的字节数// fork();return 0;
}
结构分析:带 fork 的输出重定向最终把有一些内容向 log.txt 文件中写入了多次,并且打印顺序也有所不同。
int main()
{const char* fstr = "Hello fwrite";const char* str = "Hello write";printf("Hello printf");fprintf(stdout, "Hello fprintf");fwrite(fstr, strlen(fstr), 1, stdout); // 返回值是写入成功的快数close(1);// write(1, str, strlen(str)); // 返回值是写入成功的字节数// fork();return 0;
}
结果分析:代码中只使用了库函数向显示器中进行写入,并且在字符串的结尾没有加 \n
,在最后面将标准输出对应的文件描述符进行了关闭,最终显示器上什么也没有。上一段代码在字符串的结尾加上了 \n
最终字符串被成功的打印到了屏幕上。
int main()
{const char* str = "Hello write";write(1, str, strlen(str)); // 返回值是写入成功的字节数close(1);return 0;
}
结果分析:字符串的结尾依然不加 \n
,但是这一次采用系统调用接口,最后仍然将标准输出对应的文件描述符进行关闭,这一次字符串被成功的打印了出来。
二、用户缓冲区的引入
write
为什么能将不带 \n
的字符串写入到显示器文件中。首先我们需要明确一点进程打开的每一个文件都有一个属于自己的操作系统级别的文件缓冲区,该缓冲区的存在,可以减少对外设的读写操作以提高计算机的效率。举个栗子,在一个进程中向磁盘里的同一个文件进多次行写入,文件缓冲区的存在,可以将每次写入的内容先存储在文件缓冲区中,最后在程序退出或者调用 close
的时候,一次性将文件缓冲区中的所有内容刷新到磁盘。如果没有该文件缓冲区,那在进程里对文件进行 n 次写操做,就要对应 n 次向磁盘的写操作,CPU 和外设之间是存在非常大的速度差的,这样效率会非常低。
write
作为系统调用接口,它就是直接向文件缓冲区中写入,最后在调用 close
接口或者程序退出的时候,会将文件缓冲区的内容刷新到对应的外设中。
printf
、fprintf
、fwrite
底层一定是封装了 write
系统调用接口,那为什么使用 write
系统调用接口就可以将字符串写入到显示器,使用 C 库函数没能把字符串写入到显示器文件?原因在进度条的那篇文章中讲过,我们使用的这些 C 库函数,是把字符串写入到了缓冲区中,这个缓冲区和上面的文件缓冲区有所不同,这里说的缓冲区是 C 语言给我们提供的语言层面的缓冲区,也叫做用户级缓冲区,\n
具有刷新用户级缓冲区的作用,因此不加 \n
并且在程序结束前将显示器对应的文件描述符进行了关闭,最终就导致字符串在用户级缓冲区中,没有被刷新到文件缓冲区,所以屏幕上就什么也没有。这里我们可以肯定,在这些 C 库函数中,并不是立即调用 write
接口,而是在遇到 \n
后才去调用 write
接口将用户缓冲区的内容刷新到文件缓冲区中。
总结:使用 C 系统调用接口向文件中写入,写入的内容先被存储在用户缓冲区中,在合适的时候(遇到 \n
)才会进行刷新,这里刷新的本质是调用 write
将数据从用户缓冲区写入内核。
之前说的 exit
会刷新缓冲区,其实就是刷新用户缓冲区,因为 exit
作为 C 库函数,可以看见用户缓冲区,而 _exit
作为系统调用接口,无法看到语言层面的用户缓冲区,因此也就无法刷新用户缓冲区。
三、用户缓冲区的刷新策略
-
无缓冲:直接刷新,数据不在用户缓冲区中停留。
-
行缓冲:不刷新,直到碰到
\n
。 -
全缓冲:缓冲区满了才刷新。
所谓刷新就是调用 write
接口将数据写入操作系统中的文件缓冲区。显示器文件对应采用的就是行缓冲,向磁盘文件中写入采用的是全缓冲。进程在退出的时候也会刷新用户缓冲区,还可以调用 fflush
进行刷新。
四、为什么要有用户缓冲区
-
解决效率问题,缓冲区就像菜鸟驿站,不需要我们自己坐火车坐飞机去送东西,而是直接交给菜鸟驿站,然后就可以干自己的事情了,菜鸟驿站可以选择攒上一大批快递然后统一寄送出去。用户缓冲区的存在本质上提高了 C 语言的效率,也就是提高了用户的效率,因为 C 语言是程序员在使用,在使用 C 库函数进行文件写入时,大部分情况只需要把数据交给缓冲区,然后就可以快速的返回,不需要每一次都亲力亲为的去和操作系统打交道。
-
配合格式化,有些和文件写入相关的 C 库函数是格式化输出函数,在我们看来,它可以写入整形、符点型,但是最终都是以字符串的形式进行写入。格式化就是将类型全都转化成字符串,先写入到用户缓冲区,用户缓冲区中存的一定都是字符串。
用户缓冲区,有进也有出,将数据写入到用户缓冲区中就就叫做进,将用户缓冲区中的数据刷新到内核中的文件缓冲区中,被刷新的数据就可以从用户缓冲区中删掉,这就叫做出。用户缓冲就像就像水流一样源源不断,流的概念就是因此而来。
小Tips:FILE
里面就有对应打开文件的缓冲区字段和维护信息。每个被进程打开文件都有自己对应的文件缓冲区。FILE
对象属于用户,用户缓冲区可以看作是在堆上申请的一块空间。
五、现象解释
这下再来解释上面代码中有 fork 然后重定向,写入了多次的原因。首先重定向后,将本来向显示器文件写入的内容,写到了磁盘文件,显示器文件的缓冲区采用行缓冲,即遇到 \n
就会刷新,而磁盘文件采用的是全缓冲,当缓冲区满了才刷新。因此在重定向后,会把三条 C 库函数写入的内容全部保存到缓冲区中,然后调用 fork
创建子进程,此时父子进程代码共享,数据写时拷贝,在程序退出的时候回去刷新用户缓冲区,上面说过,刷新就是将用户缓冲区中的数据写入到内核,然后将用户缓冲区中的内容清空,上面还说过,缓冲区就是在堆上申请的一段空间,可以看作数据部分,因为要删除数据,所以就会进行写时拷贝,此时之前父进程用户缓冲区中的内容就会给子进程拷贝一份,然后父子进程都执行刷新动作,各自刷新自己的缓冲区数据,这就是为什么最终出现多份的原因。没有重定向,只向显示器打印四条消息,是因为显示器采用的是行刷新策略,在调用 fork
前,对应的字符串就已经被刷新出去了。在 fork
的时候,父进程的用户缓冲区中是空的,什么也没有。
磁盘文件全缓冲验证:
int main()
{const char* fstr = "Hello fwrite\n";const char* str = "Hello write\n";printf("Hello printf\n");sleep(2);fprintf(stdout, "Hello fprintf\n");sleep(2);fwrite(fstr, strlen(fstr), 1, stdout); // 返回值是写入成功的快数sleep(2);write(1, str, strlen(str)); // 返回值是写入成功的字节数sleep(5);fork();return 0;
}
分析:最先将 write
内容写入到文件中,因为它是直接写入到文件缓冲区,而剩下的 C 库函数对应的内容是统一一次全部刷新到内核,即使每个字符串后面都有 \n
,但最后还是统一全部刷新,这就证明了磁盘文件采用的是全刷新策略。
六、结语
今天的分享到这里就结束啦!如果觉得文章还不错的话,可以三连支持一下,春人的主页还有很多有趣的文章,欢迎小伙伴们前去点评,您的支持就是春人前进的动力!
相关文章:

【Linux取经路】文件系统之缓冲区
文章目录 一、先看现象二、用户缓冲区的引入三、用户缓冲区的刷新策略四、为什么要有用户缓冲区五、现象解释六、结语 一、先看现象 #include <stdio.h> #include <string.h> #include <unistd.h>int main() {const char* fstr "Hello fwrite\n"…...

华为OD机试真题-查找接口成功率最优时间段-2023年OD统一考试(C卷)--Python3--开源
题目: 考察内容: for 时间窗口list(append, sum, sort) join 代码: """ 题目分析:最长时间段 且平均值小于等于minLost同时存在多个时间段,则输出多个,从大到小排序未找到返回 NULL 输入…...

缓存篇—缓存雪崩、缓存击穿、缓存穿透
缓存异常会面临的三个问题:缓存雪崩、击穿和穿透。 其中,缓存雪崩和缓存击穿主要原因是数据不在缓存中,而导致大量请求访问了数据库,数据库压力骤增,容易引发一系列连锁反应,导致系统奔溃。不过࿰…...

Python实现视频转音频、音频转文本的最佳方法
文章目录 Python实现视频转音频和音频转文字视频转音频步骤 1:导入moviepy库步骤 2:选择视频文件步骤 3:创建VideoFileClip对象步骤 4:提取音频步骤 5:保存音频文件 音频转文字步骤 1:导入SpeechRecognitio…...

阿里云SSL免费证书到期自动申请部署程序
阿里云的免费证书只有3个月的有效期,不注意就过期了,还要手动申请然后部署,很是麻烦,于是写了这个小工具。上班期间抽空写的,没有仔细测试,可能存在一些问题,大家可以自己clone代码改改…...

Vue全局事件防止重复点击(等待请求)【进阶版】
继《Vue全局指令防止重复点击(等待请求)》之后,感觉指令方式还是不太友好,而且嵌套闭包比较麻烦,于是想到了Vue的全局混入,利用混入,给组件绑定click事件。 一、实现原理 与指令方式大致一样&…...

C#程序反编译经验总结
1. 反编译出的代码有问题时,可以用多个反编译工具之间的代码相互印证。(比如.net reflector 与ILSpy) 2. 有时Visual Studio编译的错误信息不明确时, 可以msbuild编译程序,msbuild的错误信息相对完整一些。 2.1 编译错误…...

Android系统启动流程
android的启动流程是从底层开始进行的,具体如下所示: Android是基于Linux内核的系统,Android的启动过程主要分为两个阶段,首先是Linux内核的启动,然后是Android框架的启动。 可以将Andorid系统的启动流程分为以下五个…...

Flask——基于python完整实现客户端和服务器后端流式请求及响应
文章目录 本地客户端Flask服务器后端客户端/服务器端流式接收[打字机]效果 看了很多相关博客,但是都没有本地客户端和服务器后端的完整代码示例,有的也只说了如何流式获取后端结果,基本没有讲两端如何同时实现流式输入输出,特此整…...

crmeb多门店商城系统二次开发 增加车辆车牌搜索功能、车辆公里数
1、增加的数据库 ALTER TABLE eb_store_order ADD cart_number VARCHAR(255) NOT NULL DEFAULT COMMENT 车牌 AFTER erp_order_id, ADD curmileage VARCHAR(255) NOT NULL DEFAULT COMMENT 当前里程 AFTER cart_number; ALTER TABLE eb_store_cart ADD cart_number VARCHAR(…...

深度好文|关于人类智能与自主系统
上个世纪 50 年代,在二战结束没多久,人们开始研究和设计智能系统。作为信息学的分支,人类开始了最早对于人工智能的研究。时间来到 60 年代,人们对于计算机的发展充满了信心,人们断言“20年内机器能够做任何人所能做的…...

防火墙内容安全笔记
目录 DFI和DPI IDS和IPS 签名 AV URL过滤 HTTPS过滤 内容过滤 文件类型过滤 文件内容过滤 邮件过滤 VPN概述 DFI和DPI DFI和DPI技术 --- 深度检测技术 DPI DPI --- 深度包检测技术 --- 主要针对完整的数据包(数据包分片,分段需要重组&#…...

应用于温度报警器中的高精度温度传感芯片
温度报警器通常由温度传感器、控制电路和报警装置组成。温度传感器能够将温度变化转换为电信号,控制电路则对这些信号进行处理,当检测到的温度达到或超过预设的报警阈值时,报警装置会通过声音、灯光或其他方式发出警报,以提醒用户…...

微信小程序swiper 视频中间大,两边小,轮播滑到中间视频自动播放组件教程
静态效果: 进入下面小程序可以体验效果,点击底部 看剧 栏目 一、创建小程序组件 二、代码 1、WXML <view class"swiper-wrapper"><swiperclass"main-sw"autoplay"{{false}}"circular"{{true}}"inte…...

ARM服务器上部署zookeeper集群
由于ARM服务器上部署zookeeper集群,会存在加载不到主类问题,现在把遇到的问题进行总结下,问题如下: [rootnode206 apache-zookeeper-3.5.10]# bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /data1/software/apache-zookeeper-3.5.10/bin/../conf/…...

利用Ubuntu22.04启动U盘对电脑磁盘进行格式化
概要: 本篇演示利用Ubuntu22.04启动U盘的Try Ubuntu模式对电脑磁盘进行格式化 一、说明 1、电脑 笔者的电脑品牌是acer(宏碁/宏基) 开机按F2进入BIOS 开机按F12进入Boot Manager 2、Ubuntu22.04启动U盘 制作方法参考笔者的文章: Ubuntu制作Ubun…...

Nginx基础入门
一、Nginx的优势 nginx是一个高性能的HTTP和反向代理服务器,也是一个SMTP(邮局)服务器。 Nginx的web优势:IO多路复用,时分多路复用,频分多路复用 高并发,IO多路复用,epoll…...

分布式和微服务
分布式和微服务是两个不同的概念。 分布式系统是说多个独立的计算机或服务器组成的系统,这些计算机通过网络进行通信和协作,共同完成一个任务或提供一个服务。 分布式系统的目标是通过协作实现高性能、高可用性和高扩展性。 微服务是一种架构风格&…...
【无标题】学习Markdown
https://shadows.brumm.af 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些…...

由于 vscode 版本更新为 1.86.1引起的相关问题。
通过vscode ssh来远程连接linux服务器的代码,由于vscode 1.86.1的更新,在连接服务器时就开始报 两个错误了: Missing GLIBCXX > 3.4.25! Missing GLIBC > 2.28! lwd192.168.66.148s password: 075b6e8e3a87: runningMissing GLIBCXX &g…...

四、矩阵的分类
目录 1、相等矩阵 2、同形矩阵 3、方阵: 4、负矩阵、上三角矩阵、下三角矩阵: 5、对角矩阵:是方阵 编辑7、单位矩阵:常常用 E或I 来表示。它是一个方阵 8、零矩阵: 9、对称矩阵:方阵 1、相等矩阵 …...

Windows环境下查看磁盘层级占用空间的解决方案
大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…...

超级实用的python代码片段汇总和详细解析(16个)
目录 1. 生成随机文本 2. 计算文本文件中的字数 3. 替换文件文件中的字串 4. 多文件名的批量替换 5. 从网站提取数据 6. 批量下载图片 7.批量删除空文件夹 8.Excel表格读写 9.合并Excel表格工作簿 10.数据库SQL查询 11. 系统进程查杀 12.图像尺寸调整和裁剪 13.图…...

npm/nodejs安装、切换源
前言 发现自己电脑上没有npm也没有node很震惊,难道我没写过代码么?不扯了,进入正题哈哈…… 安装 一般没有npm的话会报错: 无法将“npm”项识别为 cmdlet、函数、脚本文件或可运行程序的名称而且报这个错,我们执行…...

【Kotlin】流程控制
1 选择结构 Kotlin 中选择结构主要包含 if -else、when 语句,并且可以返回结果。 1.1 if-else 1.1. 条件选择 fun main() {var score 85if (score > 90) {println("优秀")} else if (score > 80) {println("良好")} else if (score &…...

Devc++ Easyx 实现 瓦片地图编辑数据导入游戏
导出的DLC 直接放入 exe 同文件夹下即可自动读取。 // 程序:DLC 自动读取加载框架示例 // 作者:民用级脑的研发记录 // 邮箱:1309602336qq.com // 编译环境:Devc/VC 2010/Visual Studio 2022,EasyX_20220901/Easyx_202…...

去年面试的运维开发面试题二
VPN有哪些协议,不同协议之间有何区别? 2.内部组网通常使用哪些类型的网段,两个不同网段如何通信? 3.Linux中绝对路径,相对路径的区别 4. Linux如何添加磁盘,扩容系统文件? 5. Linux如何查看进程…...

【Unity编辑器扩展】Unity编辑器主题颜色设置工具
可以用来应用和自定义你的Unity编辑器。14个主题可供选择。轻松创建自己的主题。 主题展示:...

精美的WordPress外贸独立站模板
WordPress外贸独立站主题 简洁实用的WordPress外贸独立站主题,适合时尚服装行业搭建wordpress企业官网使用。 https://www.jianzhanpress.com/?p4999 简洁wordpress独立站模板 绿色精美、简洁大气的wordpress外贸独立网站模板 https://www.jianzhanpress.com/?…...

说一下 JVM 运行时数据区 ?
目录 一、程序计数器(Program Counter Register) 二、Java 虚拟机栈(Java Virtual Machine Stacks) 三、本地方法栈(Native Method Stack) 四、Java 堆(Java Heap) 五、方法区&…...