当前位置: 首页 > news >正文

[Linux打怪升级之路]-缓冲区

前言

作者小蜗牛向前冲

名言我可以接受失败,但我不能接受放弃

  如果觉的博主的文章还不错的话,还请点赞,收藏,关注👀支持博主。如果发现有问题的地方欢迎❀大家在评论区指正

 本期学习目标:认识什么是缓冲区,缓冲区在哪里,模拟实现一个简单的缓冲区。

目录

一、缓冲区

1、见一个现象

2、缓冲区的相关知识

3、解释现象 

二、模拟实现缓冲区 

1、makefile 

2、myStdio.h 

 3、myStdio.c

4、test.c 


一、缓冲区

我们在重定向博客中曾经发现了一个现象,在做重定向实验时,我们将文件描述符fd = 1关闭掉,并通过open函数打开(创建)add.txt的文件,由于fd = 1 被关闭了,根据文件描述符fd的分配规则:是从小到大 ,遵循寻找最小而且没有被占用的的fd分配这时候fd = 1中file*的指针会指向add.txt文件中,就不在向显示器打印了,而要将open fd的内容写到add.txt中,但是我们通过cat命令查看add.txt中的内容却什么也没有,这是为什么呢?

这就不得不提缓冲区的概念,其实缓存区就是一段内存,但是这段内存是谁申请的?属于谁的?为什么要有缓冲区呢?

下面我们来看一个现象:

1、见一个现象

首先我们分别调用C接口和系统接口进行打印测试。

我们将mytest中的文件内容输出重定向到log.txt中,我们也在log.txt中查找到了输出的内容.

下面我们继续进行在代码测试,在代码最后用fork建立一个子进程

运行程序:

 我们发现 printf 和 fprintf及fputs(库函数)都输出了2次,而 write 只输出了一次(系统调用)。为什么呢?我们只是在多加了应该子进程而已,这说明出现这种现象肯定是和fork函数有关。

2、缓冲区的相关知识

为什么库函数会打印二次,而系统调用的函数只会被打印一次呢?毋庸置疑这肯定和缓冲区有关。

上面我们提到缓存冲区是一段内存,那么既然是一段内存肯定要被管理起来,而管理缓冲区的结构体我们称之为FILE,而且我们可以知道是缓冲区肯定不在内核中。

我们也可以在系统中见一见他

//输入命令
vim /usr/include/libio.h

 打开文件在246行这样就能看到_IO_FILE的结构体,不对啊吖,不是说FILE才是管理缓冲区的吗?

怎么变成了_IO_FILE的结构体,其实在其实是在:

typedef struct _IO_FILE FILE; 在/usr/include/stdio.h

中进行了重命名的,第48行就对_IO_FILE的结构体进行了typedef。

这里我们需要注意的是FILE结构体中也封装了fd,这就会在合适的时候,就会将在缓冲区中内容刷新到外设中。

缓冲区的刷新几种形式: 

立刻刷新       -----无缓冲

行刷新           ------显示器

缓冲区满刷新     -------磁盘文件

 那我们怎么理解上面的几种刷新方式呢?

立刻刷新是只直接在内存中的信息,刷新到外设,这种场景是非常少见的,因为这样非常消耗资源。

行刷新,就是缓冲区满了一行就刷新,也就是说我们在调用函数时有"\n"时就会进行刷新。

缓冲区满刷新,就是指缓冲区的内存满了,才会把缓冲区里面的内容刷新到外设中。

缓冲区的自动刷新规则:

  • 用户强制刷新
  • 进程退出

3、解释现象 

上面我们了解有关缓冲区的相关知识,那么为什么会出现我们上面的现象呢?

在代码结束前我们进行了子进程的创建:

代码结束之前,进行创建子进程
   1. 如果我们没有进行>,看到了4条消息
stdout 默认使用的是行刷新,在进程fork之前,三条C函数已经将数据进行打印输出到显示器上(外设),你的FILE内部,进程内部不存在对应的数据啦。
    2. 如果我们进行了>, 写入文件不再是显示器,而是普通文件,采用的刷新策略是全缓冲,之前的3条c显示函数,虽然带了\n,但是不足以stdout缓冲区写满!数据并没有被刷新!!!
    执行fork的时候,stdout属于父进程,创建子进程时, 紧接着就是进程退出!谁先退出,一定要进行缓冲区刷新(就是修改)
    由于写时拷贝!!数据最终会显示两份,所以在父子进程退出后,会立刻被缓冲区刷新,从而导致三条C函数分别进行了二次打印。
3. write为什么没有呢?

上面的过程都和wirte无关,wirte没有FILE,而用的是fd,就没有C提供的缓冲区

 这里我们就可以回答:

缓冲区在哪里

在FILE*指向的FILE结构体中(这也就是为什么,我们自己要强制刷新的时候要传文件指针,fflush(文件指针),fclose(文件指针))。

重定向实验的现象:

因为我们虽然将open fd的内容要写入到add.txt中,但是由于add.txt是普通文件,他采取的方式是全缓存,就不足以以让缓冲区刷新到显示器(stdout)中,所以通过cat 命令查看会什么也查不出来。

二、模拟实现缓冲区 

这里我们分模块化实现:

1、makefile 

这里我们用makefile来完成对程序的自动化编译和构建程序

test:test.c myStdio.c   //依赖关系                                                                                 gcc -o $@ $^ -std=c99//依赖方法
.PHONY:clean//声明伪目标clean
clean:rm -f test

2、myStdio.h 

myStdio.h中对 缓冲区结构进行定义并且进行相关的函数声明:

#pragma once#include <assert.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>#define SIZE 1024
#define SYNC_NOW    1//sync能够马上刷新缓冲区(马上刷新)
#define SYNC_LINE   2//行刷新
#define SYNC_FULL   4//全缓冲刷新typedef struct _FILE{int flags; //刷新方式int fileno;int cap; //buffer的总容量int size; //buffer当前的使用量char buffer[SIZE];
}FILE_;FILE_ *fopen_(const char *path_name, const char *mode);
void fwrite_(const void *ptr, int num, FILE_ *fp);
void fclose_(FILE_ * fp);
void fflush_(FILE_ *fp)

 3、myStdio.c

 在myStdio.c中对 缓冲区功能函数进行实现:

这里我们主要实现:

fopen_打开文件。fwrite_x向文件中写入,fflush_刷新缓冲区,fclose_关闭文件

#include "myStdio.h"FILE_ *fopen_(const char *path_name, const char *mode)
{int flags = 0;int defaultMode=0666;if(strcmp(mode, "r") == 0){flags |= O_RDONLY;}else if(strcmp(mode, "w") == 0){flags |= (O_WRONLY | O_CREAT |O_TRUNC);}else if(strcmp(mode, "a") == 0){flags |= (O_WRONLY | O_CREAT |O_APPEND);}else{//TODO}int fd = 0;if(flags & O_RDONLY) fd = open(path_name, flags);else fd = open(path_name, flags, defaultMode);if(fd < 0){const char *err = strerror(errno);write(2, err, strlen(err));return NULL; // 为什么打开文件失败会返回NULL}FILE_ *fp = (FILE_*)malloc(sizeof(FILE_));assert(fp);fp->flags = SYNC_LINE; //默认设置成为行刷新fp->fileno = fd;fp->cap = SIZE;fp->size = 0;memset(fp->buffer, 0 , SIZE);return fp; // 为什么你们打开一个文件,就会返回一个FILE *指针
}void fwrite_(const void *ptr, int num, FILE_ *fp)
{// 1. 写入到缓冲区中memcpy(fp->buffer+fp->size, ptr, num); //这里我们不考虑缓冲区溢出的问题fp->size += num;// 2. 判断是否刷新if(fp->flags & SYNC_NOW){write(fp->fileno, fp->buffer, fp->size);fp->size = 0; //清空缓冲区}else if(fp->flags & SYNC_FULL){if(fp->size == fp->cap){write(fp->fileno, fp->buffer, fp->size);fp->size = 0;}}else if(fp->flags & SYNC_LINE){if (strcmp(&(fp->buffer[fp->size - 1]), "\n") == 0){write(fp->fileno, fp->buffer, fp->size);fp->size = 0;}}else{}
}void fflush_(FILE_ *fp)
{if( fp->size > 0) write(fp->fileno, fp->buffer, fp->size);fsync(fp->fileno); //将数据,强制要求OS进行外设刷新!fp->size = 0;
}void fclose_(FILE_ * fp)
{fflush_(fp);close(fp->fileno);
}

4、test.c 

#include "myStdio.h"
#include <stdio.h>int main()
{FILE_ *fp = fopen_("./hello.txt", "w");if(fp == NULL){return 1;}int cnt = 10;const char *msg = "hello pjb ";while(1){fwrite_(msg, strlen(msg), fp);sleep(1);printf("count: %d\n", cnt);cnt--;if(cnt == 0) break;}fclose_(fp);return 0;
}

 下面写一个简单的bush脚本:

 while :; do cat hello.txt;sleep 1;echo "###############";done

这是一个简单的 Bash 脚本,它的功能是循环读取并打印文件 "hello.txt" 的内容,并每隔 1 秒打印一条分隔线。

解释一下脚本的含义:

  • while :; do 表示开始一个无限循环。
  • cat hello.txt 使用 cat 命令读取并打印 "hello.txt" 文件的内容。
  • sleep 1 表示暂停执行 1 秒,即等待一秒钟。
  • echo "###############" 打印一条分隔线,由多个 "#" 字符组成。
  • done 表示循环结束。

因此,执行这段脚本时,会不断循环读取并打印 "hello.txt" 文件的内容,每次打印之间会有一秒的暂停,并且在每次打印后会输出一条分隔线。

请确保当前目录下存在名为 "hello.txt" 的文件,并且具有可读权限。

测试:

 1、当写入文件的msg字符串不带换行符时。

    const char *msg = "hello pjb ";

 

 这里我们观察到当程序结束时,才将缓冲区中的内容刷新到hello.txt文件中。

2、当写入文件的msg字符串带换行符

    const char *msg = "hello pjb\n";

这里名为可以验证到带\n普通文件是逐行进行刷新的。

缓冲区总结 :

看到这些现象我们不由的想缓存区的刷新策略:有全缓存,行缓冲,立即刷新

上面是我们自己进行的封装,但是这和os(操作系统)有什么关系呢?下面来看一幅图

 

这幅图大致说明了字符串,要写入到文件中,需要经过层层拷贝在 最终由操作系统(OS)决定刷新到磁盘文件中。

这里我们要注意的是,在有用户刷新到C语言的缓冲区(FILE)中才会遵循全缓冲,行缓冲。对于操作系统来说他会自己调配资源进行刷新。

特别注意:

我们也可以强制OS刷新,调用fflush()就可以了。

ffush()的底层:

void fflush_(FILE_ *fp)
{if( fp->size > 0) write(fp->fileno, fp->buffer, fp->size);fsync(fp->fileno); //将数据,强制要求OS进行外设刷新!fp->size = 0;
}

其实是调用来fsync的接口进行强制刷新。

相关文章:

[Linux打怪升级之路]-缓冲区

前言 作者&#xff1a;小蜗牛向前冲 名言&#xff1a;我可以接受失败&#xff0c;但我不能接受放弃 如果觉的博主的文章还不错的话&#xff0c;还请点赞&#xff0c;收藏&#xff0c;关注&#x1f440;支持博主。如果发现有问题的地方欢迎❀大家在评论区指正 本期学习目标&…...

【力扣】13. 罗马数字转整数

题目描述 罗马数字包含以下七种字符: I&#xff0c; V&#xff0c; X&#xff0c; L&#xff0c;C&#xff0c;D 和 M。 字符数值I1V5X10L50C100D500M1000 例如&#xff0c; 罗马数字 2 写做 II &#xff0c;即为两个并列的 1 。12 写做 XII &#xff0c;即为 X II 。 27 写…...

高效时间管理,事无巨细掌握——OmniFocus Pro 3 for Mac最强GTD工具

在快节奏的现代生活中&#xff0c;有效地管理和安排时间变得至关重要。如果您正在寻找一款功能强大的时间管理工具&#xff0c;那么OmniFocus Pro 3 for Mac将是您的最佳选择。作为一款专业的GTD&#xff08;Getting Things Done&#xff09;应用程序&#xff0c;它为您提供了一…...

解锁前端Vue3宝藏级资料 第五章 Vue 组件应用 3( Slots )

5.4 Slots 我们已经了解到组件能够接收任意类型的 JavaScript 值作为 props&#xff0c;但组件要如何接收模板内容呢&#xff1f;在某些场景中&#xff0c;我们可能想要为子组件传递一些模板片段&#xff0c;让子组件在它们的组件中渲染这些片段。Slots 可用于将Html内容从父组…...

接口测试之文件上传

在日常工作中&#xff0c;经常有上传文件功能的测试场景&#xff0c;因此&#xff0c;本文介绍两种主流编写上传文件接口测试脚本的方法。 首先&#xff0c;要知道文件上传的一般原理&#xff1a;客户端根据文件路径读取文件内容&#xff0c;将文件内容转换成二进制文件流的格…...

7.Flask-Migrate数据库迁移

基本介绍 flask-migrate是基于Alembic的一个封装,并集成到Flask中 所有的迁移操作其实都是Alembic做的,能跟踪模型的变化,并将变化映射到数据库中 一.安装 pip install flask-migrate二.基本使用 2.1初始化数据库迁移脚本 在Flask应用的根目录下&#xff0c;运行命令 flas…...

信创办公–基于WPS的PPT最佳实践系列 (项目8创建电子相册)

信创办公–基于WPS的PPT最佳实践系列 &#xff08;项目8创建电子相册&#xff09; 目录 应用背景操作步骤 应用背景 如果我们想把图片弄成相册&#xff0c;或者弄成一段有音乐的视频分享给朋友。我们可以利用PPT来制作。那我们如何用PPT制作电子相册或视频呢&#xff1f;可以跟…...

JRedis的基本操作,基本数据类型操作

Redis的基本数据类型&#xff1a; stringhashlistsetzset {public static void main(String[] args) {Jedis jedis new Jedis("127.0.0.1", 6379);// stringjedis.set("hello", "word");String hello jedis.get("hello");System.o…...

QT网页 webengine / CEF

QT WebEngine 官方文档 WebEngine 架构&#xff1a; 能看到 WebEngine 有一个核心模块是基于 Chromium 构造的&#xff0c;通过使用 Chromium 的Blink渲染引擎和V8 JavaScript引擎来处理和渲染Web内容&#xff0c;并将这些底层技术封装为一系列高级的C类和接口&#xff0c;以…...

Golang笔试题:编写一个函数,接收一个整数参数n,输出n的阶乘结果

今天&#xff0c;我们开发的AI笔试题工具&#xff0c;ai扁食——AI程序员笔试系统给我出了中级Golang题目&#xff0c;就是这道题&#xff1a;《请编写一个函数&#xff0c;接收一个整数参数n&#xff0c;输出n的阶乘结果》&#xff0c;希望我写一个函数&#xff0c;输出n的阶乘…...

外包干了2个月,技术退步明显.......

先说一下自己的情况&#xff0c;大专生&#xff0c;18年通过校招进入武汉某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试…...

无涯教程-JavaScript - BINOM.DIST函数

描述 BINOM.DIST函数返回单个项二项式分布概率。 在具有固定数量的测试或试验的问题中使用BINOM.DIST。 当任何试验的输出只是成功或失败时 试验是独立的,并且 在整个实验中成功的概率不变的情况 语法 BINOM.DIST (number_s,trials,probability_s,cumulative)争论 Argu…...

linux定时重启tomcat

1.编辑重启Tomcat命令 首先编辑一个文件 vi my_restart.sh 然后输入&#xff1a; #!/bin/bash . /etc/profile tomcatPath"/opt/finereport/tomcat" binPath"$tomcatPath/bin" echo "[info][$(date %F %H:%M:%S)]正在监控tomcat&#xff0c;路径&a…...

在静态方法中访问@Value注入的静态变量!!

一、 静态变量 static修饰的成员变量&#xff0c;称为静态成员变量&#xff0c;静态成员变量最大的特性&#xff1a;不属于某个具体的对象&#xff0c;是所有对象所共享的 简单来说&#xff1a;在某些类的对象中存在一些相同的成员变量&#xff0c;那么这种成员变量就可以设置…...

掌握这些算法,让你的编程之路更顺畅——重要算法解析

一个程序员一生中可能会邂逅各种各样的算法&#xff0c;但总有那么几种&#xff0c;是作为一个程序员一定会遇见且大概率需要掌握的算法。这些算法通常被广泛应用于日常编程工作中&#xff0c;是提升编程效率和解决实际问题的重要工具。本文将介绍几种十分重要的“必抓&#xf…...

flink集群与资源@k8s源码分析-总述

1 简介 集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉…...

LeetCode 0213. 打家劫舍 II:动动态规划

【LetMeFly】213.打家劫舍 II&#xff1a;动动态规划 力扣题目链接&#xff1a;https://leetcode.cn/problems/house-robber-ii/ 你是一个专业的小偷&#xff0c;计划偷窃沿街的房屋&#xff0c;每间房内都藏有一定的现金。这个地方所有的房屋都 围成一圈 &#xff0c;这意味…...

VMware17 不可恢复错误mks解决方案

用的虚拟机VMware17版本&#xff0c;然后运行带HDR的unity程序&#xff0c;结果报错 网上找了很多解决方案&#xff0c;都没用。毕竟需要在不放弃虚拟机3D加速的情况下运行。 最终皇天不负有心人&#xff0c;亲测有效的方法&#xff1a; 在虚拟机名字.vmx文件里添加以下2行&a…...

【深度学习】 Python 和 NumPy 系列教程(廿五):Matplotlib详解:3、多子图和布局:subplot()函数

目录 一、前言 二、实验环境 三、Matplotlib详解 1、2d绘图类型 2、3d绘图类型 3、多子图和布局 1. subplot()函数 简单示例 一、前言 Python是一种高级编程语言&#xff0c;由Guido van Rossum于1991年创建。它以简洁、易读的语法而闻名&#xff0c;并且具有强大的功能…...

计算机网络知识补充(1)

计算机网络:是一个将分散的&#xff0c;具有独立功能的计算机系统&#xff0c;通过通信设备和线路进行连接起来&#xff0c;由功能完善的软件实现资源共享和信息共享的系统&#xff0c;计算机网络是互连的&#xff0c;自治的计算机集合 互连:通过通信链路来进行互联互通 自治:没…...

Opencv中的addweighted函数

一.addweighted函数作用 addweighted&#xff08;&#xff09;是OpenCV库中用于图像处理的函数&#xff0c;主要功能是将两个输入图像&#xff08;尺寸和类型相同&#xff09;按照指定的权重进行加权叠加&#xff08;图像融合&#xff09;&#xff0c;并添加一个标量值&#x…...

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文&#xff1f; 多租户隔离&#xff1a;自动为接入设备追加租户前缀&#xff0c;后端按 ClientID 拆分队列。零代码鉴权&#xff1a;将入站用户名替换为 OAuth Access-Token&#xff0c;后端 Broker 统一校验。灰度发布&#xff1a;根据 IP/地理位写…...

反射获取方法和属性

Java反射获取方法 在Java中&#xff0c;反射&#xff08;Reflection&#xff09;是一种强大的机制&#xff0c;允许程序在运行时访问和操作类的内部属性和方法。通过反射&#xff0c;可以动态地创建对象、调用方法、改变属性值&#xff0c;这在很多Java框架中如Spring和Hiberna…...

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库,而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例,演示如何: 使用 FetchContent 从 GitH…...

自然语言处理——循环神经网络

自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元&#xff08;GRU&#xff09;长短期记忆神经网络&#xff08;LSTM&#xff09…...

Unsafe Fileupload篇补充-木马的详细教程与木马分享(中国蚁剑方式)

在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马&#xff08;服务器方面的&#xff09;的原理&#xff0c;连接&#xff0c;以及各种木马及连接工具的分享 文件木马&#xff1a;https://w…...

Redis的发布订阅模式与专业的 MQ(如 Kafka, RabbitMQ)相比,优缺点是什么?适用于哪些场景?

Redis 的发布订阅&#xff08;Pub/Sub&#xff09;模式与专业的 MQ&#xff08;Message Queue&#xff09;如 Kafka、RabbitMQ 进行比较&#xff0c;核心的权衡点在于&#xff1a;简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

push [特殊字符] present

push &#x1f19a; present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中&#xff0c;push 和 present 是两种不同的视图控制器切换方式&#xff0c;它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.

ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #&#xff1a…...

yaml读取写入常见错误 (‘cannot represent an object‘, 117)

错误一&#xff1a;yaml.representer.RepresenterError: (‘cannot represent an object’, 117) 出现这个问题一直没找到原因&#xff0c;后面把yaml.safe_dump直接替换成yaml.dump&#xff0c;确实能保存&#xff0c;但出现乱码&#xff1a; 放弃yaml.dump&#xff0c;又切…...