Linux:进程间通信---匿名管道
文章目录
- 1. 进程间通信
- 1.1 什么是进程间通信?
- 1.2 为什么进程要进行进程间通信?
- 1.3 怎么实现进程间通信?
- 2. 匿名管道
- 2.1 匿名管道的原理
- 2.2 匿名管道的系统接口
- 2.3 匿名管道的使用
- 2.4 匿名管道的运用场景
- 序:在上一篇文章中我们知道了如何连接动静态库,动态库和静态库的链接有什么区别,以及动态库在系统内核部分是如何被访问的等知识,而今天我们将进入一个新的模块—进程间通信,聊到这个,我们首先想到的是两个进程是如何进行通信的,通信又是为了什么呢?以及,不是说两个进程之间不是有独立性吗?这和进程间通信岂不是矛盾了?本章我将从管道的角度,带大家认识什么是进程间通信。
1. 进程间通信
1.1 什么是进程间通信?
进程间通信:两个或者多个进程实现数据层面的交互,因为进程独立性的存在,导致进程通信的成本比较高。
1.2 为什么进程要进行进程间通信?
a. 发送基本数据
b. 发送命令
c. 完成进程间的某种协同
d. 通知总结下来就是为了让进程通信起来!!!
而通信是有成本的,所以我们就要打破进程的独立性,让两个进程能进行通信
1.3 怎么实现进程间通信?
a. 进程通信的的本质:必须让不同的进程看到同一份“资源”
b. “资源”:特定形式的内存空间。
c. 这个“资源”谁提供?一般是操作系统,为什么不是我们进程中的其中一个呢?假设是其中一个进程提供的的,那么这个“资源”就是该进程独有的,破坏进程的独立性了,所以,只能由第三方空间提供“资源”。
d. 我们进程访问这个空间,进行通信,本质就是在访问操作系统!!!进程代表的就是用户,“资源”从创建,到使用(一般),到释放------都离不开系统调用接口!!!
e. 基于文件级别的通信方式—管道
从底层设计,从接口设计,都要由操作系统独立设计,一般操作系统,会有一个独立的通信模块----隶属于文件系统----IPC通信模块---->定制标准----进程间通信是有标准的
两种标准:
System V(本机内部) && posix(网络)其中System V的标准如下:
System V IPC{
System V —消息队列
System V —共享内存
System V —信号量
}在后续的文章中,我会逐一将System中的概念拿出来谈一谈的。
2. 匿名管道
2.1 匿名管道的原理
问题一:什么是管道?
管道是Unix中最古老的进程间通信的形式。
我们把从一个进程连接到另一个进程的一个数据流称为一个“管道”
在讲管道之前,让我们来看一张图片:
对于一个进程来说,一开始task_struct指向的files_struct中有struct file * 数组,里面会默认打开三个文件,stdin、stdout、stderr,分别对应键盘和显示器,其中stdout和stderr都是打开的显示器,所以显示器文件同时被两个指针指向,此时显示器的引用计数为2。当我们打开一个文件时,首先,该文件会有自己的文件描述符,并且有自己的struct file结构体,该结构体有对应的inode,file_operators和文件页缓冲区。
当我们要将数据存储到磁盘中时,会先将数据存放在文件页缓冲区中,后续才会刷新到磁盘内,同理要修改磁盘中的内容,要先把磁盘中的内容加载到文件页缓冲区中,修改后再刷新到磁盘当中去。
那么,有没有一种文件,他有对应文件描述符,有自己的struct file,页有inode、files_operators和文件页缓冲区,但是该文件页缓冲区中的内容并不会刷新到磁盘当中去。答案肯定是有的,这种文件就是一种内存级文件,也就是我们今天的主角—管道!!!所以管道是一个文件,一个内存级文件!!!
问题二:那么问题来了,这个管道为什么能让我们进行进程间通信呢?
当我们创建了一个进程后,我们调用系统调用生成一个子进程时,子进程会有自己独立的task_struct结构体,但是该结构体中的struct file * fd数组中的内容,在进行fork时会拷贝给子进程,也就是说父子进程指向了同一份资源!!!而我们一开始就说了进程间通信的的本质就是必须让不同的进程看到同一份“资源”,而管道就能够很好的符合这一点!!!
问题三:进程间要怎么使用管道来进行通信?
要想知道进程要怎么使用管道来进行通信,我们就要知道管道的原理,之前我们说过了,管道是一个内存级文件,他能使两个父子进程看到同一份资源。
如图:
当我们的进程同时以读和写的方式打开同一个文件时,会有两个文件描述符指向该文件,只是打开方式不同,一个只能写,一个只能读,此时我们发现该进程,既能向该文件中写数据也能向该文件中读数据。当我们调用系统调用fork时,此时创建的子进程会将父进程的files_struct中的struct file * fd数组拷贝到子进程中,所以子进程的3号文件描述符和4号文件描述符也会分别指向以r方式打开的文件和以w方式打开的文件。此时,父子进程就同时访问了一个文件缓冲区!!!这就符合了进程间通信的本质,让两个进程看到了同一份资源!!!
需要注意的是,我们不能让父子进程同时向文件读数据或写数据,不然的话就可能会出现数据错乱的情况,这样会导致数据不一致问题,所以,在我们使用管道让两个进程进行进程间通信时,一定是一个读数据,一个写数据!!!
2.2 匿名管道的系统接口
Pipefd是输出型参数,,将文件描述符带出来,让用户使用。
Pipefd[0]:读端
Pipefd[1]:写端
管道的特征:
1. 具有血缘关系(父子,爷孙,兄弟…)(通过fork调用)的进程进行进程间通信
2. 管道只能单向通信,如果要双向通信,就建立多个管道
3. 父子进程是会进程协同的,同步与互斥的—保护管道文件的数据安全
4. 管道是面向字节流的,只是单纯的字节。
5. 管道是基于文件的,而文件的生命周期是进程的,所以,当进程结束,操作系统会自动回收文件,将对应文件的引用计数清零。
2.3 匿名管道的使用
说了这么多,让我们来使用一下pipe,去看看这个pipe怎么使用吧!!!
代码如下:
#include<iostream>
#include<cstdlib> //stdio.h
#include<unistd.h>
#include<string>
#include<string.h>
#include<sys/types.h>
#include<sys/wait.h>#define N 2
#define NUM 1024using namespace std;//child
void Write(int wfd)
{string s="hello,i am child";pid_t self=getpid();char buffer[NUM];while(true){sleep(1);//构建发送字符串buffer[0]=0;//类似于'\0',字符串清空snprintf(buffer,sizeof(buffer),"%s-%d-%d",s.c_str(),self,number++);//发送给父进程write(wfd,buffer,strlen(buffer));}
}//father
void Read(int rfd)
{char buffer[NUM];int cnt=0;while(true){//sleep(3);buffer[0]=0;ssize_t n=read(rfd,buffer,sizeof(buffer));//返回字符串的大小if(n>0){buffer[n]=0;//0 == '\0'cout<<"father get msg:"<<buffer<<"father pid:"<<getpid()<<endl;}else if (n==0) {cout<<"read file done!"<<endl;break;}else break;if(cnt++==5) break;}}int main(){int pipefd[N]={0};int n=pipe(pipefd);if(n<0)return 1;//cout<<"pipefd[0]: "<<pipefd[0]<<endl<<"pipefd[1]: "<<pipefd[1]<<endl;pid_t id = fork();if(id<0)return 2;if(id==0){//childclose(pipefd[0]);//IPC codeWrite(pipefd[1]);close(pipefd[1]);exit(0);}//parentclose(pipefd[1]);//IPC codeRead(pipefd[0]);close(pipefd[0]);cout<<"father close read fd"<<endl;sleep(5);int status=0;pid_t rid=waitpid(id,&status,0);if(rid<0){return 3;}cout<<"waited success "<<"exit code:"<<((status>>8)&0xFF)<<\" exit signal:"<<(status&0x7F)<<endl;cout<<"father quit!"<<endl;return 0;
}
管道的4种情况:
1. 读写正常,管道如果是空的,读端就要阻塞。(也就是写端还没写入,读端只能阻塞,不能读数据)
2. 读写端正常,管道如果被写满了,写端就要阻塞。(注:ulimit -a:用来查看操作系统对一些重要资源的限制,里面就能查看一个pipe size大小是多大。)
3. 读端正常读,写端关闭,读端就会读到0位置,表明读到pipe文件的结尾,不会被阻塞。
4. 写端正常写入,读端关闭,操作系统就会要杀掉正在写入的进程(怎么杀掉?答案是通过信号杀掉,注:操作系统是不会做抵消,浪费等类似的工作的,如果做了,那就是操作系统的bug)(此时,被杀死进程的信号是13号信号,SIGPIPE)
2.4 匿名管道的运用场景
我们(使用匿名管道)实现一个简易版的进程池!!!
问题一:什么是池化技术?
我们平常的系统调用是有成本的,所以提前将可能要申请的系统资源准备好,放在一个空间里面,这就是池化技术,是用来提高访问效率的,比如进程池,就是提前fork()好几个进程,等用户要调用时,直接就给用户分配,而不需要再去调用系统调用!!!
调用各个进程的时候要遵循负载均衡!!!
负载均衡:
1. 随机数
2. 轮询(轮转)
让我们来实现一个进程池:
点击下面的链接,自动跳转到线程池的代码:
使用匿名管道实现一个简易版的进程池
总结:
本篇文章从进程间通信的定义出发,由浅入深,从理论到原理解析,从解析到实例分析,最后再到运用的场景,我们不仅知道了进程间通信的本质就是不同进程间看到同一份资源,还知道了管道的系统调用和管道的使用,通过总结四种情况和五中特征的方式了解深入了解了管道的使用情况!!!
相关文章:

Linux:进程间通信---匿名管道
文章目录 1. 进程间通信1.1 什么是进程间通信?1.2 为什么进程要进行进程间通信?1.3 怎么实现进程间通信? 2. 匿名管道2.1 匿名管道的原理2.2 匿名管道的系统接口2.3 匿名管道的使用2.4 匿名管道的运用场景 序:在上一篇文章中我们知…...
C++ 类及函数原型详解
一、引言 在C 编程中,类(Class)是面向对象编程的核心概念之一,它是一种用户自定义的数据类型,封装了数据和操作数据的函数(成员函数)。函数原型则为函数的声明提供了必要的信息,让编…...

深度学习小记(包括pytorch 还有一些神经网络架构)
这个是用来增加深度学习的知识面或者就是记录一些常用的命令,会不断的更新 import torchvision.transforms as transforms toPIL transforms.ToPILImage()#可以把tensor转换为Image类型的 imgtoPIL(img) #利用save就可以保存下来 img.save("/opt/data/private/stable_si…...
声音分离人声和配乐base,vocals,drums -从头设计数字生命第6课, demucs——仙盟创梦IDE
demucs -n htdemucs --two-stemsvocals 未来之窗.mp3 demucs -n htdemucs --shifts5 之.mp3demucs -n htdemucs --shifts5 -o wlzcoutspl 未来之窗.mp3 伴奏提取人声分离技术具有多方面的重大意义,主要体现在以下几个领域: 音乐创作与制作 创作便利…...
深度探索多模态数据:从声音到图像的奇妙世界
深度探索多模态数据:从声音到图像的奇妙世界 在多模态深度学习的旅程中,我们不仅要了解不同数据形式的融合策略,还需要熟悉各种数据类型的特性。今天,我们将探索两种常见但极具价值的模态:音频数据和医学CT扫描。 音…...

【数据可视化-32】全球住房市场分析(2015-2024 年)数据集可视化分析
🧑 博主简介:曾任某智慧城市类企业算法总监,目前在美国市场的物流公司从事高级算法工程师一职,深耕人工智能领域,精通python数据挖掘、可视化、机器学习等,发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...
JAVA---面向对象(下)
重生之我开始补知识第三集 1.标准 JavaBean 要求: 1)类名需要见名知意 2)成员变量使用private修饰 3)至少提供两个构造方法 a.无参构造方法 b.带全部参数的构造方法 4)成员方法 a.提供每一个成员变量对应的 …...
FPGA(现场可编程门阵列)笔记
*编程语言 - [Verilog]:硬件描述语言,语法风格类似于C语言,用于数字电路的设计。 - [SystemVerilog]:扩展自Verilog,增加了面向对象编程等特性,语法更接近于C,适用于复杂系统设计。 - [VHDL]:另一种硬件描述语言&…...

DAX Studio将PowerBI与EXCEL连接
DAX Studio将PowerBI与EXCEL连接 具体步骤如下: 第一步:先打开一个PowerBI的文件,在外部工具栏里打开DAXStudio,如图: 第二步:DAXStudio界面,点击Advanced选项卡-->Analyze in Excel&#…...

使用spring boot vue 上传mp4转码为dash并播放
1.前端实现 <template><div class"video-upload"><el-uploadclass"upload-demo"action"/api/upload":before-upload"beforeUpload":on-success"handleSuccess":on-error"handleError":show-file-…...

深入理解指针 (1)
1.内存和地址 1.1内存 1.1.1内存的使用和管理 (1)内存划分为一个个的内存单元,每个内存单元的大小是1个字节,一个内存单元可以存放8个bit。 (2)每个内存单元有一个编号,内存单元的编号在计…...

Leetcode98、230:二叉搜索树——递归学习
什么是二叉搜索树:右子树节点 > 根节点 > 左子树节点, 二叉搜索树中的搜索,返回给定值val所在的树节点 终止条件为传进来的节点为空、或者节点的值 val值,返回这个节点; 单程递归逻辑:定义一个resu…...
4/25 研0学习日志
Python学习 python 4个常用的数据容器 list dict tuple set list 列表中数据类型可以不一样 构造方式 mylist["xxx","xxxx"] 获取数据方式 mylist[1] mylist[:4] mylist[-1:] 添加数据 mylist.append() mylist.extern(["aaa","aaaa&…...

15. LangChain多模态应用开发:融合文本、图像与语音
引言:当AI学会"看听说想" 2025年某智慧医院的多模态问诊系统,通过同时分析患者CT影像、语音描述和电子病历,将误诊率降低42%。本文将基于LangChain多模态框架与Deepseek-R1,手把手构建能理解复合信息的智能系统。 一、…...

2022李宏毅老师机器学习课程笔记
机器学习笔记目录 1.绪论(内容概述)2.机器学习和深度学习的基本概念transformer 1.绪论(内容概述) 机器学习:让机器找一个函数,通过函数输出想要的结果。应用举例:语音识别,图像识别…...

笔试强训:Day2
一、字符串中找出连续最长的数字串(双指针) 字符串中找出连续最长的数字串_牛客题霸_牛客网 #include <iostream> #include <string> #include <cctype> using namespace std;int main() {//双指针string str;cin>>str;int nstr.size();int begin-1,l…...

linux合并命令(一行执行多个命令)的几种方式总结
背景: 最近安装配置机器,需要手打很多命令。又不能使用docker,所以就使用iTerm2连接多台服务器,然后move session到一个窗口中,shift command i使用XSHELL类似的撰写功能,就可以一次在多台服务器命令窗口…...

基于归纳共形预测的大型视觉-语言模型中预测集的**数据驱动校准**
摘要 本研究通过分离共形预测(SCP)框架,解决了大型视觉语言模型(LVLMs)在视觉问答(VQA)任务中幻觉缓解的关键挑战。虽然LVLMs在多模态推理方面表现出色,但它们的输出常常表现出具有…...
【器件专题1——IGBT第2讲】IGBT 基本工作原理:从结构到特性,一文解析 “电力电子心脏” 的核心机制
IGBT(绝缘栅双极型晶体管,Insulated Gate Bipolar Transistor)作为现代电力电子领域的核心器件,其工作原理融合了 MOSFET 的高效控制优势与 BJT 的大功率处理能力。本文从物理结构、导通 / 关断机制、核心特性等维度,深…...
【避坑指南】Spring拦截器中instanceof HandlerMethod失效的问题排查
问题背景 最近在使用Spring MVC开发项目时,我遇到了一个诡异的问题:在自定义拦截器的preHandle方法中,明明请求的是Controller层的方法,但handler instanceof HandlerMethod判断却总是返回false,导致拦截逻辑无法正常…...
青少年编程与数学 02-018 C++数据结构与算法 06课题、树
青少年编程与数学 02-018 C数据结构与算法 06课题、树 一、树(Tree)1. 树的定义2. 树的基本术语3. 常见的树类型4. 树的主要操作5. 树的应用 二、二叉树(Binary Tree)1. 二叉树的定义2. 二叉树的基本术语3. 二叉树的常见类型4. 二叉树的主要操作5. 二叉树的实现代码说明输出示例…...

docker学习笔记5-docker中启动Mysql的最佳实践
一、查找目录文件位置 1、mysql的配置文件路径 /etc/mysql/conf.d 2、mysql的数据目录 /var/lib/mysql 3、环境变量 4、端口 mysql的默认端口3306。 二、启动命令 1、启动命令说明 docker run -d -p 3306:3306 -v /app/myconf:/etc/mysql/conf.d # 挂载配置目录 -v…...

从零开始搭建Django博客③--前端界面实现
本文主要在Ubuntu环境上搭建,为便于研究理解,采用SSH连接在虚拟机里的ubuntu-24.04.2-desktop系统搭建,当涉及一些文件操作部分便于通过桌面化进行理解,通过Nginx代理绑定域名,对外发布。 此为从零开始搭建Django博客…...

系统与网络安全------弹性交换网络(3)
资料整理于网络资料、书本资料、AI,仅供个人学习参考。 STP协议 环路的危害 单点故障 PC之间的互通链路仅仅存在1个 任何一条链路出现问题,PC之间都会无法通信 解决办法 提高网络可靠性 增加冗余/备份链路 增加备份链路后交换网络上产生二层环路 …...

Cursor 配置 MCP Tool
文章目录 1、MCP Tool 的集合2、一个 demo :Sequential Thinking2.1、搜索一个 MCP Tool 获取 command 命令2.2、在 Cursor 配置2.3、配置状态检查与修正(解决网络问题)检查解决办法 2.4、使用 1、MCP Tool 的集合 https://smithery.ai/ 2、一个 demo :Sequential Thinking …...
SQL进阶知识:四、索引优化
今天介绍下关于索引优化的详细介绍,并结合MySQL数据库提供实际例子。 索引优化是数据库性能优化的关键环节之一,尤其是在处理大量数据时。索引可以加快查询速度,减少数据扫描范围,但不当的索引设计也可能导致性能问题。以下是关于…...
【Leetcode 每日一题】2799. 统计完全子数组的数目
问题背景 给你一个由 正 整数组成的数组 n u m s nums nums。 如果数组中的某个子数组满足下述条件,则称之为 完全子数组 : 子数组中 不同 元素的数目等于整个数组不同元素的数目。 返回数组中 完全子数组 的数目。 子数组 是数组中的一个连续非空序…...
OpenCV中的SIFT特征提取
文章目录 引言一、SIFT算法概述二、OpenCV中的SIFT实现2.1 基本使用2.1.1 导入库2.1.2 图片预处理2.1.3 创建SIFT检测器2.1.4 检测关键点并计算描述符2.1.5 检测关键点并计算描述符并对关键点可视化2.1.6 印关键点和描述符的形状信息 2.2 参数调优 三、SIFT的优缺点分析3.1 优点…...

【金仓数据库征文】-《深入探索金仓数据库:从基础到实战》
目录 前言 什么是金仓数据库? 金仓数据库的特点 金仓数据库的核心特点 金仓数据库与其他数据库的对比 金仓数据库的安装 常见的语句 总结 前言 为助力开发者、运维人员及技术爱好者快速掌握这一工具,本文将系统性地介绍金仓数据库的核心知识。内…...

RocketMQ 主题与队列的协同作用解析(既然队列存储在不同的集群中,那要主题有什么用呢?)---管理命令、配置安装
学习之前呢需要会使用linux的基础命令 一.RocketMQ 主题与队列的协同作用解析 在 RocketMQ 中,主题(Topic)与队列(Queue)的协同设计实现了消息系统的逻辑抽象与物理存储分离。虽然队列实际存储在不同集群的 B…...