System V 进程间通信：共享内存、消息队列与信号量

文章目录1、共享内存简介与原理2、共享内存API接口2.1、shmget创建/获取2.2、shmat映射和shmdt解除挂接2.3、shmctl控制3、共享内存应用4、消息队列了解4.1、原理4.2、API函数5、信号量理解并发概念5.1、并发概念与信号量5.2、API函数6、内核数据结构6.1、内核如何组织IPC6.2、shm文件映射7、总结本文基于System V标准演示1、共享内存简介与原理共享内存通信是一种System V标准的进程间通信方式。进程间通信本质是让不同的进程能够访问不同的资源。为了维护进程的安全不能将私有内存暴露给其他进程所以创建共享内存必须是由操作系统完成。共享内存通信本质是让不同进程的虚拟内存地址通过页表映射到同一块物理内存共享内存将被映射到虚拟地址空间的共享区类似于动态库加载。共享内存的生命周期随操作系统因此创建了共享内存一定要手动删除。使用共享内存通信的步骤创建共享内存映射挂接/挂载使用解除挂接卸载删除共享内存2、共享内存API接口2.1、shmget创建/获取创建/获取共享内存intshmget(key_t key,size_t size,intshmflg);参数size开辟共享内存的大小4kb对齐。例如填写4097实际会开辟2 * 4kb但能使用的只有4097。shmflg标志位与权限通常传递这两个宏IPC_CREATIPC_EXCL与0666。IPC_CREAT不存在则创建。IPC_EXCL存在则报错创建失败。key用于标识共享内存的唯一性的由用户传递理论上可以是任何数字。例如写服务端的A和写客户端的B在写之前就约定好key使用0x112233程序可以通过这个 数字在OS中找到对于的共享内存。也常用ftok函数。key_t ftok(const char *pathname, int proj_id);可以理解成传递一种算法输入可访问路径和整数输出一个整数可以避免一些可以的数字给shmget函数。返回值成功返回一个共享内存的标识符shmid类似于文件描述符fd操作共享内存都是用shmid。失败可能由相同的key参数引起返回-1设置errno。2.2、shmat映射和shmdt解除挂接映射挂接到虚拟地址空间void*shmat(intshmid,constvoid*_Nullable shmaddr,intshmflg);参数shmid需要映射的共享内存id。shmaddr填写非空地址则将共享内存映射到指定虚拟地址位置填写nullptrNULL则由操作系统自动分配地址常用。shmflag填写0可读可写常用填写SHM_RDONLY只读。返回值成功返回挂接后的虚拟地址。失败返回-1并设置errno。解除挂接intshmdt(constvoid*shmaddr);参数shmaddr填写挂接时获取的地址。返回值成功返回0。失败返回-1并设置errno。2.3、shmctl控制用于控制共享内存intshmctl(intshmid,intop,structshmid_ds*buf);参数shmid需要控制的共享内存id。op常用操作有IPC_STAT拷贝共享内存信息。IPC_RMID删除共享内存。IPC_SET删除共享内存。buf与op参数配合使用op为IPC_STAT时会将共享内存信息拷贝进buf指向的地址。返回值成功SHM_STAT返回shmid其他操作返回0。失败返回-1设置errno。3、共享内存应用思路服务端负责创建和删除共享内存在使用时不断从键盘输入字符写入共享内存不操作共享内存大小然后客户端不断从共享内存读取字符。遇到’Q’字符退出。项目路径makefile构建文件.PHONY:ALL ALL:Client Server Client:Client.cpp g -o Client -g Client.cpp Server:Server.cpp g -o Server -g Server.cpp .PHONY:clean clean: rm Server ClientServer.cpp#includeshm.hppintmain(){SHM shmmem;// 创建共享内存shmmem.Create();// 映射到共享区shmmem.Attach();// 开始使用char*addr(char*)shmmem.Addr();for(inti0;ishmmem.Size();i){std::cinaddr[i];// 像普通内存一样使用。if(addr[i]Q)break;}sleep(5);// 解除挂接shmmem.Detach();// 手删除共享内存shmmem.Delete();return0;}Client.cpp#includeshm.hppintmain(){SHM shmmem;// 获取共享内存shmmem.Get();// 映射到共享区shmmem.Attach();// 开始使用char*addr(char*)shmmem.Addr();inti0;do{for(i0;ishmmem.Size();i){std::coutaddr[i] ;if(addr[i]Q)break;}std::coutstd::endl;sleep(1);}while(addr[i]!Q);// 取消挂接shmmem.Detach();return0;}shm.hpp设计如下#define__SHM_HPP__#includesys/ipc.h#includesys/shm.h#includeiostream#includeunistd.h#definePATHNAME/tmp/#definePROJ_ID0x79478766classSHM{public:SHM(){}// 创建voidCreate(){GetHelper(IPC_CREAT|IPC_EXCL|0666);}// 获取voidGet(){GetHelper(0);}// 映射(挂接)voidAttach(){_start_addrshmat(_shmid,nullptr,0);if(_start_addr(void*)-1){std::cerrshmat:;exit(3);}}// 使用(获取共享内存起始地址)void*Addr(){return_start_addr;}// 解除映射voidDetach(){intnshmdt(_start_addr);if(n0){std::cerrshmdt:;exit(4);}}// 删除voidDelete(){intnshmctl(_shmid,IPC_RMID,nullptr);if(n0){std::cerrshmctl:;exit(5);}}intSize(){returnsize;}private:key_tGetKey(){returnftok(PATHNAME,PROJ_ID);}voidGetHelper(intflag){key_t keyGetKey();if(key0){std::cerrftok:;exit(1);}_shmidshmget(key,size,flag);if(_shmid0){std::cerrshmget error:;exit(2);}}private:int_shmid;void*_start_addr;intsize16;};#endif这条语句每个一秒执行ipcs -m可用于监控共享内存情况。whiletrue;doipcs -m;sleep1;done执行结果4、消息队列了解本文只对消息队列与信号量做简介因为实际生产中这两种通信方式正在逐渐淘汰。4.1、原理消息队列在内核中是一个带类型的链表队列。进程按照队列选择性读取。同共享内存一样内核中也用key标识唯一的消息队列。4.2、API函数获取/创建消息队列intmsgget(key_t key,intmsgflg);参数key与shmget一样常用ftok获取。msgflag与shmget一样传递权限与IPC_CREAT与IPC_EXCL。返回值成功返回msqid标识消息队列的唯一id。失败返回-1并设置errno。发送数据intmsgsnd(intmsqid,constvoidmsgp[.msgsz],size_t msgsz,intmsgflg);参数msqid发送数据的消息队列id。msgp发送的数据必须是以long开头的数据块常用结构体如structmsgbuf{longmtype;/* message type, must be 0 *///用于标识类型charmtext[1];/* message data */};msgsz除了mtype以外的大小例如strlen(mtext)。msgflg默认0消息队列满了就阻塞IPC_NOWAIT满了就出错返回。返回值成功返回0。失败返回-1并设置errno。接受数据ssize_tmsgrcv(intmsqid,voidmsgp[.msgsz],size_t msgsz,longmsgtyp,intmsgflg);参数msqid从目标消息队列id接受数据。msgp接受数据缓冲区与发送消息的结构体一样。msgsz最多接受数据大小不包含结构体中long类型。msgtyp接受的类型其他进程发送时设置的。msgflg默认0没有数据阻塞IPC_NOWAIT没有数据立即返回ENOMSG返回值成功实际接受数据的大小。失败返回-1并设置errno。控制信号量intmsgctl(intmsqid,intop,structmsqid_ds*buf);参数msqid控制的具体消息队列id。op具体操作有IPC_STATIPC_SETIPC_RMID等。buf搭配IPC_STAT使用用于获取信号量具体信息。返回值成功MSG_STAT/MSG_STAT_ANY返回shmid其他操作返回0。失败返回-1并设置errno。5、信号量理解并发概念5.1、并发概念与信号量并发常见问题进程通信的本质是让多个进程访问同一份资源。那么现有一份共享内存资源多个进程同时对其进程操作就会造成数据覆盖的安全性问题。这块共享内存就应该被保护起来同一时间只能由一个进程对其进程操作。涉及到的并发概念 共享资源多个执行流进程能看到的同一份资源。临界资源被保护起来的资源又叫互斥资源。互斥保护资源的方式同一时间只用由一个执行流访问临界资源。同步多个执行流访问资源具有一定的熟悉。临界区用来保护临界资源的代码片段。原子操作原子性一种操作只有做完和没做两种状态。保护的本质对访问临界资源的临界代码进程保护。信号量用来保护共享资源其本质是一个计数器原理是当一个进程访问时减一归还资源时加一。信号量本身也是一个共享资源但它的加减是原子操作因此是安全的。5.2、API函数获取/创建信号量intsemget(key_t key,intnsems,intsemflg);参数key同shmget常用ftok生成。nsems一次性创建nasems个信号量。semflg权限位与IPC_CREAT/IPC_EXCL。返回值成功返回标识信号量集的semid。失败返回-1并设置errno。控制函数初始化/删除/查看intsemctl(intsemid,intsemnum,intop,...);参数semid操作的信号量集semid。semnum操作的具体信号量集semid中具体第几个信号量。op常用的有IPC_RMID删除信号量集GET_VAL获取信号量值SET_VAL设置信号量值等。可变参数op参数为GETALL、SETALL时使用用于设置信号量集中所有信号量值获取所有信号量值。返回值成功GET系列宏返回获取的相应信息。IPC_INFO和SEM_INFO宏返回信号量在信号量集中下标。SEM_STAT和SEM_STAT_ANY返回semid。失败返回-1并设置errno。P/V操作函数semopintsemop(intsemid,structsembuf*sops,size_t nsops);参数semid操作的信号量集semid。sops该结构体内容为unsignedshortsem_num;/* semaphore number */// 操作的起始信号量shortsem_op;/* semaphore operation */// 1(P)、-1(V)、0(等待变成0)shortsem_flg;/* operation flags *///SEM_UNDO(进程退出自动归还信号量)、IPC_NOWAIT(不阻塞失败错误返回)、0(阻塞)nsops一次操作的信号量个数。返回值成功返回0。失败返回-1并设置errno。6、内核数据结构6.1、内核如何组织IPCstruct_kern_ipc_permIPC公共“父类”抽象出来的公共部分统一管理IPC信息。struct ipc_id_ary中管理所有的kern_ipc_perm又由struct ipc_ids三个不同的对象区分ipc_id_ary。6.2、shm文件映射由6.1节图所知struct中有一个struct file * shm_file指针可以看出共享内存是通过文件接口实现的这也linux下符合一切皆文件的思想。创建共享内存本质是创建一个文件对象挂接的本质是通过页表和mmap将不同进程的虚拟地址空间映射到同一个文件的内核缓冲区。这个文件对象不会刷新数据到磁盘只需要物理内存中有它的信息就行了。7、总结共享内原理是不同进程虚拟地址映射到同一物理地址。消息队列原理是在内核维护带类型的队列。信号量原理是底层维护一个整数其加减是内核维护的原子操作。理解system v标准几种通信方式的API接口都类似xxxget、xxxctl。信号量自带锁消息队列能阻塞等待但不自带锁共享内存没有任何自带保护机制。其中共享内存是读写最快的因为没有系统调用开销直接映射到的物理内存。