多进程编程总结

本章记录笔者在多进程编程中的实验心得与感受。1、多进程的相关概念1进程是程序一次执行的过程有一定的生命周期分为创建态就绪态执行态挂起态和死亡态。2进程是计算机资源分配的基本单位系统会给每个进程分配0--4G的虚拟内存其中0--3G是用户空 间3--4G是内核空间3其中多个进程中0--3G的用户空间是相互独立的但是3--4G的内核空间是相互共享的 用户空间细分为栈区、堆区、静态区4进程的调度机制时间片轮询上下文切换机制请注意如果你足够细心你会发现这和我们在计算机组成原理里面讲过的并发行为很相似单核多次轮询是多进程编程的精髓所在区别于多线程编程那个就是我们常讲的并行了。4 并发和并行的区别并发针对于单核CPU系统在处理多个任务时使用相关的调度机制实现多个任务进行细化时间 片轮询时在宏观上感觉是多个任务同时执行的操作同一时刻只有一个任务在被CPU处理并行是针对于多核CPU而言处理多个任务时同一时间每个CPU处理的任务之间是并行的 实现的是真正意义上多个任务同时执行2、进程的内存管理1 物理内存内存条上硬件上真正存在的存储空间2 虚拟内存程序运行后通过内存映射单元将物理内存映射出4G的虚拟内存共进程使用进程和程序的区别进程进程是动态的程序一次执行的过程有生命周期会被内核分配1-3G用户空间进程在内存实时上存着。程序程序是静态的没有生命周期是存在磁盘存储设备上的二进制文件eg:hello.cpp -g hello.cpp - a.out进程的种类进程一共有三种交互进程、批处理进程、守护进程1 交互进程它是由shell控制可以直接和用户进行交互的例如文本编辑器2 批处理进程内部维护了一个队列被放入该队列中的进程会被统一处理。例如 g编译器的一 步到位的编译3 守护进程脱离了终端而存在随着系统的启动而运行随着系统的退出而停止。例如操作系统 的服务进程进程PID的概念1 PIDProcess ID:进程号进程号是一个大于等于0的整数值是进程的唯一标识不可能重 复。2 PPID(Parent Process ID):父进程号系统中允许的每个进程都是拷贝父进程资源得到的3 在linux系统中的 /proc目录下的数字命名的目录其实都是一个进程特殊的进程1 0号进程idel他是由linux操作系统启动后运行的第一个进程也叫空闲进程当没有其他进 程运行时会运行该进程。他也是1号进程和2号进程的父进程2 1号进程init由0号进程创建处理硬件初始化和收养孤儿进程的操作3 2号进程kthreadd也称调度进程由0号进程创建主要完成任务调度问题 、4 孤儿进程当前进程还正在运行其父进程已经退出了。 说明每个进程退出后其分配的系统资源应该由其父进程进行回收否则会造成资源的浪费5 僵尸进程当前进程已经退出了但是其父进程没有为其回收资源好了下面笔者记录一下关于孤儿进程和僵尸进程的处理办法首先是孤儿进程因为linux特有的孤儿进程处理机制即1号进程收养。系统处理孤儿进程会被 init 进程 (PID1) 或 systemd 自动收养孤儿进程继续正常运行不受影响当孤儿进程结束时init 进程会负责回收其资源影响几乎无负面影响系统会自动处理。僵尸进程子进程先退出但父进程没有回收其退出状态导致子进程的进程描述符仍驻留在内核中僵尸进程已经死亡不占用 CPU、不占用内存只占用一个进程表项内核中的一个小结构体。所以这里我们不能用常用的kill -9进程名来处理这个问题此时如果实使用 ps aux | a.out可以看到未被回收的子进程有Z的标识。注意单个僵尸进程影响很小但如果大量积累如成千上万个会耗尽系统的 进程号资源导致无法创建新进程。人工处理办法孤儿进程不用处理我们现在介绍僵尸进程的预防子进程退出后父进程使用:wait(NULL); // 阻塞等待任意子进程 // 或 waitpid(pid, NULL, 0); // 等待特定子进程 // 或 waitpid(pid, NULL, WNOHANG); // 非阻塞等待或者忽略信号让内核进程1统一回收// 在父进程中设置 signal(SIGCHLD, SIG_IGN); // 之后创建子进程时子进程退出后会自动被内核回收 // 注意这样就无法获取子进程的退出状态了处理方面# 找到僵尸进程的父进程 ps -eo pid,ppid,stat,cmd | grep Z # 杀死父进程假设父进程 PID 是 1234 kill -9 1234 # 或者发送 SIGCHLD 信号提醒父进程回收 kill -CHLD 1234杀死僵尸进程的父进程会让进程1来接管一切然后内核自动处理。进程操作指令//ps指令能够查看当前运行的进程相关属性 ps -ef //:能够显示进程之间的关系 UID用户ID号 PID进程号 PPID父进程号 C:用处不大 STIME:开始运行的时间 TTY如果是问号表示这个进程不依赖于终端而存在 CDM名称 ps -ajx //:能够显示当前进程的状态 PGID进程组ID SID会话组ID STAT进程的状态 ps -aux //:可以查看当前进程对CPU和内存的占用率 %CPUCPU占用率 %MEM 内存占用率 top //动态查看进程的相关属性 kill指令发送信号的指令 使用方式kill -信号号 进程号 可以通过指令kill -l查看能够发送的信号有哪些 pidof查看进程的进程号 使用方式pidof 进程名进程的状态切换1、如果有停止的进程可以在终端输入指令jobs -l查看停止进程的作业号 2、通过使用指令bg 作业号 实现将停止的进程进入后台运行状态如果只有一个停止的进程输入bg不 加作业号也可以 3、对后台运行的进程输入 fg 作业号 实现将后台运行的进程切换到前台运行 4、直接将可执行程序后台运行 ./可执行程序 多进程的实现1、创建父子进程pid_t pidfork(); //此时pid0为父进程pid0为子进程注意父进程结束要wait(NULL)等待子进程的exit(0);2、父子进程号获取#include sys/types.h #include unistd.h pid_t getpid(void); 功能获取当前进程的进程号 参数无 返回值当前进程的进程号 pid_t getppid(void); 功能获取当前进程的父进程pid号 参数无 返回值当前进程的父进程pid使用方法#include stdio.h #include unistd.h #include sys/types.h int main() { printf(当前进程 PID: %d\n, getpid()); printf(父进程 PPID: %d\n, getppid()); return 0; }进程退出exit/_exit#include stdlib.h void exit(int status); 功能退出当前进程并刷新当前进程打开的标准IO的缓冲区 参数进程退出时的状态会将改制 与 0377进行位与运算后返回给回收资源的进程 返回值无 #include unistd.h void _exit(int status); 功能退出当前进程不刷新当前进程打开的标准IO的缓冲区 参数进程退出时的状态会将改制 与 0377进行位与运算后返回给回收资源的进程 返回值无进程回收wait(NULL)最常见。进程间通信1 由于多个进程的用户空间是相互独立的其栈区、堆区、静态区的数据都是彼此私有的所以不可 能通过用户空间中的区域完成多个进程之间数据的通信2 可以使用外部文件来完成多个进程之间数据的传递一个进程向文件中写入数据另一个进程从文 件中读取数据。该方式要必须保证写进程先执行然后再执行读进程要保证进程执行的同步性3 我们可以利用内核空间来完成对数据的通信工作本质上在内核空间创建一个特殊的区域一个 进程向该区域中存放数据另一个进程可以从该区域中读取数据管道通信1 管道的原理管道是一种特殊的文件该文件不用于存储数据只用于进程间通信。管道分为有名管道和无名管道。2 在内核空间创建出一个管道通信一个进程可以将数据写入管道经由管道缓冲到另一个进程中读取无名管道无名管道顾名思义就是没有 名字的管道会在内存中创建出该管道不存在于文件系统随着进程结束而消失。无名管道仅适用于亲缘进程间通信不适用于非亲缘进程间通信 。 无名管道的API。int fd[2]; pipe(fd); // 创建管道fd[0]读端fd[1]写端 pid_t pid fork(); if (pid 0) { // 父进程 - 写 close(fd[0]); // 关闭读端 const char *msg Hello from parent; write(fd[1], msg, strlen(msg)); close(fd[1]); } else if (pid 0) { // 子进程 - 读 close(fd[1]); // 关闭写端 char buf[100] {0}; read(fd[0], buf, sizeof(buf)); printf(子进程收到: %s\n, buf); close(fd[0]); }有名管道有名管道有名字的管道文件会在文件系统中创建一个真实存在的管道文件 既可以完成亲缘进程间通信也可以完成非亲缘进程间通信进程1写端 mkfifo(/tmp/my_fifo, 0664); // 创建有名管道 int fd open(/tmp/my_fifo, O_WRONLY); const char *msg Hello from writer; write(fd, msg, strlen(msg)); close(fd); 进程2读端 int fd open(/tmp/my_fifo, O_RDONLY); char buf[100] {0}; read(fd, buf, sizeof(buf)); printf(收到: %s\n, buf); close(fd); return 0;注意管道通信是半双工一次只能一端到另一端。信号信号 软件中断是进程间通信的异步通知机制。异步性信号随时可能到达打断进程正常执行简单性只传递信号编号不携带复杂数据全局性同一信号对所有进程含义相同kill -l # 列出所有信号 man 7 signal # 查看信号手册信号的处理方式#include signal.h //忽略信号 signal(SIGINT, SIG_IGN); // 忽略 CtrlC //自定义信号 #include stdio.h #include stdlib.h #include unistd.h #include signal.h // 信号处理函数 void sig_handler(int sig) { printf(\n收到信号: %d\n, sig); // 注意处理函数中只能调用异步信号安全函数 } int main() { // 注册信号处理函数 signal(SIGINT, sig_handler); while (1) { printf(运行中... (按 CtrlC 测试)\n); sleep(2); } return 0; }//举例子 #includemyhead.h //定义信号处理函数 void handler(int signo) { if(signo SIGUSR1) { printf(逆子何至于此!!!\n); raise(SIGKILL); //向自己发送一个自杀信号 kill(getpid(), SIGKILL) } } int main(int argc, const char *argv[]) { //将子进程发送的信号绑定到指定功能中 if(signal(SIGUSR1, handler) SIG_ERR) { perror(signal error); return -1; } //创建父子进程 pid_t pid fork(); if(pid 0) { //父进程 while(1) { printf(我真的还想再活五百年\n); sleep(1); } }else if(pid 0) { //子进程 sleep(5); printf(红尘已经看破叫上父亲一起死吧\n); kill(getppid(), SIGUSR1); //向自己的父进程发送了一个自定义的信号 exit(EXIT_SUCCESS); //退出进程 } return 0; }system V提供的进程间通信概述这一章我们将要介绍消息队列和共享内存这两个概念其中共享内存和信号量搭配使用。1 对于内核提供的三种通信方式对于管道而言只能实现单向的数据通信对于信号通信而言只 能完成多进程之间消息的通知不能起到数据传输的效果。为了解决上述问题引入的系统 V进程间通 信2 system V提供的进程间通信方式分别是消息队列、共享内存、信号量信号灯集3 有关system V进程间通信对象相关的指令ipcs 可以查看所有的信息消息队列、共享内存、信号量 ipcs -q:可以查看消息队列的信息 ipcs -m:可以查看共享内存的信息 ipcs -s:可以查看信号量的信息 ipcrm -q/m/s ID :可以删除指定ID的IPC对象4 上述的三种通信方式也是借助内核空间完成的相关通信原理是在内核空间创建出相关的对象容 器在进行进程间通信时可以将信息放入对象中另一个进程就可以从该容器中取数据了。5 与内核提供的管道、信号通信不同system V的ipc对象实现了数据传递的容器与程序相分离也 就是说即使程序以己经结束但是放入到容器中的数据依然存在除非将容器手动删除。消息队列使用消息队列要通过声明结构体传输此时结构体需要有一个类型变量和一个消息存储容器而后续我们的空间大小是总大小减去类型变量大小的空间。注意1、对于消息而言由两部分组成消息的类型和消息正文消息结构体由用户自定义2、对于消息队列而言任意一个进程都可以向消息队列中发送消息也可以从消息队列中取消息3、多个进程使用相同的key值打开的是同一个消息队列4、对消息队列中的消息读取操作是一次性的被读取后消息队列中不存在该消息了5、消息队列的大小16K7使用过程1、声明结构体 2、key_t一个独有钥匙key 3、msgget(key,IPC_CREAT|0664)申请一个队列空间返回msgid; 4、用结构体声明一个消息 5、如果是接收那就bzero,如果发送那就fgets(buf,MSGSZ,stdin);buf.mtext[strlen(buf.mtext)-1] \0; 6、如果发送那就msgsnd(msqid, buf, MSGSZ, 0);如果接收那就 msgrcv(msqid, buf, MSGSZ, 1, 0);(参数4 0:表示每次都取消息队列中的第一个消息无论类型。0:读取队列中第一个类型为msgtyp的消息。0:读取队列中的一个消息消息为绝对值小于msgtyp的第一个消息) 7、删除消息队列msgctl(msqid, IPC_RMID, NULL)共享内存5 注意//通过地址访问共享内存中的数据1、共享内存是多个进程共享同一个内存空间使用时可能会产生竞态为了解决这个问题共享 内存一般会跟信号量一起使用完成进程的同步功能2、共享内存VS消息队列消息队列能够保证数据的不丢失性而共享内存能够保证数据的时效性3、对共享内存的读取操作不是一次性的当读取后数据依然存放在共享内存中4、使用共享内存跟正常使用指针是一样的使用时无需再进行用户空间与内核空间的切换 了所以说共享内存是所有进程间通信方式中效率最高的一种通信方式。使用方法1、通过key_t创建一个key值 2、通过shmid shmget(key, PAGE_SIZE, IPC_CREAT|0664)创建共享内存段返回shmid。 3、类指针操作将共享内存段映射到用户空间char *addr (char *)shmat(shmid, NULL, 0) 4、同消息队列的发送接收操作 5、shmdt取消映射shmdt(addr) 6、shmctl(shmid, IPC_RMID, NULL) -1删除共享内存段信号量注意1、信号量集是完成多个进程间同步问题的一般不进行信息的通信2、信号量集的使用本质上是对多个value值进行管控每个信号量控制一个进程在进程执行 前申请一个信号量的资源执行后释放另一个信号量的资源3、如果当前进程申请的信号量值为0则当前进程在申请处阻塞直到其他进程将该信号量中的 资源增加到大于0使用方法#includemyhead.h union semun { int val; // 设置信号量的值 struct semid_ds *buf; //关于信号量集属性的操作 unsigned short *array; //对于信号量集中所有信号量的操作 struct seminfo *__buf; /* Buffer for IPC_INFO(Linux-specific) */ }; //定义一个关于对信号量初始化函数 int init_sem(int semid, int semno) { int val -1; printf(请输入第%d个信号量的初始值, semno1); //让用户输入信号量的初始值 scanf(%d, val); getchar(); //吸收回车以免影响其他程序 //调用semctl完成设置 union semun us; us.val val; if(semctl(semid, semno, SETVAL, us) -1) { perror(semctl error); return -1; } return 0; } //创建信号量集并初始化:semcount表示本次创建的信号量集中信号灯的个数 int create_sem(int semcount){ //1、创建key值 key_t key ftok(/, k); if(key -1) { perror(ftok error); return -1; } //2、通过key值创建信号量集 int semid -1; if((semid semget(key, semcount, IPC_CREAT|IPC_EXCL|0664)) -1) { if(errno EEXIST) //表示信号量集已经存在直接打开即可 { semid semget(key, semcount, IPC_CREAT|0664); //将信号量集直接打开 return semid; } perror(semget error); return -1; } //3、循环将信号量集中的所有信号量进行初始化 //该操作只有在第一次创建信号量集时需要进行操作后面再打开该信号量集时就无需进行初始化 操作了 for(int i0; isemcount; i) { init_sem(semid, i); //调用自定义函数将每个信号量进行初始化 } //将信号量集的id返回 return semid; } //申请资源操作semno表示要被申请资源的信号量编号 int P(int semid, int semno) { //定义一个结构体变量 struct sembuf buf; buf.sem_num semno; //要操作的信号编号 buf.sem_op -1; //-1表示要申请该信号量的资源 buf.sem_flg 0; //表示阻塞形式进行申请 //调用semop函数完成资源的申请 if(semop(semid, buf, 1) -1) { perror(P error); return -1; } return 0; } //释放资源操作semno表示要被释放资源的信号量编号 int V(int semid, int semno) { //定义一个结构体变量 struct sembuf buf; buf.sem_num semno; buf.sem_op 1; buf.sem_flg 0; //要操作的信号编号 //1表示要释放该信号量的资源 //表示阻塞形式进行释放 //调用semop函数完成资源的释放 if(semop(semid, buf, 1) -1) { perror(V error); return -1; } return 0; } //删除信号量集 int delete_sem(int semid) { //调用semctl函数完成对该信号量集的删除 if(semctl(semid, 0, IPC_RMID) -1) { perror(delete error); return -1; } return 0; }上述是第一步手动封装信号量函数简化后续调用相当于预处理操作。2、int semid create_sem(2); 调用自定义函数完成对信号量集的创建 3、共享内存板块 4、while内操作开始和结束调用 P(semid, 0); 和 V(semid, 1); 5、调用自定义函数删除信号量集 delete_sem(semid);若有遗漏将会补充