Linux 进程从入门到实战（一）

.个人主页晓风飞专栏数据结构|Linux|C语言路漫漫其修远兮吾将上下而求索文章目录进程为什么要存在内存操作系统进程什么是进程PCB进程控制块操作系统如何管理进程示例getpid查看进程的做法进程的 CWD当前工作目录bashkill进程状态问题2为什么同一个函数会返回两次问题3为什么同一个变量id即 0又大于0进程状态调度队列内嵌式双链表偏移量阻塞状态进程状态基本状态阻塞状态阻塞的本质3. 挂起状态挂起分类Swap 分区细节挂起状态的补充整体流程总结进程为什么要存在内存数据流动的本质是拷贝数据在计算机体系结构中流动CPU 不直接与外设打交道。CPU 需要数据时只能从内存中读取写数据时也只能写入内存。存储分级问题外设速度太慢与 CPU 之间存在巨大的速度代差因此 I/O 操作的效率相对较低。内存的作用c编译形成可执行程序代码数据文件程序运行前必须先加载到内存中这是体系结构的规定从纯硬件角度出发。内存为计算机提供了更高的性价比提升了整体运行效率。操作系统操作系统是一个管理软硬件资源的软件。广义操作系统操作系统内核 核心应用软件狭义操作系统操作系统内核Linux 内核主要包含进程管理文件管理内存管理驱动与设备管理进程什么是进程教材定义运行起来的程序就是进程加载到内存中的程序叫做进程。更准确的理解进程 内核数据结构task_struct 程序的代码和数据。可以类比为学生 学籍信息 本人。用户让操作系统执行某个任务、加载某个程序都会被转换成进程。一切指令执行、工具执行、软件执行本质上都是进程在运行。进程就是用户要做什么PCB进程控制块PCB 内部包含了描述进程的所有属性。操作系统通过“先描述再组织”的方式来管理进程类似于找工作进程是求职者PCB 是简历CPU 是面试官操作系统是 HR 调度。在 Linux 中输入 top 命令可以查看进程类似于 Windows 的任务管理器。os内部可以同时存在多个进程操作系统如何管理进程操作系统必须对进程进行管理管理方式是“先描述再组织”。每个进程在内核中都有一个对应的内核数据结构——PCBProcess Control Block进程控制块struct task_struct { 进程属性链接字段 }进程的前身我们叫做程序, 程序在没有加载到内存之前以文件的形式存储在磁盘上冯·诺依曼原理。程序加载到对应内存中才会变成进程当程序加载到内存时操作系统不仅会加载代码和数据还会在内核中创建一个 task_struct包含了描述当前进程所有属性的结构体也包含了程序在内存中的代码和数据操作系统创建进程。结构体来描述该进程。如果内存中存在多个进程操作系统会将所有 PCB 连接起来形成一个链表。CPU 调度时会遍历链表选择优先级最高的进程来执行。操作系统对进程的管理本质上就是对链表进行增删查改。示例getpid#includestdio.h#includeunistd.h#includesys/types.hintmain(){pid_tidgetpid();while(1){printf(hello, i am a proces , pid: %d\n,id);sleep(1);fflush(stdout);}return0;}对应的Makefileyproc:code.c gcc-o $ $^.PHONY:clean clean:rm-f myproc~运行 ./myproc 后可以看到当前进程的 PID如 2367。getpid() 本质上是从 task_struct 中获取进程的 PID 字段。structtask_struct{pid_tpid;}ctrlc本质是终止进程终止后下次再运行操作系统给与的pid值不同查看进程的做法1.process-/proc 2命令linux一切皆文件数字目录本身是特定进程对应的pid我们在一个端口运行程序另一个端口查看进程如果这时候把进程的可执行程序删除会不会对进程暂时有影响吗我们输入rm proc删除掉正在执行的程序这时候在进进程里ls下可以发现可执行程序属性冒红发现被deleted删除了进程的 CWD 如果指向一个被删除的目录进程依然可以正常运行内核会持有目录的引用计数不会立刻释放但此时你用相对路径创建文件会失败因为对应的目录已经不存在了。注意进程的 CWD当前工作目录在哪里CWD 存储在进程文件系统信息结构体 fs_struct 中并由进程控制块 task_struct 内的指针所管理。子进程会继承父进程的 CWD。为什么需要 CWD实现 “工作目录隔离”避免路径冲突不同进程可以有不同的 CWD比如你在两个终端里分别在dirA和dirB下运行同一个程序它们打开的config.txt会分别对应dirA/config.txt和dirB/config.txt互不干扰。“文件不存在时进程帮忙创建”本质也是基于 CWD比如你用fopen(“new.txt”, “w”)创建文件内核会基于进程的 CWD把相对路径解析成绝对路径再创建文件。如果没有 CWD内核不知道文件该创建在哪个目录下。chdir更改当前进程的工作路径进程可以通过int chdir(const char *path); 修改自己的 CWD但这个修改只会影响当前进程和它后续创建的子进程不会影响父进程比如终端。#getcwd获取当前进程的工作路径我在/home/dzh/work目录下gcc编译程序#includestdio.h// 必须有 ##includeunistd.h#includesys/types.hintmain(){charpwd[128];getcwd(pwd,128);printf(before: %s\n,pwd);chdir(/home/dzh/work);getcwd(pwd,128);printf(after: %s\n,pwd);pid_tidgetpid();FILE*fpfopen(log.txt,w);(void)fp;while(1){printf(hello, I am a process, pid: %d\n,id);sleep(1);}return0;}这时候可以看到程序当前路径变成了home/dzh2命令ps查看当前目录进程ps ajx | grep procmyps ajx 看 父子进程关系、PID、PPID、PGID、SID偏进程关系ps aux | grep procmyps aux 看 CPU、内存占用、运行时间、用户偏资源占用实用命令ps ajx |head -1 ps ajx | grep procmy先打印表头再搜索你的进程这样你看结果时每一列是什么意思一目了然ps ajx | head -1 # 只输出第一行标题头 # 并且前面成功才执行后面ps ajx | grep procmy # 搜索你的进程 procmybashash 命令行解释器本身也是一个进程它以死循环的方式运行负责接收用户输入的命令并创建子进程来执行。通过 ps ajx 可以查看进程间的父子关系。当你登录 Linux 后系统给你启动的-bash进程就是你当前终端的父进程查看你的 bash 进程 PIDecho $$查看它的父进程通常是终端/sshdps -ef | grep $PPID它的工作就是接收你输入的命令创建子进程来执行。killkill -9进程可以kill掉bash会发现掉线类似bash它是如何创建字进程的呢fork创建子进程#includestdio.h#includeunistd.h#includesys/types.h#includestdlib.hintmain(){printf(fork 之前我是一个进程pid: %d, ppid: %d\n,getpid(),getppid());fork();printf(fork 之后我是一个进程pid: %d, ppid: %d\n,getpid(),getppid());sleep(1);return0;}pid#includestdio.h#includeunistd.h#includesys/types.h#includestdlib.hintmain(){pid_tidfork();if(id0){while(1){printf(读书...\n);sleep(1);}}elseif(id0){while(1){printf(种地...\n);sleep(1);}}return0;可以看到两个进程同时在运行进程状态子进程以父进程为模板进行创建父进程创建子进程代码默认是被子进程共享的子进程后续默认只能执行父进程fork之后的代码问题1为什么给子进程返回0给父进程返回子进程的pid子进程返回 0子进程知道自己是谁不需要通过返回值来获取 PID可以通过 getpid() 获取返回 0 只是告知它是子进程。一个父进程可以创建多个子进程1:n 关系父进程需要知道每个子进程的 PID才能对它们进行管理比如 wait() 等待、kill() 终止。如果父进程也返回 0它就分不清哪个是哪个子进程了。就像家长有多个孩子每个孩子只需要知道 “我是孩子”但家长必须知道每个孩子的学号才能点名、管理。问题2为什么同一个函数会返回两次a如果函数都准备return了这个函数的核心工作做完了吗常规函数工作没做完就不会走到 return一旦 return函数就结束了只返回一次。但是fork() 的核心工作是创建一个新进程在父进程中将 task_struct 复制一份修改属性PID、PPID 等并将新进程放入调度队列。新进程创建完成后两个进程都会继续执行 fork() 的剩余逻辑父进程将子进程 PID 写入自己的变量并返回子进程将 0 写入变量并返回。因此fork() 不是同一个函数被调用了两次而是两个进程各自执行了该函数的 return 部分。问题3为什么同一个变量id即 0又大于0核心在于进程独立性与写时复制Copy-on-Write。fork() 时子进程会复制父进程的虚拟地址空间因此父子进程的变量 id 在虚拟地址上是相同的但它们映射到不同的物理内存。写时复制机制刚 fork() 完成时父子进程共享同一块物理内存只读。当任意一方需要修改数据时系统会复制一份新的物理内存给修改方之后双方的变量就完全独立了。因此父进程的 id 和子进程的 id 是两个不同的物理内存变量只是虚拟地址相同它们的值可以不同且互不影响。这个地址不可能是物理地址-虚拟地址反回的本质就是写入本质不是同一个变量只不过是虚拟地址相同物理内存中其实是分开的进程状态进程状态本质就是task——struct内部的一个整型变量站在操作系统原理角度解释进程状态运行阻塞挂起FIFO调度算法进程处于运行状态可是task_struct他不是属于双链表怎么能还属于调度队列呢内核链表的实现int a 104个字节a标识一个地址类型决定大小结构体呢c语音对任何类型开辟空间的时候变量的地址在数字上等于开辟的众多字节中地址最小的那个数字调度队列在单CPU系统中每一个CPU都必须有一套自己的调度队列。调度队列本质上就是一个队列结构把所有处于就绪态的进程的PCB以某种数据结构连接起来。只要一个进程的PCB位于这个调度队列中我们就称它处于R状态运行状态——注意R状态并不代表进程正在CPU上运行而是代表它随时可以被调度。内嵌式双链表传统的链表节点通常会包含数据域例如structnode{intdata;structnode*prev,*next;};但内核中的链表节点不包含任何业务属性只包含前驱和后继指针structlist_head{structlist_head*prev,*next;};那么如何将链表节点嵌入到进程控制块PCB中呢Linux的做法是在PCB结构体内部定义一个list_head类型的成员。例如structtask_struct{// ... 很多字段structlist_headrun_list;// 用于挂入调度队列structlist_headwait_list;// 用于挂入等待队列// ...};关键技巧已知结构体内某个成员的地址如何反推出整个结构体的起始地址通过计算成员在结构体中的偏移量。内核提供了container_of宏#definecontainer_of(ptr,type,member)\((type*)((char*)(ptr)-offsetof(type,member)))这样就可以通过链表节点的指针找到整个PCB的起始地址。利用这种技术一个PCB可以同时属于多个队列全局进程链表、每个CPU的运行队列、设备的等待队列等。这就实现了灵活的组织。偏移量求对象d在obj中的偏移量因为系统是64位取地址占8字节强转int取地址是4字节所以用long longd的偏移量是16遍历用偏移量找到pid内核为什么要这么做1.对内核对象进行管理更具有通用性2struct task_struct{//进程其他属性struct list_head link;struct list_head queue_linkstruct list_head hash;}一个进程插入多个结构一个struct task_struct就可以属于双链表也可以属于调度队列未来还可以属于任何结构阻塞状态比如c语言中的scanf输入时用户没有输入操作系统管理硬件也要先描述在组织所有它所描述的对应硬件结构体里也可以包含进程相关的链接字段当一个进程正在运行比如执行scanf发现底层的硬件没有就绪就会把进程pcb从cpu调度中剥离下来放到比如键盘的等待队列中进程就不被调度了就阻塞了当硬件准备好了操作系统又会把等待队列中的把对应的等待进程重新放回运行队列里进而进行调用读取进程状态基本状态在操作系统学科中进程有三种基本状态运行态、就绪态、阻塞态。此外还有挂起态。运行态进程正在CPU上执行。就绪态进程已经准备好只等CPU调度。阻塞态进程因为等待某种资源如键盘输入、磁盘I/O而主动放弃CPU。挂起态当内存资源严重不足时操作系统会把部分进程的代码和数据交换到磁盘的swap分区以释放内存空间。挂起可以发生在阻塞态或就绪态上。这个过程对用户透明操作系统不会主动告诉用户“我把你的进程挂起了”。进程状态本质上是 task_struct 中的一个整型变量。从操作系统原理的角度进程的基础状态主要有三种就绪态等待 CPU、运行态正在占用 CPU、阻塞态等待 I/O 或事件。当系统内存紧张时还会将某些进程的代码和数据换出到磁盘形成挂起态又可细分为静止就绪和静止阻塞。阻塞状态例如在 C 语言中执行 scanf如果用户没有输入硬件设备如键盘就未就绪。操作系统管理硬件也遵循“先描述再组织”的原则硬件的结构体中会包含与进程相关的链接字段。当进程执行 scanf 发现底层硬件未就绪时操作系统会将进程的 PCB 从 CPU 调度队列中移除放入该硬件如键盘的等待队列中。此时进程不再被调度进入阻塞状态。当硬件准备就绪后操作系统会将等待队列中的进程重新放回运行队列继续执行。阻塞的本质当一个进程执行到scanf等待键盘输入时如果键盘没有数据进程就会进入S状态可中断睡眠。这是Linux中的一种阻塞状态。它的底层过程是1. 进程正在CPU上运行调用scanf。 2. 操作系统发现键盘设备尚未就绪没有数据可读。 3. 操作系统将当前进程的PCB从调度队列中摘下。 4. 将该PCB挂入键盘设备描述结构体的等待队列中。 5. 进程状态从R改为S。 6. 当用户敲击键盘键盘产生中断驱动程序获知设备就绪。 7. 驱动程序将等待队列中的PCB摘下重新放回调度队列。 8. 进程状态从S改回R。 9. CPU调度该进程继续执行scanf读取数据。总结所谓的阻塞就是进程在等待某种资源。它等待什么资源就把自己的PCB放到那个资源的等待队列里。3. 挂起状态核心概念用时间换取内存空间。当系统物理内存紧张时操作系统会将暂时无法运行的进程的代码段、数据段从物理内存移至磁盘的 Swap 分区 暂存仅保留 PCB。待条件满足后再将数据从磁盘调入内存加入调度队列等待 CPU 执行。内存紧张时系统频繁做进程换入换出本质就是用 IO 时间成本换取内存空间以此腾出运行空间。即便开启阻塞挂起、运行挂起内存依旧严重不足时系统就会执行杀进程操作直接终止占用资源多的进程彻底释放内存。日常电脑、手机软件无故闪退大多就是系统内存耗尽主动清理杀掉进程导致。两种挂起区分阻塞挂起进程处于等待阻塞状态时提前将代码数据换到磁盘分区等待条件满足后再调回内存、加入调度队列等待运行。就绪挂起进程在就绪调度队列排队还未轮到 CPU 执行就先把数据转出磁盘轮到调度再调入内存执行。挂起 数据换出存磁盘激活 数据换回内存频繁读写磁盘外设会大幅拖慢系统运行速度这就是多开软件设备卡顿的核心原因。补充知识操作系统安装时会自动划分交换分区专门用来存放被挂起转出的进程数据。Windows、Linux 系统都可自行查看磁盘分区直观看到该分区空间。挂起分类阻塞挂起进程因等待外设响应、系统资源或信号等进入阻塞等待队列内存不足时其代码与数据被换出至 Swap 分区释放内存。就绪挂起进程已准备就绪在就绪队列中等待 CPU 调度。内存压力大时系统会提前将闲置的就绪进程置换到 Swap 分区为活跃进程腾出内存。Swap 分区细节作用充当“内存备胎”实现逻辑内存扩容统一存放被挂起进程的代码与数据缓解物理内存满载导致的系统运行阻塞。弊端底层依赖磁盘 I/O读写速度远低于物理内存。分区过大易导致系统过度依赖 Swap频繁触发换入换出操作消耗系统资源降低整机效率使进程唤醒加载耗时增加出现明显卡顿。大小建议小内存设备Swap 容量 物理内存容量常规办公设备Swap 容量 物理内存的 1/216G 及以上大内存设备配置 2~4G 即可服务器场景主流云服务器默认关闭 Swap 分区以节省磁盘资源、避免高频 I/O 损耗保障高性能稳定运行。系统弊端进程频繁换入换出产生海量磁盘 I/O拉高系统负载闲置进程唤醒需二次加载数据启动和响应速度变慢日常多开软件卡顿、后台程序掉线核心原因往往是内存爆满触发进程挂起置换。内存耗尽应急机制OOM 当进程挂起和 Swap 全部用尽后内存依然严重不足时操作系统会启动 OOM 进程查杀机制自动筛选高内存占用、低优先级的后台进程强制终止彻底释放其占用的全部内存资源以保障系统核心进程稳定运行。实际表现移动端 APP 无故闪退、后台应用被清理服务端高并发场景业务进程宕机、网站服务崩溃。理论状态与 Linux 实际状态的区别教材理论中的进程状态通常更完整包括新建态、就绪态、运行态、阻塞态、挂起态等划分细致。而 Linux 实际内核实现中的状态分类会略有不同更为具体。挂起状态的补充挂起状态在Linux中并没有单独的状态码显示。为什么打个比方你家里很穷你上大学的生活费是父母借钱凑的但父母不会每次给你钱时都说“这是借来的”。操作系统也一样它把进程的代码和数据换出到swap分区但不会在状态上体现出来。用户看到的仍然是S或R状态。这是Linux对用户的友好隐藏。整体流程总结内存充足所有进程常驻物理内存CPU 直接调度执行。内存紧张闲置的阻塞或就绪进程触发挂起数据存入 Swap 分区释放内存。进程就绪从 Swap 调取数据重回内存加入就绪队列等待调度。内存爆满挂起机制失效系统自动查杀多余进程兜底保障系统运行。