当前位置: 首页 > news >正文

《深入Linux内核架构》第2章 进程管理和调度 (2)

目录

2.4 进程管理相关的系统调用

2.4.1 进程复制

2.4.2 内核线程

2.4.3 启动新程序

2.4.4 退出进程


本专栏文章将有70篇左右,欢迎+关注,订阅后续文章。

2.4 进程管理相关的系统调用

2.4.1 进程复制

1. _do_fork函数

        fork vfork clone都最终调用_do_fork

                clone:通过CLONE_XX标志精确控制父子进程共享哪些资源。

                vfork:由于fork使用了COW技术,vfork优势不再,使用少。

COW:copy-on-write,写时复制。

        

fork子进程时,使用COW机制,原理:

        1. 不复制父进程的地址空间。而是将父进程的地址空间标记为只读,并与子进程共享相同的物理内存页。

        2. 当父进程或子进程有写内存时,发生缺页异常。

       3. 缺页异常处理中检查该页是否可以写。

                若可以,写数据到内存页,再修改子进程页表项。

                若不可以,段错误。

COW页:减少不必要的拷贝,提高性能。

2. 执行系统调用

long do_fork(unsigned long clone_flags,unsigned long stack_start,unsigned long stack_size,int __user *parent_tidptr,int __user *child_tidptr)stack_start:用户栈parent_tidptr,child_tidptr:用于返回线程ID给用户空间,因为pthread_create函数需要tid值

系统调用在用户空间和内核空间传递参数的方法因体系结构而异。

方法有:

        寄存器传递:速度快,但寄存器数量有限。

        栈传递:可传递内容多。

3. do_fork的实现

copy_process:见下节

wake_up_new_task:将该新进程加入调度器队列。

4. copy_process 复制进程

dup_task_struct函数:

        复制父进程的task_struct和thread_info结构体。

task_struct:存储体系架构无关的通用信息。

thread_info:存储线程的重要信息,不同体系架构定义不一样。从task_struct中独立出来。

        通常包含:内核栈栈顶,指向当前线程的task_struct等。

        task_struct:存储体系架构无关的通用信息。

创建新进程时分配了新的内核栈,即task_struct->stack

复制后,父子进程两个的task_struct结构体只有一个成员不同:

        新进程分配了一个自己的内核栈,即task_struct->stack

union thread_union {struct thread_info thread_info; 定义在不同体系中unsigned long stack[THREAD_SIZE/sizeof(long)];
};

每个进程有一个内核栈,大小为8K。如下:

THREAD_SIZE=8K,即上图内核栈最大为8K,恶意操作内核栈可能覆盖thread_info

struct thread_info {            //以arch/arm为例unsigned long            flags;            int                      preempt_count;    抢占计数,表示当前线程是否可被抢占。struct task_struct        *task;            代表当前线程__u32                     cpu;                当前线程所在CPU    struct cpu_context_save   cpu_context;    保存着CPU寄存器(如PC,SP等)
};其中thread_info中flag有:TIF_SIGPENDING 当前进程是否有待决信号TIF_NEED_RESCHED 当前进程想让出CPU,调度器选择其他进程执行。TIF = Thread Info Flag

如何访问指定线程的thread_info?

        (struct thread_info *) (task)->stack

如何根据当前线程thread_info找到当前线程的task_struct?

        task_struct *current = current_thread_info()->task

如何访问当前线程的thread_info?

struct thread_info *current_thread_info(void)        ARM为例
{register unsigned long sp asm ("sp");        //sp寄存器:保存了当前线程的内核栈顶部return (struct thread_info *)(sp & ~(THREAD_SIZE - 1));
}

  

如何根据thread_info找到对应task_struct?

        task_struct *current = current_thread_info()->task

task_struct->stack和CPU sp寄存器,如上图,两者不指向同一地址:

        task_struct->stack:

                指向创建该线程时分配8K内核栈的起始地址。也就是thread_info处

        CPU sp寄存器:

                当前CPU运行线程的内核栈栈顶。

当前进程正在运行时:

        通过ARM sp寄存器值,得到当前线程的thread_info,再得到current的task_struct。

进程切换到一个新进程时:

        通过task_strcut -> stack,得到该线程的thread_info,再通过thread_info得到cpu_context,即可得到该进程上次执行时的寄存器信息,如pc,sp,r0-r12等。

进程切换时,关于进程的task_struct的stack成员,sp寄存器,变化过程?

1. 保存当前进程的上下文:

        保存当前进程上下文到内核栈中:包括CPU的通用寄存器、程序计数器PC、栈指SP等。

2. 切换新进程的:

     切换到新进程的task_struct结构体,再通过task_struct->stack得到thread_info。

3. 恢复新进程上下文

        从thread_info中cpu_context得到该进程上次执行时的上下文信息。如pc,sp,r0-r12等。从而恢复新进程上下文值。此时可正确得到新进程的内核栈栈顶sp。

struct pt_regs 和 thread_info中struct cpu_context_save 是用于保存 CPU 寄存器状态

区别:

        struct pt_regs:用于处理异常或系统调用返回时将其恢复到原始状态,还可传参。

        struct cpu_context_save:用于进程切换时主动保存CPU上下文。

kstack_end(void *addr)函数:

        返回当前线程的内核栈的结束地址。

                这样就可判断某个地址是否在内核栈区间。

继续回到copy_process

sched_fork函数:

        1. 初始化子进程调度参数:优先级和调度策略等。

        2. 复制父进程的调度器相关数据(调度器类别,时间片)。

        3. 将子进程加入调度队列。

copy_process会检测如下标志:

        CLONE_FS 共享父进程的文件系统

        CLONE_NEWXX 不共享的资源

        CLONE_FILES 共享父进程的文件描述符

        CLONE_SIGHAND 共享父进程的信号处理函数

        CLONE_MM COW,只复制页表

struct pt_regs { 如上图,存储在当前线程的内核栈最底部中。

        long uregs[18];

};

struct pt_regs作用:

        从用户态陷入内核态时候,用户态的上下文信息保存在pt_regs数据结构中。还可传递系统调用参数和返回值。

存储的寄存器信息有:

        #define ARM_cpsr uregs[16] 程序状态寄存器

        #define ARM_pc uregs[15]

        #define ARM_lr uregs[14]

        #define ARM_sp uregs[13] 当前线程内核栈的栈顶

        #define ARM_ip uregs[12]

        #define ARM_fp uregs[11]

        #define ARM_r10 uregs[10] //通用寄存器 r0-r10

struct pt_regs这18个寄存器,保存在当前线程的内核栈的底部,如上图。

        即 :struct pt_regs *regs = task_struct->stack + THREAD_START_SP - 1

copy_process还调用copy_thread。

        copy_thread重要内容:

                填充thread_info和pt_regs。

父子进程可共享信号处理函数,但不共享挂起待处理信号。

unsigned long put_user(void __user *dst, const void *src, unsigned long size);

        向用户空间传递单个数据。如char,short,int大小的数据,比copy_to_user快。

copy_to_user优点:可复制任意类型和长度数据。

每个体系的虚拟地址0到4KB的区域,没有任何意义。可重用该地址范围来编码错误码。

如果返回值指向0-4KB地址范围内部,表示该调用失败,其原因由指针值判断。

宏ERR_PTR:将数值常数编码为指针。

使用方法:return ERR_PTR(-EINVAL);

2.4.2 内核线程

内核线程父进程是:init进程

内核线程的任务通常是周期任务,如:

        pdflush:刷新脏页到磁盘。

        kswapd:回写内存页到交换区。

        ksoftirqd:处理软中断。

创建内核线程:

        pid_t kernel_thread(int (*fn)(void *), void *arg, unsigned long flags)

        最终也调用_do_fork(CLONE_VM)

创建的内核线程在指定CPU上运行:

        kthread_create_on_cpu()

                -> p->sched_class->set_cpus_allowed(p, new_mask);

kthread_run() = kthread_create() + wake_up_process()

内核线程不需要用户空间,所以内核线程task_struct的mm_struct=NULL。

当内核线程运行,可不置换掉之前进程的用户空间地址,因为内核线程不使用用户空间。所以用active_mm保存用户空间mm_struct,因为内核线程运行后调度的进程通常还是之前那个用户进程,通过active_mm直接恢复,不用修改映射表,TLB中缓存的映射表仍然有效。这叫惰性TLB。

惰性TLB:一种优化策略,延迟或避免不必要TLB的更新,提高性能。

TASK_SIZE:即用户态虚拟地址大小(32位,0-3G)。

        内核线程地址空间大于TASK_SIZE。

2.4.3 启动新程序

execve系统调用

int do_execve(struct filename *filename, const char __user *const __user *__argv, const char __user *const __user *__envp)

会__user定义的指针进行参数检查。

linux_binfmt存储了所有注册的可执行程序的加载函数和执行函数。

struct linux_binprm:保存可执行文件的信息,包括可执行程序的路径,参数和环境变量的信息,vma

struct linux_binfmt {struct list_head lh;         连接所有二进制的执行函数int (*load_binary)(struct linux_binprm *); 加载二进制文件int (*load_shlib)(struct file *); 加载动态库int (*core_dump)(struct coredump_params *cprm); 用于crash时核心转储文件}

Linux文件特殊权限SUID、SGID、Sticky总结:

SUID文件所属主:Set User ID

        当一个可执行文件具有SUID权限时,它执行时临时具有文件所有者的权限,而不是执行者的权限。

        作用:暂时提升用户权限。允许普通用户执行root用户的程序。

        缺点:潜在安全性威胁。谨慎使用。

        使用举例:

                /usr/bin/passwd:允许用户更改自己的密码而无需root权限。

        设置方法:

                增加suid权限:chmod u+s ,或chmod 4755

                移除suid权限:chmod u-s ,或chmod 0755。

SGID文件属组: Set Group ID

        当一个文件或目录设置SGID权限后,任何用户执行该文件或访问该目录时,都以该文件或目录所属的组身份执行,而不是该用户的组权限。

        使用场景:当不同组的用户在一个共享目录下创建新文件,新文件是该目录所属组的权限,而不是创建文件的用户的组权限。可确保所有用户以相同的组权限执行该目录下新文件。

        设置方法:

                增加suid权限:chmod g+s ,或chmod 2755。

                移除sgid权限:chmod g-s ,或chmod 0755。

Sticky权限:

        作用:一般用于目录,只允该目录下的文件的创建者删除自己的创建的文件,不允许其他人删除文件。

二进制文件起始处的magic值可标识该文件类型。

        如:ELF可执行文件:Magic number: 0x7F ELF

                JPEG图像文件:Magic number:0xFFD8FF

search_binary_hander:

        根据文件起始处的magic值来查找对应二进制文件的加载,执行函数。

二进制加载函数: 将文件段映射到虚拟地址空间。

        最终给变量start_code,end_code,start_data,end_data,start_brk brk,start_stack,arg_start,arg_end赋值。

每种二进制格式通过register_binfmt注册:

        如script_format,elf_format,aout_format等

2.4.4 退出进程

exit

各种引用计数减1。减1后若等于0,释放资源。

相关文章:

《深入Linux内核架构》第2章 进程管理和调度 (2)

目录 2.4 进程管理相关的系统调用 2.4.1 进程复制 2.4.2 内核线程 2.4.3 启动新程序 2.4.4 退出进程 本专栏文章将有70篇左右,欢迎关注,订阅后续文章。 2.4 进程管理相关的系统调用 2.4.1 进程复制 1. _do_fork函数 fork vfork clone都最终调用_…...

(四)PostgreSQL的psql命令

PostgreSQL的psql命令 基础信息 OS版本:Red Hat Enterprise Linux Server release 7.9 (Maipo) DB版本:16.2 pg软件目录:/home/pg16/soft pg数据目录:/home/pg16/data 端口:5777psql 是 PostgreSQL 数据库的命令行界面…...

前端使用minio传输文件

minio官方文档 minio-js可以支持ts。 安装完可能会出现 Can‘t import the named export ‘xxx‘ from non EcmaScript module (only default export is available)可以尝试降低minio的版本 npm install minio7.0.18 --save代码: 初始化 const Minio require(…...

[大模型] BlueLM-7B-Chat WebDemo 部署

BlueLM-7B-Chat WebDemo 部署 模型介绍 BlueLM-7B 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型,参数规模为 70 亿。BlueLM-7B 在 C-Eval 和 CMMLU 上均取得领先结果,对比同尺寸开源模型中具有较强的竞争力(截止11月1号)。本次发布共包含 7…...

一文了解ERC404协议

一、ERC404基础讲解 1、什么是ERC404协议 ERC404协议是一种实验性的、混合的ERC20/ERC721实现的,具有原生流动性和碎片化的协议。即该协议可让NFT像代币一样进行拆分交易。是一个图币的互换协议。具有原生流动性和碎片化的协议。 这意味着通过 ERC404 协议&#xf…...

iOS cocoapods pod FrozenError and RuntimeError

0x00 报错日志 /Library/Ruby/Gems/2.6.0/gems/cocoapods-1.12.0/lib/cocoapods/user_interface/error_report.rb:34:in force_encoding: cant modify frozen String (FrozenError)from /Library/Ruby/Gems/2.6.0/gems/cocoapods-1.12.0/lib/cocoapods/user_interface/error_r…...

【鸿蒙开发】第二十章 Camera相机服务

1 简介 开发者通过调用Camera Kit(相机服务)提供的接口可以开发相机应用,应用通过访问和操作相机硬件,实现基础操作,如预览、拍照和录像;还可以通过接口组合完成更多操作,如控制闪光灯和曝光时间、对焦或调焦等。 2 …...

JS阅读笔记

myweb3.html <video id"video" width"400" height"300" autoplay></video> <button id"capture-btn">拍摄图片</button> <canvas id"canvas" width"400" height"300">&…...

基于spring boot的留守儿童爱心管理系统

基于spring boot的留守儿童爱心管理系统设计与实现 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09; 数据库工具&#xff1a;Navicat11 开…...

python输入某年某月某日判断这一天是这一年的第几天

如何使用python实现输入某年某月某日判断这一天是这一年的第几天 from datetime import datetime #引入日期类 def is_leap_year(year):"""判断是否为闰年"""return (year % 4 0 and year % 100 ! 0) or (year % 400 0)# 根据年份和月份返回当…...

docker 上达梦导入dump文件报错:本地编码:PG GBK,导入女件编码:PGGB18030

解决方案&#xff1a; 第一步进入达梦数据容器内部 docker exec -it fc316f88caff /bin/bash 第二步&#xff1a;在容器中 /opt/dmdbms/bin目录下 执行命令 cd /opt/dmdbms/bin./dimp USERIDSYSDBA/SYSDBA001 FILE/opt/dmdbms/ZFJG_LJ20240407.dmp SCHEMASZFJG_LJUSERIDSYSD…...

一起学习python——基础篇(19)

今天来说一下python的如何修改文件名称、获取文件大小、读取文中指定的某一行内容。 1、修改文件名称&#xff1a; import os testPath"D:/pythonFile/test.txt" testPath2"D:/pythonFile/test2.txt" #修改文件名称使用rename方法&#xff0c; #第一个参…...

数模 初见数建

文章目录 初见数学建模1.1 数学建模是什么1.2 数学建模的概述1.3 如何学习数学建模---分模块化1.4 数学建模前提了解1.5 数学建模的六个步骤1.6 如何备战建模比赛1.7 数学建模赛题类型1.8 数学建模算法体系概述 初见数学建模 1.1 数学建模是什么 1.原型与模型 原型&#xff…...

windows系统搭建OCR半自动标注工具PaddleOCR

深度学习 文章目录 深度学习前言一、环境搭建准备方式1&#xff1a;安装Anaconda搭建1. Anaconda下载地址: [点击](https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?CM&OD)2. 创建新的conda环境 方式2. 直接安装python 二、安装CPU版本1. 安装PaddlePaddle2、安装…...

01、ArcGIS For JavaScript 4.29对3DTiles数据的支持

综述 Cesium从1.99版本开始支持I3S服务的加载&#xff0c;到目前位置&#xff0c;已经支持I3S的倾斜模型、3D Object模型以及属性查询的支持。Cesium1.115又对I3S标准的Building数据实现了加载支持。而ArcGIS之前一直没有跨越对3DTiles数据的支持&#xff0c;所以在一些开发过…...

Spark_SparkSql写入Oracle_Undefined function.....将长字符串写入Oracle中方法..

在使用Spark编写代码将读库处理然后写入Oracle中遇到了诸多小bug,很磨人&#xff0c;好在解决了。shit!! 实测1&#xff1a;TO_CLOB(a3) 代码样例 --这是一个sparksql写入hive的一个小逻辑&#xff0c;我脱敏了噻 SELECT a1, a2, TO_CLOB(a3) AS clob_data, TO_DATE(a4) AS …...

2023数据要素白皮书(免费下载)

【1】关注本公众号&#xff0c;转发当前文章到微信朋友圈 【2】私信发送 【2023年数据资源入表白皮书】 【3】获取本方案PDF下载链接&#xff0c;直接下载即可。 如需下载本方案PPT原格式&#xff0c;请加入微信扫描以下方案驿站知识星球&#xff0c;获取上万份PPT解决方案&a…...

kafka学习记录

文章目录 windows单机版kafka搭建步骤主题的增删改查操作消息的生产与消费 Windows集群版kafka搭建步骤 prettyZoo 尚硅谷Kafka教程&#xff0c;2024新版kafka视频&#xff0c;零基础入门到实战 【尚硅谷】Kafka3.x教程&#xff08;从入门到调优&#xff0c;深入全面&#xff0…...

无线网络2.4和5G的区别

无线网络2.4和5的区别 无线网络2.4GHz和5GHz的主要区别在于频率、覆盖范围、传输速度、干扰能力和穿透性。以下是详细介绍&#xff1a;12 频率不同。2.4GHz的频率较低&#xff0c;而5GHz的频率较高。频率越低&#xff0c;信号在传播过程中的损失越小&#xff0c;因此覆盖范围…...

大模型笔记:Prompt tuning

1 NLP模型的几个阶段 1.1 第一阶段&#xff08;在深度学习出现之前&#xff09; 通常聚焦于特征工程&#xff08;feature engineering&#xff09;利用领域知识从数据中提取好的特征 1.2 第二阶段&#xff08;在深度学习出现之后&#xff09; 特征可以从数据中习得——>…...

FFmpeg 低延迟同屏方案

引言 在实时互动需求激增的当下&#xff0c;无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作&#xff0c;还是游戏直播的画面实时传输&#xff0c;低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架&#xff0c;凭借其灵活的编解码、数据…...

Caliper 配置文件解析:config.yaml

Caliper 是一个区块链性能基准测试工具,用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构,并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件,主要包含以下几个部…...

Reasoning over Uncertain Text by Generative Large Language Models

https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829 1. 概述 文本中的不确定性在许多语境中传达,从日常对话到特定领域的文档(例如医学文档)(Heritage 2013;Landmark、Gulbrandsen 和 Svenevei…...

「全栈技术解析」推客小程序系统开发:从架构设计到裂变增长的完整解决方案

在移动互联网营销竞争白热化的当下&#xff0c;推客小程序系统凭借其裂变传播、精准营销等特性&#xff0c;成为企业抢占市场的利器。本文将深度解析推客小程序系统开发的核心技术与实现路径&#xff0c;助力开发者打造具有市场竞争力的营销工具。​ 一、系统核心功能架构&…...

在树莓派上添加音频输入设备的几种方法

在树莓派上添加音频输入设备可以通过以下步骤完成&#xff0c;具体方法取决于设备类型&#xff08;如USB麦克风、3.5mm接口麦克风或HDMI音频输入&#xff09;。以下是详细指南&#xff1a; 1. 连接音频输入设备 USB麦克风/声卡&#xff1a;直接插入树莓派的USB接口。3.5mm麦克…...

系统掌握PyTorch:图解张量、Autograd、DataLoader、nn.Module与实战模型

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文通过代码驱动的方式&#xff0c;系统讲解PyTorch核心概念和实战技巧&#xff0c;涵盖张量操作、自动微分、数据加载、模型构建和训练全流程&#…...

保姆级【快数学会Android端“动画“】+ 实现补间动画和逐帧动画!!!

目录 补间动画 1.创建资源文件夹 2.设置文件夹类型 3.创建.xml文件 4.样式设计 5.动画设置 6.动画的实现 内容拓展 7.在原基础上继续添加.xml文件 8.xml代码编写 (1)rotate_anim (2)scale_anim (3)translate_anim 9.MainActivity.java代码汇总 10.效果展示 逐帧…...

FFmpeg avformat_open_input函数分析

函数内部的总体流程如下&#xff1a; avformat_open_input 精简后的代码如下&#xff1a; int avformat_open_input(AVFormatContext **ps, const char *filename,ff_const59 AVInputFormat *fmt, AVDictionary **options) {AVFormatContext *s *ps;int i, ret 0;AVDictio…...

前端高频面试题2:浏览器/计算机网络

本专栏相关链接 前端高频面试题1&#xff1a;HTML/CSS 前端高频面试题2&#xff1a;浏览器/计算机网络 前端高频面试题3&#xff1a;JavaScript 1.什么是强缓存、协商缓存&#xff1f; 强缓存&#xff1a; 当浏览器请求资源时&#xff0c;首先检查本地缓存是否命中。如果命…...

6.9本日总结

一、英语 复习默写list11list18&#xff0c;订正07年第3篇阅读 二、数学 学习线代第一讲&#xff0c;写15讲课后题 三、408 学习计组第二章&#xff0c;写计组习题 四、总结 明天结束线代第一章和计组第二章 五、明日计划 英语&#xff1a;复习l默写sit12list17&#…...