当前位置： 首页 > news >正文

操作系统专栏1-内存管理from 小林coding

news 2026/2/9 0:07:52

操作系统专栏1-内存管理

  • 虚拟地址
    • 内存管理方案
    • 分段
    • 分页
      • 页表
        • 单级页表
        • 多级页表
        • TLB
    • 段页式内存管理
    • Linux内存管理
  • malloc工作方式
  • 操作系统内存回收
    • 回收的内存种类
  • 预读失败和缓存污染问题
    • 预读机制
    • 预读机制失效
    • 解决方案
    • 缓存污染
  • 内核对虚拟内存的表示
  • 内核对内核空间的表示
    • 直接映射区
    • vmalloc映射区
    • 永久映射区
    • 固定映射区
    • 临时映射区

虚拟地址

首先第一个问题,虚拟地址为什么要存在呢,原因其实很简单,隔离开多个进程之间的地址空间,让每个进程都认为自己拥有一块完整的物理空间,并且提供大的逻辑内存供进程使用,虚拟地址是现代操作系统进行内存管理的基石

内存管理方案

分段

程序的内存空间由多个段组成,代码段,数据段,堆段和栈段组成,用分段的方式将这些段隔离开来
在这里插入图片描述
那么分段的方式有什么缺点呢,主要两点外部内存碎片和交换效率
外部碎片的产生
外部内存碎片的解决方案为内存交换,将音乐程序占用的256MB先换出到磁盘上,然后读回到内存中(实际上就是换了位置,紧邻着存)Linux系统中的SWAP分区就是干这个的

分页

分段的弊端在上节描述,为了减少内存换进换出的装载量,出现了分页,分页就是把整个内存区域切分成固定大小的片(一般为4KB).示意图如下
在这里插入图片描述分页访问在发现虚拟地址在页表中查询不到时,产生一个缺页异常,操作系统分配好内存空间之后,更新页表,返回进程继续运行,页与页之间是紧密排列的,所以不会有外部碎片,但是引入了内部碎片,而且页的大小固定,换入换出的开销也变得可以接受了

页表

页表实际上就是虚拟地址和物理地址的一个映射关系

单级页表

单级页表存在一个页表存储空间占用过大的问题,假设目标机为32位机,虚拟内存共有4GB,那么共有4GB/4KB = 2^20个页,每个页表项4B,那么共需4MB的空间来存储页表,注意,每个进程有自己的页表,那么100个进程需要400MB,1000个进程就将4GB全部占完了

多级页表

解决上述的问题,采用多级页表,多级页表的实质就是只在一级页表页实际用到的情况下才创建2-n级的页表,

在这里插入图片描述

TLB

多级页表实际上是一种时间换空间的方案,为了加速虚拟地址到物理地址的转换,TLB被提出,TLB存在于CPU中,存放的是最近访问的页表

段页式内存管理

段页式是操作系统常用的内存管理方式,实现方式为,先把程序的内存空间分段,再对这些段分页
在这里插入图片描述

Linux内存管理

Linux主要是页式内存管理,段内存被Linux给绕了过去,每个段都是从0地址开始的4GB地址空间
在这里插入图片描述
Linux的内核空间是每个进程共享的
在这里插入图片描述
其中

  • 代码段:存放二进制可执行代码
  • 数据段:已初始化的静态常量和全局变量
  • BSS:为初始化的静态变量和全局变量
  • 堆段:动态分配的内存,地址空间从低到高增长
  • 文件映射段:动态库,共享内存
  • 栈段:局部变量和函数调用的上下文,栈大小固定,大小一般为8MB

malloc工作方式

malloc申请内存有两种方式

  • 小于128KB,brk()系统调用在堆上分配内存
  • 大于128KB,mmap()系统在文件映射区分配内存

这两种方式的区别在于

  • brk()方式申请的内存,在free释放内存时,并不会归还给操作系统,而是缓存在内存池中,待下次使用
  • mmap()申请的内存,free释放时,会归还给操作系统

操作系统内存回收

当没有空闲的物理内存可用时,内核就会开始进行回收内存的工作,回收方式有两种,直接内存回收和后台内存回收

  • 后台内存回收:在物理内存紧张时,唤醒kswapd内核线程,这个线程是异步的,不会阻塞进程的执行
  • 直接内存回收,当后台异步回收跟不上进程内存的申请速度,就会开始直接回收,这个回收过程是同步的,会阻塞进程的执行
    直接回收后,若空闲的物理内存仍然无法满足物理内存的申请,那么内核就会使用OOM机制(直接杀掉内存占用高的进程)
    在这里插入图片描述

回收的内存种类

能被回收的内存有两类,分别是文件页和匿名页

  • 文件页:内核缓存的磁盘数据和内核缓存的文件数据都可以被称为文件页,分为干净页和脏页,干净页指没有被修改过的,直接释放即可,脏页需要先写到磁盘后才能释放
  • 匿名页:这部分内存没有实际上的载体(没有对应的磁盘文件),堆和栈都属于这种页,这种页的回收方式是通过Linux的Swap机制先写到磁盘中

 实际上由于文件页回收有可能是干净页,这个时候不需要磁盘IO,所以文件页的回收往往性能高
 回收内存的算法为LRU算法,在linux的回收算法中,维护两个链表,active和inactive列表,active列表存放最近被访问过的活跃内存页,inactive列表存放非活跃的页,回收时,优先访问不活跃的内存

预读失败和缓存污染问题

预读机制

当操作系统试图磁盘读时,会把临近的数据也读到内存中,以备之后访问

预读机制失效

提前被加载的页,如果以后不被访问,还可能挤掉热点数据页,大大降低了缓存命中率

解决方案

  • Linux解决方案是分为了两个LRU链表,活跃LRU和非活跃LRU,这两个LRU互相独立,互不干扰
  • MySQL的InnoDB在LRU列表上划分两个区域young区域和old区域

缓存污染

上面的方案如果数据被加载并被读了一次,还是会挤走热点数据,解决方案是提升加入活跃LRU的门槛

内核对虚拟内存的表示

主要是通过mm_struct这个结构体表示的
在这里插入图片描述
在这里插入图片描述

内核对内核空间的表示

通过TASK_SIZE将进程的虚拟内存空间和内核内存空间分割开来之后,在32位下0xC000000 - 0xFFFF FFFF这段空间的分配如下
在这里插入图片描述

直接映射区

其中ZONE_NORMAL和ZONE_DMA共同构成了直接映射区,直接映射区占896M会直接映射到物理内存的前896M内存空间中,当进程被创建完毕,在内核运行的过程中,内核会为每一个进程设置一个内核栈,每个进程的掉用链存放在自己的内核栈中,每个内核栈大概占据2的页的内存空间

  • ZONE_DMA为DMA映射区,为16MB
  • ZONE_NORMAL存放上问所述的内核栈等信息

vmalloc映射区

vmalloc区分配的内存在虚拟内存上连续,而在物理内存上不连续

永久映射区

虚拟地址于物理地址建立长期的映射关系

固定映射区

虚拟地址固定,但是物理地址不固定(指针常量)

临时映射区

在中断处理等时使用的救急内存

相关文章：

操作系统专栏1-内存管理from 小林coding

操作系统专栏1-内存管理 虚拟地址内存管理方案分段分页页表单级页表多级页表TLB 段页式内存管理Linux内存管理 malloc工作方式操作系统内存回收回收的内存种类 预读失败和缓存污染问题预读机制预读机制失效解决方案缓存污染 内核对虚拟内存的表示内核对内核空间的表示直接映射区…...

编程日记 2023/7/31 4:26:54

SpringCloud远程服务调用

下面介绍在SpringCloud中如何使用openfeign实现远程服务调用 1.在字典服务中有这么2个接口 Api(tags "数据字典接口") RestController RequestMapping("/admin/cmn/dict/") CrossOrigin public class DictController {Autowiredprivate DictService dic…...

编程日记 2023/7/31 4:25:52

Arcgis通过模型构建器计算几何坐标

模型 模型中，先添加字段，再计算字段 计算字段 模型的计算字段中，表达式是类似这样写的，其中Xmin表示X坐标，Ymin表示Y坐标 !Shape.extent.Xmin!...

编程日记 2023/7/31 4:24:51

java设计模式-工厂模式（下）

接java设计模式-工厂模式（上） 抽象工厂模式 针对耳机的生产需求，我们可以知道，刚才的工厂已经不满足了，因为只是生产一类产品-手机，但是现在我们需要的工厂类是要生产一个产品族（手机和耳机&a…...

编程日记 2023/7/31 4:23:49

深蓝学院C++基础与深度解析笔记 第13章 模板

1. 函数模板 ● 使用 template 关键字引入模板&#xff1a; template<typename T> //声明&#xff1a;T模板形参void fun(T); // T 函数形参template<typename T> //定义void fun(T) {...}– 函数模板不是函数 –…...

编程日记 2023/7/31 4:22:46

装饰器模式——扩展系统功能

1、简介 1.1、概述 对新房进行装修并没有改变房屋用于居住的本质&#xff0c;但它可以让房子变得更漂亮、更温馨、更实用、更能满足居家的需求。在软件设计中&#xff0c;也有一种类似新房装修的技术可以对已有对象&#xff08;新房&#xff09;的功能进行扩展&#xff08;装…...

编程日记 2023/7/31 4:21:44

无涯教程-jQuery - jQuery.get( url, data, callback, type )方法函数

jQuery.get(url&#xff0c;[data]&#xff0c;[callback]&#xff0c;[type])方法使用GET HTTP请求从服务器加载数据。 该方法返回XMLHttpRequest对象。 jQuery.get( url, [data], [callback], [type] ) - 语法 $.get( url, [data], [callback], [type] ) 这是此方法使用的…...

编程日记 2023/7/31 4:20:42

【Vue3】递归组件

1. 递归组件mock数据 App.vue <template><div><Tree :data"data"></Tree></div> </template><script setup lang"ts"> import { reactive } from vue; import Tree from ./components/Tree.vue; interface Tr…...

编程日记 2023/7/31 4:19:41

【Python】数据分析+数据挖掘——探索Pandas中的索引与数据组织

前言 在数据科学和数据分析领域&#xff0c;Pandas是一个备受喜爱的Python库。它提供了丰富的数据结构和灵活的工具&#xff0c;帮助我们高效地处理和分析数据。其中&#xff0c;索引在Pandas中扮演着关键角色&#xff0c;它是一种强大的数据组织和访问机制&#xff0c;使我们…...

编程日记 2023/7/31 4:18:36

matlab进阶：求解在约束条件下的多元目标函数最值（fmincon函数详解）

&#x1f305;*&#x1f539;** φ(゜▽゜*)♪ **&#x1f539;*&#x1f305; 欢迎来到馒头侠的博客&#xff0c;该类目主要讲数学建模的知识&#xff0c;大家一起学习&#xff0c;联系最后的横幅&#xff01; 喜欢的朋友可以关注下&#xff0c;私信下次更新不迷路&#xff0…...

编程日记 2023/7/31 4:17:34

Kotlin知识点

Kotlin 是 Google 推荐的用于创建新 Android 应用的语言。使用 Kotlin&#xff0c;可以花更短的时间编写出更好的 Android 应用。 基础 Kotlin 程序必须具有主函数&#xff0c;这是 Kotlin 编译器在代码中开始编译的特定位置。主函数是程序的入口点&#xff0c;或者说是起点。…...

编程日记 2023/7/31 4:16:33

亚马逊云科技联合霞光社发布《2013~2023中国企业全球化发展报告》

中国企业正处于全球聚光灯下。当企业全球化成为时代发展下的必然趋势&#xff0c;出海也从“可选项”变为“必选项”。中国急速扩大的经济规模&#xff0c;不断升级的研发和制造能力&#xff0c;都在推动中国企业不断拓宽在全球各行业的疆域。 过去十年&#xff0c;是中国企业…...

编程日记 2023/7/31 4:15:32

【解析excel】利用easyexcel解析excel

【解析excel】利用easyexcel解析excel POM监听类工具类测试类部分测试结果备注其他 EasyExcel Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存&#xff0c;poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题&…...

编程日记 2023/7/31 4:14:31

JQuery操作单选按钮Radio和复选框checkbox

获取选中值&#xff1a; $(input:radio:checked).val()&#xff1b;$("input[typeradio]:checked").val();$("input[namerd]:checked").val();$("input[idrand_question]:checked").val();设置第一个Radio为选中值&#xff1a; $(input:radio:…...

编程日记 2023/7/31 4:13:28

7.28 作业 QT

手动完成服务器的实现&#xff0c;并具体程序要注释清楚: widget.h: #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> //服务器类 #include <QTcpSocket> //客户端类 #include <QMessageBox> //对话框类 #include …...

编程日记 2023/7/31 4:12:25

HTML ＜pre＞ 标签

定义和用法 pre 元素可定义预格式化的文本。被包围在 pre 元素中的文本通常会保留空格和换行符。而文本也会呈现为等宽字体。 <pre> 标签的一个常见应用就是用来表示计算机的源代码。 可以导致段落断开的标签（例如标题、"><p> 和 标签"><a…...

编程日记 2023/7/31 4:11:24

查询结果元数据-MetaData对象、数据库工具类的封装、通过反射实现数据查询的封装

六、查询结果元数据-MetaData对象 七、数据库工具类的封装 1、PropertieUtil类 2、DbUtil类 3、DBHepler类 查询&#xff1a; 4、TestDb测试类&#xff1a; 更新&#xff1a; 1&#xff09;插入&#xff1a; 2&#xff09;修改&#xff1a; 3&#xff09;删除&#xff1a; 查…...

编程日记 2023/7/31 4:10:21

【Minio中间件】上传图片并Vue回显

流程&#xff1a; 目录 1.文件服务器Minio的安装 1.1 下载Minio安装后&#xff0c;新建1个data文件夹。并在该安装目录cmd 敲命令。注意不要进错目录。依次输入 1.2 登录Minio网页端 1.3 先建1个桶&#xff08;buckets&#xff09;&#xff0c;点击create a bucket 2. Spr…...

编程日记 2023/7/31 4:09:20

Jmeter配置不同业务请求比例，应对综合场景压测

需求&#xff1a; 每次向服务器发出请求时&#xff0c;先生成一个随机数&#xff0c;我们对随机数的取值划分若干个范围&#xff08;对应若干个业务请求&#xff09;&#xff0c;然后对随机数进行判断&#xff0c;当随机数落在某个范围内&#xff0c;就可以执行对应的请求。比…...

编程日记 2023/7/31 4:08:19

数学分析：流形的线性代数回顾

因为是线性的&#xff0c;所以可以把所有的系数都提取出去。这也是多重线性代数的性质。可以看成基本的各项自变量的乘法。 这里可以看到两个不同基向量下&#xff0c;他们的坐标转化关系。 引出了张量积&#xff0c;也就是前面提到的内容。 对偶空间的例子总是比较美好。 因为…...

编程日记 2023/7/31 4:07:18

突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合

强化学习&#xff08;Reinforcement Learning, RL&#xff09;是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程&#xff0c;然后使用强化学习的Actor-Critic机制&#xff08;中文译作“知行互动”机制&#xff09;&#xff0c;逐步迭代求解…...

编程新知 2026/2/5 4:17:42

定时器任务——若依源码分析

分析util包下面的工具类schedule utils&#xff1a; ScheduleUtils 是若依中用于与 Quartz 框架交互的工具类&#xff0c;封装了定时任务的 创建、更新、暂停、删除等核心逻辑。 createScheduleJob createScheduleJob 用于将任务注册到 Quartz&#xff0c;先构建任务的 JobD…...

编程新知 2026/1/26 14:24:46

Java多线程实现之Callable接口深度解析

Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...

编程新知 2026/1/25 6:36:06

抽象类和接口（全）

一、抽象类 1.概念&#xff1a;如果⼀个类中没有包含⾜够的信息来描绘⼀个具体的对象&#xff0c;这样的类就是抽象类。 像是没有实际⼯作的⽅法,我们可以把它设计成⼀个抽象⽅法&#xff0c;包含抽象⽅法的类我们称为抽象类。 2.语法 在Java中&#xff0c;⼀个类如果被 abs…...

编程新知 2026/2/5 4:38:22

2025年低延迟业务DDoS防护全攻略：高可用架构与实战方案

一、延迟敏感行业面临的DDoS攻击新挑战 2025年&#xff0c;金融交易、实时竞技游戏、工业物联网等低延迟业务成为DDoS攻击的首要目标。攻击呈现三大特征&#xff1a; AI驱动的自适应攻击&#xff1a;攻击流量模拟真实用户行为&#xff0c;差异率低至0.5%&#xff0c;传统规则引…...

编程新知 2025/8/29 1:00:19

leetcode73-矩阵置零

leetcode 73 思路 记录 0 元素的位置&#xff1a;遍历整个矩阵&#xff0c;找出所有值为 0 的元素&#xff0c;并将它们的坐标记录在数组zeroPosition中置零操作&#xff1a;遍历记录的所有 0 元素位置&#xff0c;将每个位置对应的行和列的所有元素置为 0 具体步骤 初始化…...

编程新知 2026/2/1 11:11:34

6.计算机网络核心知识点精要手册

计算机网络核心知识点精要手册 1.协议基础篇 网络协议三要素 语法&#xff1a;数据与控制信息的结构或格式&#xff0c;如同语言中的语法规则语义&#xff1a;控制信息的具体含义和响应方式&#xff0c;规定通信双方"说什么"同步&#xff1a;事件执行的顺序与时序…...

编程新知 2025/9/26 21:47:06

react-pdf（pdfjs-dist）如何兼容老浏览器（chrome 49）

之前都是使用react-pdf来渲染pdf文件&#xff0c;这次有个需求是要兼容xp环境&#xff0c;xp上chrome最高支持到49&#xff0c;虽然说iframe或者embed都可以实现预览pdf&#xff0c;但为了后续的定制化需求&#xff0c;还是需要使用js库来渲染。 chrome 49测试环境 能用的测试…...

编程新知 2026/1/26 20:34:07

AT模式下的全局锁冲突如何解决？

一、全局锁冲突解决方案 1. 业务层重试机制&#xff08;推荐方案&#xff09; Service public class OrderService {GlobalTransactionalRetryable(maxAttempts 3, backoff Backoff(delay 100))public void createOrder(OrderDTO order) {// 库存扣减&#xff08;自动加全…...

编程新知 2026/1/10 0:03:14

统计按位或能得到最大值的子集数目

我们先来看题目描述&#xff1a; 给你一个整数数组 nums &#xff0c;请你找出 nums 子集 按位或 可能得到的 最大值 &#xff0c;并返回按位或能得到最大值的 不同非空子集的数目 。 如果数组 a 可以由数组 b 删除一些元素&#xff08;或不删除&#xff09;得到&#xff0c;…...

编程新知 2026/1/29 3:33:38