深入理解计算机系统--计算机系统漫游

对于一段最基础代码的文件hello.c，解释程序的运行

#include <stdio.h>int main()
{printf ( "Hello, world\n") ;return 0;
}

1.1、信息就是位+上下文

        源程序是由值 0 和 1 组成的位（比特）序列，8 个位被组织成一组，称为字节（表示程序中的某些文本字符）。

        计算机系统采用 ASCII标准 来表示文本字符，实际上就是用一个唯一的单字节大小的整数值来表示每个字符，例如，下面给出 hello.c程序 的ASCII码表示。

注意：每个文本行都是以一个看不见的换行符 '\n' 结束的，对应的整数值为10

           像 hello.c 这样只由 ASCII字符 构成的文件称为文本文件，所有其他文件称为二进制文件

           系统中所有的信息（包括磁盘文件、内存中的程序、内存中存放的用户数据以及网络上传送的数据）都是由一串比特表示的。区分不同数据对象的唯一方法是读到这些数据对象时的上下文（在不同的上下文中，一个同样的字节序列可能表示一个整数，浮点数，字符串或者机器指令）

1.2、程序被其他程序翻译成不同的格式

        程序为了能够在系统上运行必须转化为一系列的低级机器语言指令，然后这些指令按照一种称为可执行目标程序的格式打包，并以二进制磁盘文件的形式存放，目标程序也称为可执行目标文件。

        在Linux系统，从源文件到目标文件的转化是由编译器驱动程序

      linux> gcc -o hello hello.c

 GCC编译器驱动程序将 hello程序 翻译成一个可执行的目标文件hello。由以下四个阶段完成

 ① 预处理阶段：预处理器（cpp）根据以字符 # 开头的命令，修改原始的C程序。比如 hello.c 中第一行的 #include<stdio.h> 命令告诉预处理器读取系统头文件 stdio.h 的内容，并把它直接插入程序文本中。就得到了另一个C程序，通常是以 .i 作为文件扩展名。

 ② 编译阶段： 编译器（ccl）将文本文件 hello.i 翻译成文本文件 hello.s，它包含一个汇编语言程序。该程序包含函数 main 的定义，如下：

main:
    subq $8, %rsp
    movl $.LC0, %edi
    call puts
    movl $0, %eax
    addq $8, %rsp
    ret

 定义中 2~7 行的每条语句都以一种文本格式描述了一条低级机器语言指令，汇编语言为不同高级语言的不同编译器提供了通用的输出语言。例如，C编译器和 Fortran 编译器产生的输出文件用的都是一样的汇编语言。

 ③ 汇编阶段：汇编器（as）将 hello,s 翻译成机器语言指令，把这些指令打包成一种叫做可重定位目标程序的格式，并将结果保存在目标文件 hello.o 中，hello.o 是二进制文件，它包含的17个字节是函数 main 的指令编码，如果用文本编辑器打开，将会出现一堆乱码。

 ④ 链接阶段：hello 程序调用了 printf 函数，它是每个C编译器都提供的标准C 库中的一个函数。printf 函数存在于一个名为 printf.o 的单独的预编译好了的目标文件中，而这个文件必须以某种方式合并到我们的 hello.o 程序中。链接器（ld）就负责处理这种合并。结果就得到 hello 文件，它是一个可执行目标文件（可执行文件），可以被加载到内存中，由系统执行。

1.3 了解编译系统如何工作是大有益处的 

        优化程序性能：了解一些机器代码以及编译器将不同的C语句转化为机器代码的方式，判断更高效的C语句。

        理解链接时出现的错误

        避免安全漏洞

1.4 处理器读并解释储存在内存中的指令

        此时，hello.c 源程序已经被编译系统翻译成了可执行目标文件hello，并被存放在磁盘上。要想在Linux系统上运行该可执行文件，将其文件名输入到称为 shell 的应用程序中：

linux> ./hello
hello, world
linux> 

         shell 是一个命令行解释器，它输出一个提示符，等待输入一个命令行，然后执行这个命令。如果该命令行的第一个单词不是一个内置的 shell 命令，那么 shell 就会假设这是一个可执行文件的名字，它将加载并运行这个文件。所以在此例中，shell 将加载并运行 hello 程序，然后等待程序终止。hello 程序在屏幕上输出它的消息，然后终止。shell 随后输出一个提示符，等待下一个输入的命令行。

1.4.1 系统的硬件组成

        1.总线

        贯穿整个系统的是一组电子管道，称作总线，携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块，也就是字（word）。字中的字节数（即字长）是一个基本的系统参数，各个系统中都不尽相同。现在的大多数机器字长要么是 4 个字节（32 位），要么是 8 个字节（64 位）。

        2. I/O 设备

        I/O（输入/输出）设备是系统与外部世界的联系通道。我们的示例系统包括四个 I/O 设备∶作为用户输入的键盘和鼠标，作为用户输出的显示器，以及用于长期存储数据和程序的磁盘驱动器（简单地说就是磁盘）。最开始，可执行程序 hello 就存放在磁盘上。

        每个 I/O 设备都通过一个控制器或适配器与 I/O 总线相连。控制器和适配器之间的区别主要在于它们的封装方式。控制器是 I/O 设备本身或者系统的主印制电路板（通常称作主板）上的芯片组。而适配器则是一块插在主板插槽上的卡。无论如何，它们的功能都是在 I/O 总线和 I/O 设备之间传递信息。

（CPU：中央处理单元    ALU：算数／逻辑单元　PC：程序计数器　USB：通用串行总线）

        ３.主存 

        主存是一个临时存储设备，在处理器执行程序时，用来存放程序和程序处理的数据。

        从物理上来说，主存是由一组动态随机存取存储器（DRAM）芯片组成的。

        从逻辑上来说，存储器是一个线性的字节数组，每个字节都有其唯一的地址（数组索引），这些地址是从零开始的。一般来说，组成程序的每条机器指令都由不同数量的字节构成。与 C 程序变量相对应的数据项的大小是根据类型变化的。(short : 2 ; int 和 float :4 ; long 和 double:8)

        4.处理器 

        中央处理单元(CPU)，简称处理器，是解释（或执行）存储在主存中指令的引擎，处理器的核心是一个大小为一个字的存储设备（寄存器），称为程序计数器（PC) , 在任何时刻，PC 都指向主存中的某条机器语言指令（即含有该条指令的地址）。

        从系统通电开始，直到系统断电，处理器一直在不断地执行程序计数器指向的指令，再更新程序计数器，使其指向下一条指令。这个模型是由指令集架构决定的。在这个模型中，指令按照严格的顺序执行，而执行一条指令包含执行一系列的步骤。处理器从程序计数器指向的内存处读取指令，解释指令中的位，执行该指令指示的简单操作，然后更新 PC，使其指向下一条指令，而这条指令并不一定和在内存中刚刚执行的指令相邻。

        它们围绕着主存、寄存器文件（register file）和算术/逻辑单元（ALU）进行。寄存器文件是一个小的存储设备，由一些单个字长的寄存器组成，每个寄存器都有唯一的名字。ALU 计算新的数据和地址值.

CPU在指令的操作下可能会执行的操作

        加载: 从主存复制一个字节或者一个字到寄存器,以覆盖寄存器原来的内容

        存储: 从寄存器复制一个字节或者一个字到主存的某个位置,以覆盖这个位置上原来的内容

        操作: 把两个寄存器的内容复制到ALU，ALU对这两个字做算数运算,并将结果存放到一个寄存器中,以覆盖该寄存器原来的内容

        跳转: 从指令本身中抽取一个字,并将这个字复制到程序计数器(PC)中,以覆盖PC中原来的值

        处理器看上去是它的指令集架构的简单实现，但是实际上现代处理器使用了非常复杂的机制来加速程序的执行。因此，我们将处理器的指令集架构和处理器的微体系结构区分开来：

        指令集架构描述的是每条机器代码指令的效果；

        而微体系结构描述的是处理器实际上是如何实现的

        1.4.2 运行 hello 程序

        初始时, shell 程序执行它的指令,输入指令后(这里以输入字符串 "./hello" 为例), shell 程序将字符逐一读入寄存器,再把它存放到内存中.

 然后 shell 执行一系列指令来加载可执行的 hello 文件，这些指令将 hello 目标文件中的代码和数据从磁盘复制到主存。数据包括最终会被输出的字符串 “hello, world\n”。

利用直接存储器存取,数据可以不通过处理器而直接从磁盘到达主存,如下图所示

 一旦目标文件 hello 中的代码和数据被加载到主存，处理器就开始执行 hello 程序的 main 程序中的机器语言指令。这些指令将 “hello, world\n” 字符串中的字节从主存复制到寄存器文件，再从寄存器文件中复制到显示设备，最终显示在屏幕上。

         1.5 高速缓存至关重要

        通常情况下，大容量的存储设备的存取速度要比小容量的慢，运行速度更快的设备的价格相对于低速设备要更贵。例如：在一个系统上，磁盘的容量一般为 TB 级，内存的容量一般为 GB 级，磁盘的容量大概是内存的 1000 倍

        对于处理器而言，从磁盘上读取一个字所花费的时间开销比从内存中读取的开销大1000万倍。寄存器文件的只能存储几百个字节的信息，而内存的可以存放几十亿的字节信息（GB级），从寄存器文件读取数据比从内存读取差不多要快 100 倍

        针对处理器和内存之间的差异，系统设计人员在寄存器文件和内存之间引入了高速缓存存储器(高速缓存)（cache），处理能力比较强的处理器，一般有三级高速缓存，分别为 L1 cache ， L2 cache 以及L3 cache 

        L1 cache 的访问速度与访问寄存器文件几乎一样快，容量大小为数万字节（KB 级别）；

        L2 cache 的访问速度是 L1 cache 的五分之一，容量大小为数十万到数百万字节之间；

        L3 cache 的容量更大，同样访问速度与 L2 cache 相比也更慢

1.6 存储设备形成层次结构

        在这个层次结构中，从上至下，设备的访问速度越来越慢、容量越来越大，并且每字节的造价也越来越便宜。

        存储器层次结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。因此，寄存器文件就是 L1 的高速缓存，L1 是 L2 的高速缓存，L2 是 L3 的高速缓存，L3 是主存的高速缓存，而主存又是磁盘的高速缓存

1.7 操作系统管理硬件

        把操作系统看成是应用程序和硬件之间插入的一层软件，所有应用程序对硬件的操作尝试都必须通过操作系统。

        操作系统有两个基本功能:

        ① 防止硬件被失控的应用程序滥用

        ② 向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。

        操作系统通过几个基本的抽象概念（进程、虚拟内存和文件）来实现这两个功能。 

 

① 进程则是对处理器、主存和 I/O 设备的抽象表示。

② 虚拟内存是对主存和磁盘 I/O 设备的抽象表示，

③ 文件是对 I/O 设备的抽象表示，

1.7.1 进程

        进程是操作系统对一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程，而每个进程都好像在独占地使用硬件。而并发运行，则是说一个进程的指令和另一个进程的指令是交错执行的。在大多数系统中，需要运行的进程数是多于可以运行它们的 CPU 个数的。

        无论是在单核还是多核系统，一个CPU看上去都像是在并发的执行多个进程，这是通过处理器在进程间来回切换的。操作系统的这种机制叫做上下文切换.

        操作系统保持跟踪进程运行所需的所有状态信息。这种状态，就是上下文，包括许多信息，比如 PC 和寄存器文件的当前值，以及主存的内容。在任何一个时刻，单处理器系统都只能执行一个进程的代码。当操作系统决定要把控制权从当前进程转移到某个新进程时，就会进行上下文切换，即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程。新进程就会从它上次停止的地方开始。

        示例场景中有两个并发的进程∶shell 进程和 hello 进程。最开始，只有 shell 进程在运行，即等待命令行上的输入。当我们让它运行 hello 程序时，shell 通过调用一个专门的函数，即系统调用，来执行我们的请求，系统调用会将控制权传递给操作系统。操作系统保存 shell 进程的上下文，创建一个新的 hello 进程及其上下文，然后将控制权传给新的 hello 进程。hello 进程终止后，操作系统恢复 shell 进程的上下文，并将控制权传回给它，shell 进程会继续等待下一个命令行输入。

        从一个进程到另一个进程的转换是由操作系统内核（kernel）管理的。内核是操作系统代码常驻主存的部分。当应用程序需要操作系统的某些操作时，比如读写文件，它就执行一条特殊的系统调用（system call）指令，将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。注意，内核不是一个独立的进程。相反，它是系统管理全部进程所用代码和数据结构的集合。

        实现进程这个抽象概念需要低级硬件和操作系统软件之间的紧密合作。

 1.7.2 线程

        现代系统中，一个进程实际上可以由多个称为线程的执行单元组成，每个线程都运行在进程的上下文中，并共享同样的代码和全局数据。

        因为多线程之间比多进程之间更容易共享数据，也因为线程一般来说都比进程更高效。

1.7.3 虚拟内存

        虚拟内存是一个抽象概念，它为每个进程提供了一个假象，即每个进程都在独占地使用主存。每个进程看到的内存都是一致的，称为虚拟地址空间。

         在 Linux 中，地址空间最上面的区域是保留给操作系统中的代码和数据的，这对所有进程来说都是一样。地址空间的底部区域存放用户进程定义的代码和数据。请注意，图中的地址是从下往上增大的。

         程序代码和数据。对所有的进程来说，代码是从同一固定地址开始，紧接着的是和 C 全局变量相对应的数据位置。代码和数据区是直接按照可执行目标文件的内容初始化的，在示例中就是可执行文件 hello。

        堆。代码和数据区后紧随着的是运行时堆。代码和数据区在进程一开始运行时就被指定了大小，与此不同，当调用像 malloc 和 free 这样的 C 标准库函数时，堆可以在运行时动态地扩展和收缩。

        共享库。大约在地址空间的中间部分是一块用来存放像 C 标准库和数学库这样的共享库的代码和数据的区域。

        栈。位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。和堆一样，用户栈在程序执行期间可以动态地扩展和收缩。特别地，每次我们调用一个函数时，栈就会增长；从一个函数返回时，栈就会收缩

        内核虚拟内存。地址空间顶部的区域是为内核保留的。不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。

        虚拟内存的运作需要硬件和操作系统软件之间精密复杂的交互，包括对处理器生成的每个地址的硬件翻译。基本思想是把一个进程虚拟内存的内容存储在磁盘上，然后用主存作为磁盘的高速缓存。

1.7.4 文件

        文件就是字节序列，仅此而已。每个I/O设备，包括磁盘、键盘、显示器，甚至网络，都可以看成是文件。系统中的所有输入输出都是通过使用一小组称为 Unix I/O 的系统函数调用读写文件来实现的。

1.8 系统之间利用网络通信

        我们一直把系统视为一个孤立的硬件和软件的集合体，实际上，现代系统经常通过网络和其他系统连接到一起。从一个单独的系统来看，网络可视为一个 I/O 设备。当系统从主存复制一串字节到网络适配器时，数据流经过网络到达另一台机器，而不是比如说到达本地磁盘驱动器。相似地，系统可以读取从其他机器发送来的数据，并把数据复制到自己的主存。

        假设用本地主机上的 telnet 客户端连接远程主机上的 telnet 服务器。在我们登录到远程主机并运行 shell 后，远端的 shell 就在等待接收输入命令。此后在远端运行 hello 程序包括如图 1-15 所示的五个基本步骤。 

         当我们在 telnet 客户端键入 “hello” 字符串并敲下回车键后，客户端软件就会将这个字符串发送到 telnet 的服务器。telnet 服务器从网络上接收到这个字符串后，会把它传递给远端 shell 程序。接下来，远端 shell 运行 hello 程序，并将输出行返回给 telnet 服务器。最后，telnet 服务器通过网络把输出串转发给 telnet 客户端，客户端就将输出串输出到我们的本地终端上。

1.9 重要主题

1.9.1 Amdahl 定律

        主要思想：当我们对系统的某个部分加速时，其对系统整体性能的影响取决于该部分的重要性和加速程度。 

        若系统执行某应用程序需要的时间为Told。分所假设系统某部需执行时间与该时间的比例为α，而该部分性能提升为k。即该部分初始所需时间为αTold，现在所需时间为(αTold)/k。因此，总的执行时间应为：

1.9.2 并发和并行

         并发：指一个同时具有多个活动的系统

        并行：用并发来使得一个系统运行得更快。

        1. 线程级并发  

        使用线程可以在一个进程中执行多个控制流。

        当构建一个由单操作系统内核控制的多处理器组成的系统时，我们就得到了一个多处理器系统

 

        多核处理器是将多个 CPU（称为“核”）集成到一个集成电路芯片上。 

        超线程也称为同时多线程，是一项允许一个CPU执行多个控制流的技术。

2、指令级并行

        可以同时执行多条指令

        如果处理器可以达到比一个周期一条指令更快的执行效率，就称之为超标量（super-scalar）处理器。大多数现代处理器都支持超标量操作。

        3、单指令、多数据并行

        允许一条指令产生多个可以并行执行的操作，这种方式称为单指令、多数据，即是SIMD并行

1.9.3 计算机系统中抽象的重要性

        在处理器里，指令集架构提供了对实际处理器硬件的抽象。使用这个抽象，机器代码程序表现得就好像运行在一个一次只执行一条指令的处理器上。

        文件是对I/O设备的抽象表示，虚拟内存是对主存和磁盘I/O设备的抽象表示，进程则是对一个正在运行的程序的抽象表示。虚拟机提供对整个计算机的抽象。