Linux 常见的冷知识集锦

一、前言

本文旨在记录那些常见的Linux概念和名词，但这些又没经常直接使用到，更多在底层运行，见过却又不是特别清楚的碎片知识，以温故知新。

二、知识点和概念说明

2.1、POSIX标准/协议

POSIX（Portable Operating System Interface可移植操作系统接口）是IEEE为在UNIX操作系统上运行软件而定义API的一系列互相关联的标准的总称，其正式称呼为IEEE Std 1003，POSIX.1 已经被国际标准化组织（International Standards Organization，ISO）命名为 ISO/IEC 9945-1:1990 标准。简言之，POSIX就是Unix的一种标准，主要就是IEEE当时为了提高unix生态的兼容性和应用程序的可移植性。这样，任何一个 基于POSIX 兼容的操作系统编写的程序，都可以在任何其它的 POSIX 操作系统上编译执行。之后，这些遵循Posix标准的程序就可跨平台进行POSIX系统调用，即调用一组通用的API。

相关资源：IEEE Std 1003.1-2001、

Linux之父linus在其书中提到：POSIX标准是一个可以适用于数以百计的UNIX系统调用（system call）中的任意一个的一套冗长规则， 计算机要执行任务（从读、 写、 开机和关机开始） 就需要这个标准。 Linux下对文件操作有两种方式：系统调用（system call）和库函数调用（Library functions）；其中，系统调用是操作系统本身的接口，是面向底层硬件的。通过系统调用，可以使得用户态运行的进程与硬件设备(如CPU、磁盘、打印机等)进行交互，是操作系统留给应用程序的一个接口。对于库函数（Library function），是把函数放到库里，一般是一些常用到的函数写入lib文件里，供其他人使用的一种方式，库函数调用是面向应用开发的；由于版权原因，库函数的源代码一般是不可见的，但在头文件中你可以看到它对外的接口。最常见的比如开源的标准 C 库glibc ，它提供了丰富的 API（Application Programming Interface），这些API都是遵循POSIX标准的，API的函数名，返回值，参数类型等都必须按照POSIX标准来定义。即广义的POSIX兼容也就指定这些接口函数兼容，其并不管API具体如何实现。目前的POSIX主要分为四个部分：Base Definitions、System Interfaces、Shell and Utilities和Rationale。

2.2、MPI-IO标准/协议

2.3、RDMA(远程直接内存访问)

RDMA（Remote Direct Memory Access）是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存、带宽和CPU用于改进更多应用系统的性能。

另外这里我们不得不提到DMA，即直接内存访问，它是一种完全由硬件执行I/O交换的工作方式.在这种方式中， DMA 控制器(DMAC)从CPU 完全接管对总线的控制，数据交换不经过CPU ，而直接在内存和IO设备之间进行，减少大批量数据传输时CPU 的开销，也是实现zero-copy的前提。

在传统通信模式中，使用TCP/IP协议的应用程序几乎都会采用应用编程接口：UNIX BSD的套接字（socket），来实现网络进程之间的通信。无论编写客户端程序还是服务端程序，系统都需要为每个TCP连接都要创建一个socket句柄，导致每次传输通信，都要经过OS和协议栈的管理，无论是Socket同步通信还是异步通信，都会存在CPU占用过高的现象。这种传统的TCP/IP通信，发送和接收数据的过程中，都是在源端应用层数据从上向下逐层拷贝封装，目的端从下向上拷贝和解封装，需要CPU多次参与，比较慢。对此，才有了DMA和RDMA更好的数据处理实现。

RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器的处理。RDMA可将数据从一个系统快速移动到远程系统的内存中，过程中，本地用户空间虚拟内存与RNIC网卡直接进行数据传输不涉及到系统内核，没有额外的数据移动和复制，不会对操作系统造成任何影响。RDMA通信过程中，发送和接收，读/写操作中，都是RNIC直接和参与数据传输的已经注册过的内存区域直接进行数据传输，速度快，不需要CPU参与，RDMA网卡接替了CPU的工作。

RDMA 的工作过程如下:

1)当一个应用执行RDMA 读或写请求时，不执行任何数据复制.在不需要任何内核内存参与的条件下， RDMA 请求从运行在用户空间中的应用中发送到本地NIC( 网卡)。
2) NIC 读取缓冲的内容，并通过网络传送到远程NIC。
3) 在网络上传输的RDMA 信息包含目标虚拟地址、内存钥匙和数据本身.请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列) ，或者在应用一直睡眠到请求完成时的情况下通过内核内存处理.RDMA 操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。
4) 目标NIC 确认内存钥匙，直接将数据写入应用缓存中.用于操作的远程虚拟内存地址包含在RDMA 信息中。

使用RDMA的优势如下：

• 零拷贝(Zero-copy)： 应用程序直接执行数据传输，数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收，而不需要被复制到网络层。
• 内核旁路(Kernel bypass) - 应用程序可以直接在用户态执行数据传输，不需要在内核态与用户态之间做上下文切换。
• 不需要CPU干预(No CPU involvement) - 应用程序可以访问远程主机内存而不消耗远程主机中的任何CPU。远程主机内存能够被读取而不需要远程主机上的进程（或CPU)参与。远程主机的CPU的缓存(cache)不会被访问的内存内容所填充。
• 消息基于事务(Message based transactions) - 数据被处理为离散消息而不是流，消除了应用程序将流切割为不同消息/事务的需求。
• 支持分散/聚合条目(Scatter/gather entries support) - RDMA原生态支持分散/聚合。也就是说，读取多个内存缓冲区然后作为一个流发出去或者接收一个流然后写入到多个内存缓冲区里去。