2-2-18-9 QNX系统架构之文件系统（二）

阅读前言

本文以QNX系统官方的文档英文原版资料为参考，翻译和逐句校对后，对QNX操作系统的相关概念进行了深度整理，旨在帮助想要了解QNX的读者及开发者可以快速阅读，而不必查看晦涩难懂的英文原文，这些文章将会作为一个或多个系列进行发布，从遵从原文的翻译，到针对某些重要概念的穿插引入，以及再到各个重要专题的梳理，大致分为这三个层次部分，分不同的文章进行发布，依据这样的原则进行组织，读者可以更好的查找和理解。

---

1. 文件系统

本文接上一篇继续讲解文件系统：《2-2-18-9 QNX系统架构之文件系统（一）》

1.6. Power-Safe文件系统

电源安全（Power-Safe）文件系统是一种可靠的磁盘文件系统，可以承受电源故障而不会丢失或损坏数据。该电源安全文件系统由fs-qnx6.so共享对象进行支持。

可扩展的文件系统

对于电源安全（Power-Safe）文件系统类型，你可以创建可扩展的文件系统，这种文件系统的最大存储容量可以超过其指定的大小。你可以使用主机端【host-side】的mkqnx6fsimg工具或目标端【target-side】的mkqnx6fs工具；这些工具使用不同的单位来表示文件系统的大小。

对于mkqnx6fsimg工具，构建 Power-Safe 文件系统镜像，必须设置num_sectors属性来指示存储该镜像所需的扇区数量，设置max_sectors属性来指示文件系统支持的最大扇区数量。有关如何确定最大容量的解释，请参阅实用程序参考中mkqnx6fsimg条目的max_sectors属性。

对于mkqnx6fs工具，格式化的Power-Safe文件系统，必须设置-x选项来请求可扩展的文件系统，设置-n选项来指示文件系统希望支持的逻辑块的最大数量（即可分配单元的最大数量）。有关逻辑块的最大数量的具体计算方法，请参见mkqnx6fs -n option选项。

bitmap文件和inodes文件

在Power-Safe文件系统中，必须为bitmap文件和inode文件保留空间。

其中，bitmap文件是一个大的位域【bitfield】，它覆盖了尽可能多的内存块，以便将文件系统镜像中的每个块表示为单个位。如果该块已被分配，则该位会被置1，如果还没有分配，则该位为0。bitmap文件的大小，是根据最大扇区数（max_sectors）进行计算的。

而inodes文件是一个表，包含了系统中特定文件的信息。如果给mkqnx6fsimg工具提供num_inodes属性，则使用该属性来确定信息节点（inodes）的数量。该计数值是inodes表中项的数目。如果没有提供该属性，则mkqnx6fsimg工具会根据其他属性（包括num_sectors）来确定inodes的数量。有关inodes数量计算方法的更多信息，请参见mkqnx6fsimg的num_inodes属性。有关inodes的更多详细信息，请参见《QNX Neutrino用户指南》中 “使用文件系统” 章节中的 “Links and inodes” 的内容。

因为这两个系统文件占用了镜像中的一些空间，所以用户可访问的内存容量会略小于文件系统的最大容量。

1.6.1. 现有磁盘文件系统的问题

尽管现有的磁盘文件系统被设计得健壮而可靠，但是仍然有可能丢失数据，这取决于当灾难性故障（例如电源故障）发生时文件系统正在做什么。

例如：

• 硬盘上的每个扇区都包含一个4字节的纠错码（ECC），驱动器使用该纠错码来捕获硬件错误等等。如果当电源故障发生时驱动程序正在写入磁盘，那么磁头将会被移除以防止磁头刮擦表面，从而使扇区与新内容保持在半写入状态。而在下次尝试读取该块或扇区时，不一致的ECC会导致读取失败，因此这样做将会同时丢失旧内容和新内容。你可以使用为你提供原子扇区更新并向你保证扇区中的所有旧数据或新数据都可读的硬盘驱动器，但这些驱动器很少且昂贵。

• 某些文件系统操作需要更新多个磁盘上的数据结构。例如，如果某个程序调用unlink()，则文件系统必须更新一个bitmap块、一个目录块以及一个inode项，这意味着它必须写入三个独立的块。如果在写入这些块之间发生了电源故障，则磁盘上的文件系统将处于一种不一致的状态。按照精心选择的顺序，把关键的文件系统数据同步写入磁盘（比如，对于目录【directories】、inodes、扩展块【extent blocks】和位图【bitmap】的更新），以减少（但不能完全消除）这种风险。

• 如果根目录【root directory】、位图【bitmap】或inodes文件（都在磁盘的前几个块中）损坏，则根本无法挂载文件系统。你或许能够手动修复文件系统，但是你需要非常熟悉文件系统结构的细节。

1.6.2. 写时复制文件系统

为了解决与现有磁盘文件系统相关的问题，Power-Safe 文件系统从不会覆盖实时数据；它使用一种被称为写时复制的策略（copy-on-write, COW）来完成所有更新，在磁盘未使用的块中组装文件系统的新视图。只有当所有更新都被安全地写入磁盘时，文件系统的新视图才会变为“活动”状态。一切都是COW的：元数据【metadata】和用户数据【user data】都受到了保护。

要了解这是如何工作的，让我们考虑一下数据是如何存储的。Power-Safe文件系统被划分为很多逻辑块，可以在使用名为mkqnx6fs的工具格式化文件系统时指定逻辑块的大小。每个inode会包含16个指向逻辑块的指针。如果文件小于16个逻辑块的大小，则inode直接指向数据块。如果文件再大一些，则这16个块就会变成指向更多逻辑块的指针，以此类推。

指向实际数据的最后一个逻辑块指针都是叶子节点，并且都在同一层。在其他一些文件系统（如EXT2）中，一个文件总是会有一些直接块、一些间接块和一些双间接块，因此你可以进入不同的级别来访问文件的不同部分。而与此不同的是，使用Power-Safe文件系统，一个文件的所有用户数据都处于同一级别。

如果你更改了一些数据，那么它将会被写入一个或多个未使用的块中，而原始数据保持不变。但是文件系统必须修改间接块指针列表，以引用新使用的块，因此文件系统会复制现有的指针块并修改其副本。然后，文件系统会更新inode（再次通过修改副本），以引用新的间接指针块。当操作完成后，原始数据和指向它的指针均保持不变，但是有一组新的块，新的间接指针以及inode会用于修改后的数据：

这对COW文件系统有几个含义：

• 对于bitmap及inode的处理方式与对用户文件的处理方式相同。
• 任何文件系统block都可以重新定位，因此没有任何固定的位置。
• 文件系统必须完全是自引用的【self-referential】。

超级块【superblock】是一个全局根块【global root block】，其中包含系统位图【system bitmap】和inode文件【inodes files】的inode信息。Power-Safe文件系统维护两个超级块：

• 一个稳定的超级块，反映所有块的原始版本；
• 一个反映了数据修改的正在工作的超级块；

“正在工作的超级块” 可以包含一些指针，指向位于稳定超级块中的块。这些块包含了尚未修改的数据。正在工作的超级块的inode和位图【bitmap】可以基于此进行增长。

快照【snapshot】是文件系统的一致性视图（简单地说就是一个提交了的超级块【committed superblock】）。要创建快照，文件系统进行如下操作：

1. 锁定文件系统以确保它处于稳定状态；所有客户端活动被挂起，并且必须没有活动的操作。
2. 将所有复制的块写入到磁盘。顺序并不重要，因此它可以被优化。
3. 强制将数据同步到磁盘，包括刷新任何硬件磁道缓存【hardware track cache】。
4. 构造超级块，记录bitmap和inode到新位置，增加其序列号，并计算CRC。
5. 将超级块写入磁盘。
6. 在工作视图和提交视图之间进行切换。旧版本的复制块被释放并可供使用。

要在启动时挂载磁盘，文件系统只需从磁盘读取超级块，验证它们的CRC，然后选择序列号较高的那个。不需要重新播放事务日志。挂载文件系统所需的时间就是读取几个块所需的时间。

如果驱动器不支持同步，则fs-qnx6.so不能保证文件系统是电源安全的。在使用该文件系统之前，请检查以确保你的设备满足该文件系统的要求。有关详细信息，请参见 Utilities Reference 中的 fs-qnx6.so项的 “Required properties of the device” 的内容。

1.6.3. 性能【Performance】

写时复制（COW）方法有一些缺点：

• 对用户数据的每次更改都可能导致多达十几个块被复制和修改，因为文件系统从来不会修改inode和间接块指针【indirect block pointers】；它必须将数据块复制到一个新的位置，并修改副本。因此，写操作时间较长。
• 当创建快照时，文件系统必须在提交超级块之前强制所有块完全放到磁盘上。

然而：

• 写入块（除了超级块）的顺序没有限制。
• 从任何空闲的、连续的空间中可以分配新块。

文件系统的性能取决于有多少缓冲缓存【buffer cache】可用，以及快照的频率。快照存储会周期性地发生（每10秒一次，或者按照fs-qnx6.so的snapshot选项进行指定），以及当你对整个文件系统调用sync()或对单个文件调用fsync()时发生。

同步是在文件系统级别的，而不是在单个文件级别的，因此fsync()可能是一个昂贵的操作；Power-Safe 文件系统忽略O_SYNC标志。

如果你正在执行一些长时间的操作，并且中间状态对你没有用处，你也可以关闭快照。例如，假设你正在将一个非常大的文件复制到Power-Safe文件系统中。实用程序cp实际上只是一系列基本操作：

• 调用open(O_CREAT|O_TRUNC)来创建文件；
• 许多次write()操作来复制数据；
• 调用close()， chmod()，以及chown()来拷贝元数据；

当文件足够大，以至于其复制过程跨越了多个快照时，磁盘上的视图会经历一系列的变化。最初，文件可能还不存在；随着复制过程的进行，文件开始存在，并且其大小会逐渐增加；最后，文件复制完成，其ID和权限也会完成设置。

每个快照都是文件系统的一个有效的时间点视图（即，如果你复制了 50 MB，那么大小就是 50 MB，并且 50 MB以下的所有数据也都被正确地复制并可用）。如果停电，文件系统会恢复到最近的快照。open()、write()和close()操作序列实际上是一个高级操作，也就是cp，但是该电源安全的文件系统没有这样的概念。如果你想要一个更高级的语义，禁用cp附近的快照，那么中间的快照就不会发生，如果发生停电，文件要么完整，要么根本就不存在。

有关使用电源安全的文件系统的信息，请参阅 “QNX Neutrino 用户指南” 中 “Working with Filesystems” 章节的 “Power-Safe filesystem” 的内容。

1.6.4. 加密【Encryption】

你可以加密Power-Safe文件系统的全部或部分内容，以保护其内容。

• 要使用文件系统加密，请从QNX软件中心下载Encrypted filesystem软件包。
• 使用加密文件系统时，读/写吞吐量和性能会比使用非加密文件系统时低一些，而CPU使用率会更高。

你可能需要用不同的密钥加密文件系统的不同部分，也有可能你不需要加密某些部分，因此Power-Safe文件系统允许你创建多个加密域【encryption domains】，你可以根据需要锁定或解锁这些域。

在一个加密域内可以包含任意数量的文件或目录，但一个文件或目录最多只能属于一个加密域。如果把加密域分配给目录，则随后在该目录中创建的所有的文件都会加密并且会继承该加密域。将加密域分配给目录并不会对该目录中已存在的任何文件或目录引入加密。

你可以简单地将加密域分配给目录或空文件；文件系统以同样的方式对待它们，因为此时它们之中没有任何需要加密的内容（目录中的已有文件不会进行加密）。如果你希望加密某个非空文件，则你必须把该文件迁移到一个加密域，因为文件系统需要先解密该文件，为其分配新的加密域，然后再次加密该文件。

在操作过程中，被分配到域中的文件会被加密，文件的内容只有在解除关联域的锁定后才能使用。当一个域被解锁时，该域下的所有文件和目录（无论它们在卷中的位置如何）也被解锁，因此是可访问的（根据基本文件权限）。当一个域被锁定时，对属于该域的文件内容的任何访问都将被拒绝。

锁定和解锁操作适用于整个域，而不是特定的文件或目录。

Domain 0 (FS_CRYPTO_UNASSIGNED_DOMAIN)始终处于解锁状态，其内容未加密；你可以将系统设计为使用任何其他域。有效域名为 0 - 119。

为了使用加密，必须为 fs-qnx6.so 设置crypto=选项。然后可以使用 fsencrypt 来管理加密。chkqnx6fs 实用程序能够自动识别加密格式并验证加密数据的完整性。在格式化卷并添加内容之后，也可以使用 fsencrypt 启用加密，但是必须在启动 fs-qnx6.so 时设置crypto=选项。

Key types【密钥类型】

Key type	Description
File key	是私有的，并且是在创建文件时随机生成的（如果文件被分配到一个域）。保存有关文件的一些信息，以确保文件与其密钥之间的完整性。用于文件数据加密，使用域密钥加密。密钥由文件系统管理，对用户是隐藏的。
Domain key	是私有的，并且是在创建域时随机生成的。用于加密属于其域的所有文件密钥，并使用域主密钥进行加密。密钥由文件系统管理，对用户是隐藏的。
Master key	是可选地公开的，因为它是由第三方（而不是文件系统）提供和管理的。用于加密域密钥，在创建域和随后的解锁请求中需要。

Encryption types【加密类型】

Power-Safe文件系统支持以下类型的加密：

域加密类型	常量	描述	密钥长度
0	FS_CRYPTO_TYPE_NONE	未加密	—
1	FS_CRYPTO_TYPE_XTS	AES-256, in XTS mode. 这两个密钥是随机生成的。	512 bits
2	FS_CRYPTO_TYPE_CBC	AES-256, in CBC mode	256 bits
3–99	—	预留以便未来使用	—

Interface usage【接口使用】

要从命令行管理加密，请使用fsencrypt；它的-c选项允许你指定要运行的命令。要从你的代码中管理加密，请使用fscrypto库。你需要同时包含<fs_crypto_api.h>和<sys/fs_crypto.h>两个头文件。其中的许多 API 在成功时会返回 EOK，并具有提供更多信息的reply参数。

API	fsencrypt 的命令	描述
fs_crypto_check()	check	确定底层文件系统是否支持加密；
fs_crypto_domain_add()	create	如果给定的域/类型不存在，则创建它。你需要提供64位加密密钥。从程序中，你可以创建锁定或解锁的域；fsencrypt实用工具总是会创建一个未锁定的域。
fs_crypto_domain_add_flags()	create	创建给定的域/类型（如果它不存在），为新文件密钥和域密钥使用给定的锁定状态和标志。你需要提供64位加密密钥。
fs_crypto_domain_hard_lock()	lock	锁定一个域，防止访问属于该域的任何文件的原始内容。使用此函数，锁定行为由FS_CRYPTO_HARD_LOCK_ACTION_ENFORCE标志进行控制。如果未设置此标志，则访问仅限于出现在白名单上的客户端。如果设置了此标志，则没有客户端可以访问。
fs_crypto_domain_key_change()	change-key	修改用于加密域密钥的主域密钥
fs_crypto_domain_key_check()	check-key	确定给定的域密钥是否有效
fs_crypto_domain_key_size()	—	返回文件系统加密所需的密钥大小
fs_crypto_domain_lock()	lock	锁定一个域，阻止访问属于该域的任何文件的原始内容。你必须在拥有文件系统挂载点的组中才能锁定域。
fs_crypto_domain_query()	query, query-all	获取域的状态信息
fs_crypto_domain_remove()	destroy	销毁一个域。你必须处于拥有文件系统挂载点的用户组中。在该域被销毁后，则该域中的任何文件都不可能再被检索到。
fs_crypto_domain_unlock()	unlock	解锁一个域，给定适当的密钥数据
fs_crypto_domain_whitelist_configure()	—	配置域白名单
fs_crypto_domain_whitelist_ctrl()	—	对域白名单执行控制操作
fs_crypto_domain_whitelist_ctrl_access_grant()	—	授予客户端对域的访问权限
fs_crypto_domain_whitelist_ctrl_access_revoke()	—	撤销客户端对域的访问权限
fs_crypto_domain_whitelist_get_flags()	—	获取域名白名单的标志
fs_crypto_domain_whitelist_set_flags()	—	设置域白名单标志。白名单只有在使用硬锁并且没有设置FS_CRYPTO_HARD_LOCK_ACTION_ENFORCE 标志时才有效;有关详细信息，请参见上面的fs_crypto_domain_hard_lock()。
fs_crypto_enable() , fs_crypto_enable_option()	enable	启用卷上加密支持（该卷在格式化时没有设置加密）
fs_crypto_file_get_domain()	get	返回文件或目录的域（如果已分配）
fs_crypto_file_set_domain()	set	将给定的域分配给路径（常规文件或目录）。如果是常规文件，则文件长度必须为零。该域将会替换以前分配给该路径的任何域。
fs_crypto_key_gen()	-K or -k option	从一个密码生成一个加密密钥
fs_crypto_set_logging()	-l and -v options	设置日志记录目的地和详细程度

该库还包括一些函数，可用于把现有文件和目录移动到加密域中。为此，你可以解锁源域和目标域，标记要移动的文件和目录，然后开始迁移，这是文件系统在后台执行的操作。这些功能包括：

API	fsencrypt 的命令	描述
fs_crypto_migrate_control()	migrate-start, migrate-stop, migrate-delay, migrate-units	控制文件系统内的加密迁移
fs_crypto_migrate_path()	migrate-path	将整个目录标记为要迁移到加密域
fs_crypto_migrate_status()	migrate-status	获取文件系统中的迁移状态
fs_crypto_migrate_tag()	migrate-tag, tag	标记要迁移到加密域的文件

Examples【示例】

下面是一些使用 fsencrypt 管理文件系统加密的示例：

• 确定是否支持或启用加密：

$ fsencrypt -vc check -p /
ENCRYPTION_CHECK(Path:'/') FAILED: (18) - 'No support'

• 在现有文件系统上启用加密：

$ fsencrypt -vc enable -p / 
ENCRYPTION_CHECK(Path:'/') SUCCESS
$ fsencrypt -vc check -p /
ENCRYPTION_CHECK(Path:'/') NOTICE: Encryption is SUPPORTED)

这种更改是不可逆的，并且强制两个连续的磁盘事务重写超级块中的一些数据。

• 确定文件是否加密。域编号为0的文件不会进行加密。非零值意味着文件被分配到一个域。对文件原始内容的访问由域的状态决定。下面的示例显示命名文件被分配到域10：

$ fsencrypt -vcget -p /accounts/1000/secure/testfile
GET_DOMAIN(Path:'/accounts/1000/secure/testfile') = 10 SUCCESS

• 确定域是否被锁定。如果一个域被锁定，读取该域内的文件会产生加密的数据；未解锁的域产生原始文件内容。“未使用”的域是指尚未创建的域。在下面的示例中，域11尚未创建，而域10目前处于解锁状态：

$ fsencrypt -vc query -p/ -d11
QUERY_DOMAIN(Path:'/', Domain:11) NOTICE: Domain is UNUSED
$ fsencrypt -vc query -p/ -d10
QUERY_DOMAIN(Path:'/', Domain:10) NOTICE: Domain is UNLOCKED

---

未完，请继续看下一篇：《 2-2-18-9 QNX系统架构之文件系统（三）》