CrossPrefetch: Accelerating I/O Prefetching for Modern Storage——论文泛读

ASPLOS 2024 Paper 论文阅读笔记整理

问题

目前计算设备和存储设备之间的性能差距仍然很大。因此，主内存缓存和缓冲区被广泛用于操作系统、用户级文件系统[32]和I/O运行时，在隐藏性能差距和减少I/O瓶颈方面发挥关键作用[23，26，30，37]。现有的操作系统缓存和预取设计都是应用程序透明的[21，24，31，33]，旨在优化计算和I/O之间的重叠。缓存的有效性在很大程度上取决于底层I/O预取机制的有效性，通过预测即将到来的I/O访问，并及时加载相应的I/O操作。在Linux等操作系统中，预取是通过虚拟文件系统（VFS）层实现的通用预读组件[19]来实现的。

但现有预取设计主要关注提高预测准确性，忽略了跨层协调和预取的有效性，无法从I/O预取中获得更高的性能，也无法充分利用SSD等现代快速存储设备中的可用带宽。

挑战

• 当前操作系统预取器的有效性低，受限于严格的接口和保守的策略，使得很难有效地利用缓存状态（即缓存中的页面）。readahead、fadvice和madvise等系统调用无法提供预取总字节数等信息，导致预取不足或预取过度。

  

• 当前的预取操作面临着严重的并发瓶颈。因为预取和常规I/O操作（如读取）使用相同的数据结构（如Xarray[17]），导致锁争用。当多个线程共享一个文件时，它们会争用文件级锁（如inode读写锁），并由于缺乏缓存感知而冗余地发出预取操作。

• 现有的操作系统不能有效地协调操作系统和应用程序之间的缓存状态。难以充分利用可用内存容量和I/O带宽资源，导致应用程序性能不佳。

本文方法

本文提出了CrossPrefetch，一种跨层I/O预取机制，可在操作系统和用户级运行时运行。通过在操作系统和运行时之间划分责任来解决限制，最大限度地减少开销，并实现高缓存命中、低锁争用和高I/O性能。

• 在用户空间和操作系统之间分解和分配任务，以提高预取精度，最大限度地减少不必要的I/O操作，并解决缓存状态可见性难题。操作系统组件（Cross-OS）在操作系统的文件缓存树旁，维护每个inode位图，以评估预取的有效性。通过新的readahead_info系统调用，将信息传递给用户级运行时（Cross-Lib），用于执行预读操作、导出文件的操作系统级缓存位图状态、导出操作系统级遥测。通过这些信息，Cross-Lib优化并减少了预取系统调用，改进专用文件和共享文件的应用程序线程级预取，并实现了预取自定义，绕过复杂的操作系统缓存层修改。

• 为了增强可扩展性并缓解并发瓶颈，将常规I/O和预取操作的I/O路径隔离。便于通过readahead_info系统调用快速查找缓存状态。为了适应线程共享和对文件区域的非冲突访问，通过范围树采用细粒度索引，使线程能够查询其缓存状态并同时启动通知预取请求。通过轻量级访问模式预测，Cross-Lib根据每个索引节点的缓存状态调整预取请求，从而减少了对过多预取系统调用的需求。

• 为了最大限度地利用可用内存资源，基于可用空闲内存实施了积极的预取/逐出策略。通过每文件缓存感知，根据可用的空闲内存在主动预取和逐出之间切换，提高了整体性能。

• Cross-OS允许更大的预取请求，根据可用内存动态调整预取限制，来优化I/O路径，提高系统性能。

实验评估包括微基准、宏基准和真实工作负载，表明CrossPrefetch使I/O吞吐量的性能提高高达1.22x-3.7x。

总结

针对缓存预取，现有方法受限于接口有效性低、存在并发瓶颈、难以协调操作系统和应用程序间缓存状态。本文提出CrossPrefetch，跨层I/O预取机制，在操作系统和用户运行时之间设计跨层堆栈，操作系统向用户运行时提供缓存可见性，用户运行时提供并发和细粒度的预取。包括三个技术：（1）在用户空间和操作系统间分解任务：Cross-OS在文件缓存树旁维护每个inode位图，以评估预取的有效性；Cross-Lib接收信息，执行预读、导出文件的缓存位图状态、导出操作系统级遥测，通过信息优化并减少了预取系统调用。（2）将常规I/O和预取I/O隔离。为了适应线程共享和对文件区域的非冲突访问，通过范围树，使线程能够查询缓存状态，通过轻量级访问模式预测，Cross-Lib根据每个索引节点的缓存状态调整预取请求。（3）通过每文件缓存感知，根据可用的空闲内存在主动预取和逐出之间切换。Cross-OS允许更大的预取请求，根据可用内存动态调整预取限制。