WOM-v编码：用电压世代划分技术提升QLC闪存寿命4-11倍

1. 项目概述当QLC闪存寿命告急我们能做什么作为一名长期关注存储技术的从业者我最近一直在思考一个现实而紧迫的问题随着QLC四层单元乃至PLC五层单元闪存成为消费级和部分企业级固态硬盘SSD的主流我们该如何应对其“天生”的短板——极低的擦写耐久性一块标称1000次擦写寿命的QLC SSD在高负载写入场景下其理论寿命可能只有TLC三层单元的三分之一甚至更低。这不仅是数据中心运维人员的噩梦也让普通用户对数据可靠性心存疑虑。最近我深入研读了多伦多大学与谷歌Shehbaz Jaffer团队在FAST 2022上发表的一篇论文他们提出的WOM-v基于电压的写一次存储器编码方案让我眼前一亮。这项工作的核心思路非常巧妙它没有试图去“硬刚”闪存物理特性的限制而是换了个角度通过一种新颖的编码方式让每个闪存存储单元Cell在单次擦除周期内能被“重复编程”多次从而将擦除操作的总次数降下来。论文中展示的数据很惊人在真实负载下能将QLC闪存的擦除次数减少4.4到11.1倍相当于寿命提升了数倍而性能开销却几乎可以忽略不计。这不仅仅是学术上的奇思妙想更是一个极具工程落地潜力的方案。它直接触及了高密度闪存可靠性的核心痛点。在本文中我将结合自己多年在存储系统开发中的经验为你深度拆解WOM-v码的原理、实现细节以及背后的权衡艺术。我们不仅会看懂它“是什么”更要弄明白它“为什么”能工作以及在真实的系统环境中工程师们需要考虑哪些“坑”和优化点。无论你是存储领域的研究者、开发者还是对SSD技术原理有浓厚兴趣的极客相信都能从中获得启发。2. 核心问题拆解为什么QLC/PLC的寿命是个大麻烦要理解WOM-v的价值我们必须先直面它要解决的根本问题。这不仅仅是“擦写次数少”这么简单背后是一系列相互关联的技术挑战。2.1 闪存密度与耐久性的根本矛盾闪存存储数据的基本原理是通过在浮栅晶体管中注入或释放电荷来改变其阈值电压从而代表不同的比特状态。一个SLC单层单元只有两种状态0或1非常稳定。MLC双层单元有4种状态TLC有8种QLC则有多达16种电压状态。问题就出在这里为了在同样物理空间内区分出16个精细的电压窗口每个状态之间的电压差ΔV必须非常小。这就好比在一把尺子上刻16个刻度远比刻2个或8个刻度要精细得多容错空间也小得多。任何微小的电荷泄漏、读取干扰或编程干扰都更容易导致电压漂移使一个状态被误判为相邻状态从而引发数据错误。为了保证数据可靠性闪存控制器必须采用更强的纠错码ECC并在电压分布出现重叠风险时主动触发“擦除-重写”操作来刷新数据。而擦除操作本身是一次高电压、大电流的“暴力”过程会对浮栅氧化层造成不可逆的损伤。QLC/PLC更精细的结构使得它们对这类损伤更为敏感因此制造商规定的最大可耐受擦除次数P/E Cycle急剧下降。从SLC的10万次到MLC的3000-10000次再到TLC的1000-3000次QLC通常只有1000次左右而未来的PLC可能仅有几十到几百次。2.2 传统Binary-WOM码为何在QLC上失效面对擦除次数瓶颈一个很自然的想法是能否让每个存储单元在一次擦除周期内多写几次这就是“写一次存储器”Write-Once Memory, WOM编码的初衷。传统的Binary-WOM码在早期只读介质如打孔卡上被提出其核心规则是比特位只能从0变成1不能从1变回0。注意这里有一个关键的理解偏差。很多人会误以为Binary-WOM是让闪存单元“多存数据”其实它的本质是用更多的物理比特来表示更少的逻辑比特从而允许在物理比特未写满即未全部变为1前进行多次逻辑写入。例如一个经典的WOM(2,3)码用3个物理比特来存储2个逻辑比特。第一次写入时根据2比特数据00,01,10,11编码成3比特的码字。第二次写入时只能改变那些为0的物理比特为1从而表示一组新的2比特数据。这样两次写入一共存储了4比特逻辑数据而物理介质只提供了3比特的容量实现了“超额写入”。然而Binary-WOM模型与新一代闪存的物理现实严重不符约束错位Binary-WOM的核心约束是“0→1”但闪存单元的物理约束是“电压只能增加不能减少”。电压状态与二进制数值之间没有固定的“0”或“1”的对应关系。一个高电压状态可能代表二进制“11”也可能是“00”这取决于编码方式。强行套用Binary-WOM等于给自己加上了不必要的、更严格的限制。增益被抵消论文作者通过实验发现一个关键规律存储单元每增加一个比特如从TLC到QLC其能支持的重编程次数大约下降一个数量级。Binary-WOM本身会引入“写放大”实际写入的物理数据量大于逻辑数据量。对于QLC其固有的重编程能力已经很弱Binary-WOM带来的写放大可能会完全吞噬掉重编程带来的寿命增益导致“净增益”为零甚至为负。因此我们需要一个真正贴合闪存电压编程特性的新编码模型这就是WOM-v码诞生的背景。3. WOM-v编码原理深度解析从电压视角重新定义“写入”WOM-v码的巧妙之处在于它完全跳出了二进制思维的框架直接基于闪存最本质的物理特性——电压单调递增——来构建编码理论。3.1 核心思想电压世代GEN划分想象一下一个QLC存储单元有16个明确的电压状态从最低的V0到最高的V15。传统的单次编程我们会根据4比特数据0000到1111直接将单元编程到对应的某一个电压状态比如数据0101对应V5。WOM-v的想法是为什么不把这16个状态“分期”使用呢我们把整个电压范围划分成若干个“世代”Generation GEN。每个GEN包含一组连续的电压状态代表一次“编程操作”可以使用的状态范围。WOM-v(3,4)把QLC当作TLC来用。16个状态分成两个GEN每个GEN有8个状态因为3比特数据有8种可能。第一次编程GEN1使用V0-V7第二次编程GEN2使用V8-V15。这样一个QLC单元被编程了两次存储了总共6比特逻辑数据3比特/次 * 2次而它本身的物理容量是4比特。寿命提升的代价是逻辑容量减半因为每次只用了3比特的寻址空间。WOM-v(2,4)更为激进。16个状态分成4个GEN每个GEN有4个状态2比特数据有4种可能。这样一个单元可以编程4次存储总共8比特逻辑数据但逻辑容量只有物理容量的1/4。WOM-v(1,4)逻辑容量仅为1/8但可编程次数更多。这里的(k,N)参数定义非常关键N代表存储单元的物理比特数QLC则N4k代表每次编程欲存储的逻辑比特数。k值越小可重编程次数代数越多闪存寿命的理论提升倍数越高但逻辑容量损失也越大。这是一个典型的“寿命-容量”权衡Endurance-Capacity Trade-off是存储系统设计中最经典的权衡之一。3.2 关键优化技术榨干每一分电压空间如果只是简单划分GEN收益是有限的。论文提出了三项精妙的优化进一步压榨了潜力3.2.1 同代转换Intra-Generation Transition这是提升灵活性的关键。规则并非强制每次编程都必须进入下一个GEN。如果本次要写入的数据可以用当前电压状态与当前GEN最大电压状态之间的某个状态来表示那么就可以在当前GEN内部完成重编程。举例在WOM-v(3,4)的GEN1V0-V7中假设一个单元当前处于V1代表数据001。现在需要写入新数据101。查表发现数据101在GEN1中对应V5。由于V5 V1且V5仍在GEN1的范围内V0-V7那么就可以直接将单元从V1编程到V5而无需跳到GEN2。这相当于在同一个“编程周期”内多写入了一次数据。代价为了实现同代转换在编程前我们必须知道该单元当前的电压状态。这就引入了“写前读”Read-Before-Write操作带来了额外的延迟和功耗。3.2.2 码字共享Codeword Sharing为了挤出更多的编程代数可以让某些特定的电压状态在不同的GEN中代表相同的数据值。举例在WOM-v(3,4)中电压状态V7在GEN1和GEN2中都映射到逻辑数据111。这样当第一次编程写入111时单元到达V7GEN1。第二次编程如果需要再次写入111按照规则本应进入GEN2但发现GEN2中的111也对应V7而单元已经处于V7了那么这次写入实际上不需要进行任何物理编程操作这相当于“白嫖”了一次写入。通过精心设计码表这种共享可以增加有效的编程代数。论文中提到WOM-v(2,4)通过共享可以从4代增加到5代。3.2.3 利用ECC容错空间Exploiting ECC Tolerance这是一个将系统级纠错能力与底层编码相结合的工程智慧。WOM-v的编程是以页面Page为单位的。一个页面包含成千上万个存储单元。传统的规则是只要页面中任何一个单元达到了当前GEN的最大电压GEN_MAX整个页面就无法再重编程必须擦除。但现实是ECC纠错码本身就有能力纠正一定数量的错误比特。我们可以利用这一点当页面中只有少量单元达到GEN_MAX时我们“假装”没看见继续对整个页面进行下一次重编程。对于那些达到GEN_MAX的单元在新的编程中它们无法被正确写入其值会“出错”。读取时ECC会纠正这些少量错误恢复出正确的数据。这样我们就突破了“一个单元限制整个页面”的严格约束进一步延长了页面整体的重编程次数。只有当达到GEN_MAX的单元数量超过ECC的纠错阈值时才真正需要擦除。实操心得这项优化高度依赖于SSD控制器的ECC能力。在设计时需要精确评估ECC的纠错能力如能纠正多少比特/字节错误并据此设定一个安全的“无效单元比例阈值”。阈值设得太激进会导致数据不可纠正的风险太保守则优化效果大打折扣。通常需要大量的可靠性测试来确定这个黄金分割点。4. 系统实现将理论嵌入Linux存储栈纸上得来终觉浅绝知此事要躬行。论文的另一个重要贡献是在真实的软件栈中实现了WOM-v让我们能看到它在复杂系统环境中的表现。他们选择在Linux内核的LightNVM子系统中进行实现这是一个非常务实且具有前瞻性的选择。4.1 为什么是LightNVMLightNVM是一个开源的内核子系统它实现了**开放通道SSDOpen-Channel SSD**的模型。与传统“黑盒”SSD不同开放通道SSD将闪存转换层FTL的一部分功能主要是物理地址管理、垃圾回收等暴露给主机端软件。这让研究人员和开发者能够以更精细的方式控制数据在闪存上的放置、读写和回收策略。在LightNVM架构中实现WOM-v具有天然优势直接介入读写路径可以在数据下发到SSD硬件之前进行编码在从SSD读取之后进行解码。掌控垃圾回收GC可以修改GC策略实现WOM-v感知的、选择性的擦除这是实现寿命增益的核心。便于评估可以方便地集成到现有的性能测试框架中评估真实负载下的影响。4.2 核心实现模块拆解实现主要涉及三大模块的修改4.2.1 编码/解码模块这是一个相对“单纯”的部分核心是查表操作。系统需要维护WOM-v(k,N)的编码和解码表。写入路径当应用下发写请求数据在放入LightNVM的环形缓冲区Ring Buffer后会被拦截。系统根据目标物理页地址PPA读取该页面上一次写入的编码数据即当前各单元的电压状态然后结合本次要写入的新数据查询编码表得到本次编程后每个单元应达到的新电压状态最后将这些状态数据写入闪存。读取路径从闪存读回的是电压状态数据码字通过查询解码表将其还原为逻辑数据再返回给上层应用。4.2.2 WOM-v感知的垃圾回收GC模块这是实现寿命提升的核心引擎。传统的GC流程是选择一个擦除单元EU将其中的有效数据搬走然后擦除整个EU以供重用。在WOM-v下流程被彻底改变GC触发条件不再是简单的“EU中有无效页就回收”而是“EU中是否有任何一个页面达到了其最大可编程代数即所有单元都达到最终GEN_MAX”。如果没有这个EU就不需要擦除。回收动作对于需要回收的EUGC只搬走那些“有效”的页面即仍包含最新数据的页面。搬走后这些页面在原EU中变为“无效”。但关键来了这个EU并不被擦除。EU重用这个未被擦除的EU被放回空闲资源池。当后续写入请求需要空间时可以再次使用这个EU中那些“无效”的页面进行编程。因为WOM-v允许对未达上限的页面进行重编程。这就带来了革命性的变化大量的GC操作不再伴随昂贵的擦除命令从而极大地减少了磨损。4.2.3 基于FEMU的QLC设备模拟为了进行可重复、可控的实验作者扩展了FEMU一个基于QEMU的闪存模拟器来模拟QLC闪存的行为包括其电压状态、编程延迟、擦除延迟等。这使得他们可以在没有真实QLC硬件的情况下完整地测试WOM-v方案。4.3 两种关键优化模式在基础实现上论文提出了两种优化模式分别针对性能和写放大进行优化4.3.1 GC优化模式GC_OPT基础WOM-v GC策略在回收有效页面时会产生“写放大”将数据从一个地方搬到另一个地方本身也是一次写入。GC_OPT模式的核心观察是如果EU中只有部分页面无效且EU尚未达到擦除条件那么可以不搬走有效页。具体做法在需要向这个EU写入新数据时跳过那些仍然有效的页面只将新数据写入无效的页面。同时为了维持闪存固有的“顺序编程”和“条带化写入”规则以降低单元间干扰需要精心设计写入顺序和地址映射。效果这几乎完全消除了GC带来的写放大进一步提升了寿命增益尤其是在有效数据比例高即写放大本来就可能很大的负载下。4.3.2 免读模式No-Read, NR为了解决“写前读”带来的性能开销NR模式选择禁用同代转换优化。原理系统记录每个页面当前所处的编程代数GEN。当需要再次编程时无论新数据是什么都强制进入下一个GEN进行编码。这意味着我们不需要读取当前状态来确定是否能进行同代转换从而消除了读延迟。权衡由于放弃了同代转换的灵活性存储单元可能会更快地达到最高电压状态从而略微降低寿命增益。但这是一种明确的“用极小的寿命损失换取显著性能提升”的工程权衡对于性能敏感型应用非常有用。5. 性能与寿命评估数据背后的权衡艺术论文通过微基准测试和真实世界负载全面评估了WOM-v方案。这些实验结果为我们提供了宝贵的工程洞察。5.1 微基准测试理解影响因素5.1.1 数据内容变化率的影响实验通过顺序写入后按不同比例10%-100%翻转数据内容再次写入来模拟不同的数据更新模式。结论WOM-v的收益与数据更新时的比特翻转率高度相关。翻转率越低即新数据与旧数据越相似同代转换发生的机会越多单元电压上升越慢擦除延迟得越久寿命增益越大。反之如果每次写入都是全新随机数据则WOM-v的增益会减小。这提示我们WOM-v对于存在大量局部更新或数据压缩率高的应用如数据库日志、虚拟机镜像更为友好。5.1.2 访问模式的影响测试了多种负载模式顺序热更新Hot-S、随机热更新Hot-R、冷数据为主Cold以及不同GC压力的负载Low-GC, High-GC。关键发现WOM-v(2,4)在各种模式下都能显著减少擦除。但对于更高阶的WOM-v(1,4)在GC压力大的负载下High-GC其收益被严重的写放大所抵消。因为k1时逻辑容量仅为1/8为了维持相同的逻辑地址空间物理写入量本身就放大了8倍如果GC再产生额外写放大总写入量会非常惊人。GC_OPT模式的效果立竿见影它几乎消除了GC写放大使得即使在高GC负载下WOM-v(1,4)也能保持优秀的寿命增益。这凸显了系统级优化与编码方案协同工作的重要性。5.2 真实世界负载令人信服的结果论文选取了多个真实服务器负载进行测试并公平地对比了不同方案在相同物理容量下调整逻辑容量以匹配WOM-v的容量损失。5.2.1 寿命提升WOM-v(2,4)减少了68%-71%的擦除操作。启用GC_OPT后WOM-v(2,4)减少了77%-83%的擦除WOM-v(1,4)更是减少了82%-91%的擦除。换算成寿命提升倍数达到了4.4倍到11.1倍。这是一个足以改变产品规格书的数字。5.2.2 性能开销这是所有优化方案都必须回答的灵魂问题代价是什么平均性能基础的WOM-v(2,4)由于写前读带来了约3%-8%的写性能下降。这个开销在大多数应用中是可接受的。NR模式的威力启用NR模式后性能开销几乎降至0与未使用WOM-v的基线NO_WOM持平。而NR模式对寿命增益的影响很小这使其成为一个极具吸引力的生产环境选项。尾延迟对于读取密集型负载WOM-v引入的解码操作非常轻量第95百分位的读尾延迟增加仅在0.6%-7%之间影响微乎其微。实操心得这些数据告诉我们WOM-v不是一种“屠龙之技”。它在带来巨大寿命收益的同时性能开销是可控的并且可以通过模式如NR进行灵活调节。在实际部署中可以根据SSD的预期用途如读密集型、写密集型、混合型来动态选择或组合不同的WOM-v参数和优化模式。例如对于缓存盘可以选用WOM-v(1,4)NR模式追求极限寿命和低延迟对于容量盘可以选用WOM-v(2,4)模式在寿命和容量间取得更好平衡。6. 总结与展望WOM-v的启示与未来回顾整个WOM-v方案它的成功不在于使用了多高深的数学而在于其深刻贴合物理现实的设计哲学和精巧的系统工程实现。它没有挑战物理定律而是选择在物理约束下跳一支更优美的舞。我个人在实际研究和工程化类似技术时的体会是存储系统的创新往往发生在“接口”和“抽象层”的重新定义上。Binary-WOM失败于它强加了一个不匹配的二进制抽象。WOM-v的成功在于它回归到“电压单调递增”这一最本真的物理抽象并在此基础上构建编码理论。这提醒我们当底层硬件发生根本性变化时如从MLC到QLC上层的算法和系统设计必须重新审视其基础假设。WOM-v也清晰地展示了一个多维度的优化空间在寿命Endurance、容量Capacity、性能Performance和复杂度Complexity之间进行权衡。k值的选择、是否启用同代转换、是否启用GC_OPT都是在这个空间里寻找最优点的旋钮。未来的SSD控制器或许可以更加智能能够根据实时的工作负载特征动态地调整这些参数。当然WOM-v并非没有挑战。其固有的容量损失逻辑容量/物理容量 k/N对于成本极度敏感的消费级市场可能是一个障碍。但在企业级、数据中心场景尤其是对于读取密集型、高价值数据的存储用一部分容量换取数倍的寿命和可靠性是一笔非常划算的买卖。此外随着PLC乃至更高级闪存的到来N值增大WOM-v的收益可能会更加显著。最后这项工作的开源精神值得赞赏。将核心代码在LightNVM和FEMU上开源极大地降低了学术界和工业界跟进、验证、改进的门槛。这或许预示着下一代高密度闪存的可靠性解决方案将不仅仅是半导体工艺的竞赛更是算法与系统软件协同创新的舞台。对于我们存储工程师来说一个新的、充满可能性的工具箱已经打开了。