Gartner发布2023年的存储技术成熟曲线

技术路线说明

        Gartner自1995年起开始采用技术成熟度曲线，它描述创新的典型发展过程，即从过热期发展到幻灭低谷期，再到人们最终理解创新在市场或领域内的意义和角色。

        一项技术 (或相关创新)在发展到最终成熟期的过程中经历多个阶段：

        创新萌发期：技术成熟度曲线从突破、公开示范、产品发布或引起媒体和行业对一项技术创新的兴趣的其他事件开始。

        过热期：在这种新技术上的建设和预期出现高峰，超出其能力的当前现实。有些情况下会形成投资泡沫，就像在 Web 和社交媒体上发生的情况一样。

        幻灭低谷期：不可避免地，人们对结果的失望开始取代人们最初对潜在价值的热望。绩效问题、低于预期的采用率或未能在预期时间获得财务收益都导致预期破灭。

        复苏期：一些早期采纳者克服了最初的困难，开始获得收益，并继续努力前行。基于早期采纳者的经验，人们对可以获得良好效果的技术应用区域和方法加深了理解，更为重要的是，人们知道了这种技术在哪些方面没有或几乎没有价值。

        生产力成熟期：技术的实际效益得到证明和认可后，越来越多的企业感到可以接受当前已经大幅降低的风险水平。由于生产价值和使用价值，技术采用率开始快速上升(“曲棍球棒形”)，渗透很快加速。

Gartner 2023 年存储技术成熟度曲线

        Gartner 研究副总裁朱莉娅·帕尔默 (Julia Palmer) 在LinkedIn上分享了这一最新消息，她表示：“这就像拥有一个路线图，可以在炒作中导航并识别最有前途的创新。”

△Gartner 2023 年存储技术成熟度曲线，图表上的技术用圆点颜色表示：深蓝色表示5到10年才能达到稳定水平，浅蓝色表示2到5年，白点表示不到两年能达到稳定水平。

        以下技术已被删除，因为它们已经成熟并且不再大肆宣传：

• Copy Data Management

• Enterprise Information Archiving

• Storage-Class Memory SSD

• Storage-Class Memory DIMMS

另外，今年Gartner 增加了五种新技术：

• DNA Storage

• Cloud Infrastructure Recovery Assurance Software

• Isolated Recovery Environment

• Digital Communication Governance

• Storage-as-a-Service

还有，Gartner特别提到，今年发展快速的两个技术是：

• function accelerator cards

• hybrid cloud storage

 

软件定义存储

分析人：Chandra Mukhyala

效益评级：变革性

市场渗透率：20% 至 50% 的目标受众

成熟度：成熟主流

定义：

软件定义存储（SDS）将存储软件从底层硬件中抽象出来，在整个 IT 基础架构中提供通用的配置和数据服务，不受地域和硬件技术的限制。它可以作为虚拟机（VM）、容器或作为存储软件部署在裸机、行业标准服务器上，从而灵活地将存储部署在应用需要的地方--内部、边缘或公共云。

重要原因——

SDS 可灵活支持内部部署、边缘或公有云的混合云应用，并以较低的总体拥有成本（TCO）在这些地点提供一致的存储服务。SDS 供应商的目标是广泛的工作负载。其中包括通用文件存储、备份、归档、分析、高性能计算（HPC）和人工智能（AI），支持针对虚拟机、容器和裸机工作负载的结构化/非结构化数据服务。

业务影响——

SDS 打破了对专有存储硬件的依赖，支持降低购置成本。

SDS 可根据应用需求选择存储计算、闪存、内存和网络硬件选项。

Gartner 的一些客户报告称，使用标准硬件、低成本升级和维护可将总体拥有成本降低 40%。

提高了混合云部署的灵活性，能够在内部、边缘和公共云中提供通用的配置和数据服务。

驱动因素——

在通用平台硬件上构建低价位的存储解决方案。

将存储软件与硬件分离，以实现数据中心硬件平台的标准化，从而独立扩展计算和容量。

构建敏捷的 "基础架构即代码 "架构，使存储成为与公共云集成的软件定义数据中心自动化和协调框架的一部分。

在传统的基于外部控制器（ECB）的存储阵列提供和支持存储硬件的最新创新之前，利用这些创新。

能够在内部、边缘和公共云中运行相同的存储服务。

障碍——

由于 SDS 产品种类繁多，既有老牌厂商，也有新兴厂商，它们提供的价值主张和产品功能各不相同，因此 I&O 领导者往往难以驾驭 SDS 供应商解决方案。

混合云 IT 运营是 SDS 的一个新兴用例，因为未来的数据中心格局正在扩大，包括边缘云和公共云。

I&O 领导者需要对具备专业技能的人员进行投资，以便在企业中有效开发和管理 SDS。因此，减少资本支出（cape）可能带来的成本节约需要进行成本效益分析，以提高运营灵活性。

性能和总体拥有成本以及其他业务价值因素必须同时考虑，这就造成了更为复杂的评估，从而减缓了部署速度。

用户建议——

认识到 SDS 是一种不断发展的部署模式，主要侧重于网络规模存储架构，但也适用于边缘和公共云部署。

选择支持多种部署选项的 SDS 供应商，并提供经过验证的硬件参考设计，最大限度地减少性能和可扩展性权衡。

对 SDS 产品进行分级，看其是否具备真正的硬件无关性、API 驱动、基于分布式架构、灵活的定价模式和混合云部署灵活性。

将 SDS 作为内聚软件定义基础架构 (SDI) 设计的一部分进行部署，重点是在内部部署、公共云和边缘环境中提供统一的存储平台。

在开始部署 SDS 之前，要认识到与即插即用设备相比，SDS 可能需要对底层硬件进行大量的选型工作，并自行构建整体解决方案。

供应商示例——

DataCore Software；IBM；NetApp；Nutanix；Qumulo；Red Hat；Scality；StorMagic；VMware；WEKA

NVMe-oF

分析人员：Jeff Vogel、Joseph Unsworth

效益评级：高

市场渗透率：5% 至 20% 的目标受众

成熟度：青少年

定义：

NVMe-oF是一种网络协议，利用了 NVMe 外设组件（PCIe）设备的并行访问和低延迟特性。它是专为高性能结构技术设计的协议接口，包括通过光纤通道、InfiniBand 或以太网与 RoCE v2、iWARP 或 TCP 进行远程直接内存访问 (RDMA)。NVMe-oF 使用 NVMe 协议扩展对 NVMe 设备的访问。

重要原因——

NVMe-oF 可满足与 NVMe 硬盘结合使用时对低延迟应用要求至关重要的用例。虽然这需要对基础架构进行持续的更改和升级，但 NVMe-oF 带来的优势正在引发高性能和可扩展架构的使用，这些架构结合 NVMe 闪存介质可充分利用底层网络功能。NVMe-oF 协议增强了分布式和分离式平台中的存储功能。

业务影响——

NVMe-oF 使企业能够创建高性能存储网络。NVMe-oF 存储目标可在工作负载之间动态共享，从而提供按需或可组合的存储资源，实现灵活性、敏捷性和更高的资源效率。NVMe-oF 可在传统的光纤通道（FC）和 IP 交换机上运行。NVMe/TCP 为 IT 连接基础设施提供了更多选择，非常适合没有传统 FC 基础设施的企业。

驱动因素——

NVMe-oF 协议利用高速网络的优势，加快了下一代存储架构的采用。

存储即服务（STaaS）的采用将与互联网小型计算机系统接口（iSCSI）和低端 FC 存储区域网络（SAN）的带宽要求相媲美。

NVMe-oF 可以扩展到大容量水平，具有高可用性功能，并可从中央位置进行管理，为数十个计算客户提供服务。

VMware vSphere 7.0 Update 3 的发布为 NVMe-oF over TCP 存储协议的主流应用开辟了一条道路，使 TCP/IP 成为 NVMe-oF 的流行数据中心传输机制。

大多数存储阵列供应商已经推出了至少一款支持 NVMe-oF 的产品，作为主存储的替代协议。

障碍——

根据现有基础设施的情况，实施端到端 NVMe-oF 可能需要对存储平台、网络和服务器进行重大改动，并增加成本。

基础设施和运营（I&O）领导者很难证明端到端 NVMe-oF 部署的投资回报率。只有一小部分工作负载能从这种提升中获得明显的性能优势。

主机总线适配器（HBA）和交换设备等基础设施元素的成本和复杂性阻碍了主流企业采用 NVMe-oF 解决方案。

市场上的一些 NVMe 数据存储产品只能实现 NVMe 潜在性能提升的一小部分。这是由于 NVMe-oF 的端到端实施方式存在差异。

对 NVMe-oF 的软件支持相对较新。

用户建议——

选择 NVMe 和 NVMe-oF 的可扩展性和性能足以证明部署成本和复杂性合理的工作负载。将其用于人工智能和机器学习 (ML)、高性能计算 (HPC)、内存数据库或事务处理。

确定使用哪种实施类型--主机到控制器还是控制器到 NVMe 介质。根据性能要求咨询供应商支持哪种类型。

调查潜在的基础设施瓶颈，如应用程序、服务器或网络。就潜在的性能和总体拥有成本（TCO）收益咨询供应商，以证明投资回报率的合理性。

评估潜在的存储平台、网络接口控制器、HBA 和网络结构供应商，以验证是否已进行互操作性测试并提供参考。

验证管理程序和操作系统对 NVMe-oF 网络的可用性和支持，以确保兼容性和性能改进。

I&O 领导者必须部署带有 RDMA RoCE v2 的 NVMe-oF 或基于 TCP/IP 的 NVMe-oF 产品，以简化过渡并提供投资保护。

供应商示例——

Dell Technologies、Hewlett Packard Enterprise (HPE)、Hitachi Vantara、华为、IBM、Lightbits Labs、NetApp、Pure Storage

 

DNA 存储

分析师：Matthew Brisse

效益评级：高

市场渗透率：不到目标受众的 1%

成熟度：雏形

定义：

脱氧核糖核酸（DNA）数据存储是对合成的 DNA 链进行二进制数据编码和解码的过程。任何二进制序列都可以用 DNA 序列编码，然后合成并存储。要检索数据，必须对 DNA 分子进行测序和解码。DNA 因其超高密度、耐用性和可持续性，正在成为一种越来越有吸引力的数据存档介质。

为何重要——

DNA 数据存储的重要性在于其密度、耐用性和可持续性；它能满足长期数据保存和可持续性的需求。

DNA 可进行错误检查和自我修复，是理想的数据存储介质和应用计算平台。

DNA 数据存储无需每 5 到 10 年更新一次技术，因此对物理数据中心空间、二氧化碳排放和避免运营支出（opex）具有长期的成本削减影响。

业务影响——

随着 DNA 存储技术的成熟，其对数据存储、并行处理和计算的影响将是巨大的。对于通常率先采用新技术的数据密集型行业来说，采用完整的 DNA 生态系统作为可消费的企业产品可能需要大约 8 年的时间。这些领域包括医疗保健、银行、金融、保险、公用事业和政府。国防、研究和情报部门最有可能成为早期采用者。

驱动因素——

未来的 DNA 数据存储用例将侧重于对功率和空间敏感的长期存储要求。

一旦写入 DNA 存储，DNA 数字数据的合成链只需极小的存储空间，几乎不耗电。从理论上讲，它们可以被各种设备以面向未来的方式访问数千年（甚至数百万年），而无需进行数据迁移。

由于 DNA 存储不会出现因技术过时或数据退化而导致的数据迁移问题，因此可降低长期运营成本。

基于 DNA 的数据存储的业务驱动因素包括密度、稳定性、耐用性、可持续性和长期运营成本。

全球每天都会产生数百 PB 的新数据，而一克 DNA 就能存储所有这些数据。一克 DNA 可存储约 215 PB 的数据，理论上其寿命最短可达数百年，最长可达数千年。

DNA 数据存储的能效特征可以显著减少物理基础设施的空间和数据寿命期间的二氧化碳排放量。

与目前的技术相比，DNA 存储器中的数据可以保存数千年而保持不变，不会出现退化或驱动器故障。

未来，DNA 数据存储将与 DNA 计算相结合，用于超大规模、大规模并行处理应用案例。

障碍——

DNA 技术在其生命周期的早期面临着许多与其他初创企业相同的挑战：速度、上市时间、标准和成本。

DNA 数据存储专利很可能会跨行业，这使得专利和许可协议具有挑战性。当市场成熟时，知识产权申请的速度会加快，因此投资者的数量也会增加。

合成 DNA（将数据存储为 DNA 的介质）的创造需要变得高效且具有成本效益。

DNA 数据存储的访问速度和吞吐率必须大幅提高，才能与传统方法竞争。DNA 自组装和其他类似过程本质上是化学反应，与当今的传统方法相比，速度要慢得多。

数据安全和监管挑战将是一个问题，因为 DNA 总有一天会存储个人、敏感和机密资料。

业界需要制定并加快 DNA 数据存储和相关检索过程自动化的标准。

用户建议——

认识到 DNA 数据存储尚处于萌芽阶段，为技术成熟后的炒作做好准备。精明的企业将透过炒作看到 DNA 存储所提供的实用案例。

重点关注初创公司的尽职调查，并将风险与使用案例回报的合理性结合起来。

避免长期锁定早期供应商。初创公司会不断涌现，也会不断失败，直到技术成熟，确定胜负。

预测 DNA 数据存储发展中的困难。探索近乎无限、企业级、可靠、耐用容量的前景，而成本仅为传统企业级介质的一小部分。

在有条件的情况下，优先将 DNA 存储用于早期使用案例，重点关注 "只写不读 "或 "只写少读 "的大规模数据集。

当存储价格下降到磁带存档成本的三到四个数量级，以及写入速度达到兆位/秒范围时，评估 DNA 数据存储的可行性。

样本供应商——

Ansa Biotechnologies、CATALOG、DNA Script、Helixworks Technologies、Iridia、Kilobaser、Molecular Assemblies、Spectra Logic、Twist Bioscience。

 

参考资料：

 https://mp.weixin.qq.com/s/ZUsIg00dHDFJ10OQ0hFw5w

https://mp.weixin.qq.com/s/yXjhNvptI1k9Mgb3dVBBgw