（一）存储技术发展史

数据的存储从古至今都是人类活动的重要环节，人类探索世界得到的信息和数据不断积累，代代传承，提升了人类认识、改造世界的能力。对信息沟通量与质的不懈追求，促使人类探寻更大容量、 更高性能的存储模式，推动开发和应用更多更先进的数据存储技术， 使数据更好地储存和交互，提高数据使用的便捷性与持久性。

20世纪20年代以来，伴随着电子技术的发展，存储技术进入了崭新的时代。

1928年，可存储模拟信号的录音磁带问世，每段磁带随着音频信号电流的强弱不同而被不同程度的磁化，从而使得声音被记录到磁带上。1951年，磁带开始应用于计算机中，最早的磁带机可以每秒钟传输7200个字符。20世纪70年代后期出现的小型磁带盒，可记录约660KB的数据。

1956年，世界上第一个硬盘驱动器出现，应用在IBM的 RAMAC305计算机中，该驱动器能存储5M的数据，传输速度为10K/S， 标志着磁盘存储时代的开始。1962年，IBM发布了第一个可移动硬盘驱动器，它有六个14英寸的盘片，可存储2.6MB数据。1973年，IBM 发明了温氏硬盘，其特点是工作时磁头悬浮在高速转动的盘片上方， 而不与盘片直接接触，这便是现代硬盘的原型。

1967年，IBM公司推出世界上第一张软盘。随后三十年，软盘盛极一时，成为个人计算机中最早使用的可移介质。这个最初有8英寸的大家伙，可以保存80K的只读数据。四年后，可读写软盘诞生。 至上世纪九十年代，软盘尺寸逐渐精简至3.5英寸，存储容量也逐步增长到250M。截止1996年，全球有多达50亿只软盘被使用。直到 CD-ROM、USB存储 设备出现后，软盘销量才开始下滑。

进入21世纪，信息爆炸导致数据量成倍增长，硬盘容量也在飙升，单盘容量已可达到TB级别。即便如此，单块磁盘所能提供的存储容量和速度已经远远无法满足实际业务需求，磁盘阵列应运而生。 磁盘阵列使用独立磁盘冗余阵列技术把相同的数据存储在多个硬盘，输入输出操作能以平衡的方式交叠进行，改善了磁盘性能，增加了平均故障间隔时间和容错能力。RAID作为高性能、高可靠的存储技术，已经得到非常广泛的应用。

21世纪以来，计算机存储技术飞速发展，如何快速高效的为计算机提供数据以辅助其完成运算成为存储技术新的突破口。在RAID 技术实现高速大容量存储的基础上，网络存储技术的出现弱化了空间限制，使得数据的使用更加自由。网络存储将存储系统扩展到网络上，存储设备作为整个网络的一个节点存在，为其他节点提供数据访问服务。即使计算主机本身没有硬盘，仍可通过网络来存取其他存储设备上的数据。基于网络存储技术，分布式云存储、容灾备份、虚拟化和云计算等技术得以广泛应用。

数据存储，是现代信息产业架构中不可或缺的底层基座。经过百余年的发展，存储技术已经呈现出非常多的形态，且仍在不断完善和创新，以适应日益增长和不断变化的数据存储需求。

（二）存储技术架构

现有存储系统从底层到上层由存储介质、组网方式、存储协议和类型、存储架构、连接方式五个部分组成。

（三）存储产业市场纵览

2021年中国企业级存储市场空间55亿美元， 2020-2024年中国企业级存储市场将保持7.16%的年复合增长率，到 2024年中国企业级存储市场空间将达到65.9亿美元。

存储市场按照存储架构可以分为传统企业级存储、软件定义存储、超融合基础架构。2020年 Q1-Q3中国存储市场中传统企业级存储占比59.2%，仍是最主流的存储架构，SDS软件定义分布式存储占比22.2%，HCI超融合占比18.6%。 SDS和HCI的增速远远超过TESS，其中SDS未来四年复合增长率 12.8%，HCI未来四年复合增长率13.0%。分布式存储在政府、运营 商、金融、企业、教育、医疗、能源等众多行业被广泛接受和采用。

存储市场按照存储介质可以分为全闪存储、混闪存储、全机械盘存储。2020年Q1-Q3中国存储市场中全 闪存储占比18.2%，混闪存储占比28.6%，两者之和接近50%，且全闪存存储的增速较快，较2019年Q1-Q3同比增长20%。

在全球存储市场中，由于闪存成本不断下降，全闪存储份额快速增加，市场占比超过20%。2026 年SSD单TB成本将低于HDD，达到15美元/TB。2025年后，HDD的出货量将每年下降27%，只应用于扩容和归档等少数场景。

随着国内存储厂商的技术进步及国家自主创新的政策激励，国产存储厂商份额不断提升，国产化存储产品也逐渐被用户接受。

（四）存储产业痛点分析

“数据”是数据中心乃至企业最重要的资产。在数字社会，数据具有基础战略资源和关键生产要素的双重角色。作为信息化系统中的核心部分和底层基座，存储系统的构建和使用直接关系到数据这一企业核心资产的存储、使用和挖掘。当前，存储系统面临的业务环境呈现出以下两个特点。

一是数据量爆发式增长。随着移动互联网不断发展，企业的数据规模呈现爆发式增长。2018 年中国新增数据量为 7.6ZB，成为世界第一数据生产国；2025 年中国新增数据量将达到 48.6ZB，年平均增长率为 30%。

二是业务负载呈现动态变化。现代业务平台的负载是非线性的、 动态变化的，尤其是互联网类的业务，随时可能出现业务负载的突发性变化。

当前存储技术存在以下四个问题，导致难以满足业务需求：

一是主要采用集中式架构，横向可扩展性差。传统存储由于紧耦合架构和单一的协议，导致性能和空间无法独立扩容，支撑业务快速部署上线。相较于计算虚拟化环境下秒级的虚拟机部署和回收， 存储的扩容和资源分配往往需要几个小时甚至几天以上的时间，难以满足客户快速扩展的需求。

二是无法统一调度，存储容量浪费。受限于架构设计，不同存储之间的资源无法进行统一调度和管理，时常出现个别节点资源存在剩余，但其他节点却出现空间不足的情况。存储整体利用率低， 造成存储、计算资源浪费。大数据时代，这一问题被进一步放大。

三是产品兼容交互能力差，业务复杂性变高。未来企业 49%的应用将与其他应用 有紧密关联，每个企业级应用都将与其他 4-8 个应用有频繁的交互。 不同供应商或型号存储产品往往难以互通，当需要替换存储设备时， 数据迁移问题无论对运维还是业务平台本身都是一项极大的挑战。

四是多种存储产品混合使用，运维难度大。目前我国各行业用户采购的存储产品往往由多家厂商供应，由于接口、协议、工具的差异，造成了诸如业务复杂性变高、运维成本上升等问题。

进入移动互联网时代，存储应用场景急剧变化，下一代数据存储技术应运而生。下一代数据存储技术主要指在存储介质、存储架构、存储协议、应用模式及运维模式等方面迭代创新的一系列技术的集合，总体呈现出高性能、易于扩展、服务化和智能化等特点。

（一）存储介质演进

1.全闪存储

在需求侧，当前数据爆炸式增长，云计算、物联网、大数据、人工智能、区块链等新技术快速发展，驱动人脸识别、自动驾驶等新智能应用不断涌现，业界已进入智能驱动的新数据时代。这一时代，数据存储具有三大需求，分别是 EB 级容量、亿级 IOPS和智能管理，亿级 IOPS 需求使得存储介质的变革势在必行。

在技术侧，全闪存储普遍被认为是存储行业的发展方向，其具备远高于传统磁盘存储的数据吞吐能力及更低的时延。固态硬盘对比机械硬盘，拥有更快的读取速度、更低的功耗以及更 低的故障几率，实现了对机械硬盘性能的全面超越，为底层存储介质的替换提供了客观条件。

在产品侧，各大存储厂商均推出了全闪存储产品。以 OceanStor Dorado 为例，相较传统机械存储，在存储性能委员会（SPC）的 SPC-1 基准 下，业务性能提升了 5 倍；在数据库场景下，业务性能提升了 10 倍； 在虚拟桌面场景下，在 Word/PowerPoint/Excel 应用测试中，启动响应时间缩短 80%。充分体现了全闪存储产品优异的性能。

2.非易失性内存

为开发出比传统非易失性存储介质更高速、更低功耗、更高密度、更可靠的新型非易失性存储介质，研究者们把目光聚焦到一些特殊材料上，提出了一些存储介质模型。

随着存储技术的发展和人们对存储性能的不懈追求，高性能存储的探索开始向内存通道迁移。非易失性双列直插式内存模块应运而生。有三种 NVDIMM 的实现方式：

（1）NVDIMM-N 指在一个模块上同时放入动态随机存取存储器和闪存。通过使用一个小的后备电源,为掉电时数据从 DRAM 拷贝到闪存中提供足够的电能，当电力恢复时, 再重新加载到 DRAM 中。

（2）NVDIMM-F 指使用了 DRAM 的 DDR总线 Flash 闪存,一定程度上减少协议带来的延 迟和开销，但只支持块寻址。

（3）NVDIMM-P 是真正 DRAM 和 Flash 闪存的混合。它既支持块寻址, 也支持类似传统 DRAM 的按字节寻址。容量可以达到类似 NAND 闪存的 TB 级, 又能把延迟保持在 102方纳秒级。Intel 发布的基于 3D XPoint 技术的英特尔傲腾持久化内存，可认为是 NVDIMM-P 的一种实现。

非易失性内存的出现填补了从硬盘到DRAM之间，存储在性能、 延迟、容量成本的鸿沟，为多样化的解决方案奠定了坚实的基础。 非易失性内存技术能够存储不适用于 DRAM 的庞大数据集，进行快速计算，同时与其他存储介质共同组成多级存储池，让数据更加靠近处理器，提升存储系统的整体性能表现。

（二）存储架构演进

大数据、云计算和虚拟化等技术的出现，使得传统的 IT 架构难以满足企业日益增长的数据存储需求。为应对这一挑战，软件定义存储和超融合基础架构应运而生，打破了传统 IT 系统复杂和繁冗的现状，优化了网络的可扩展性和管理方式。

1.软件定义存储

企业对数据服务的需求变得更加复杂、精细和个性化，对数据存储的高可靠性、高性能、高扩展以及面向云架构的延伸能力等层面提出了更高的要求。虚拟化和云技术的发展和成熟转变了数据中心的设计、建造、管理和运维方式，这种变革使软件定义存储越来越有吸引力。

软硬解耦、易于扩展、自动化、基于策略或者应用的驱动是软件定义存储的特征。就业务应用来说，即不限制上层应用，不绑定下层硬件；除了提供块存储，也可以在同一平台提供文件、对象、 HDFS 等存储服务，实现非结构化数据的协议互通；同时应具备完善的监控能力，实现应用感知。

软件定义存储对全行业业务都具备适用性，可根据当前业务场景需要进行规划设计。

开放化和水平扩展是软件定义存储的两大特点。开放化意味着接口标准化、服务原子化，保证客户的应用系统能够以最顺畅的方式对接基础存储设施，可微调解决方案细节，达成高质量的服务。水平扩展则是云计算弹性环境的必然要求，在移动互联网环境下，业务应用的负载量是突发式、潮汐式、难以精确预测的，应用要求存 储的容量和性能都必须能够线性扩展以满足上层应用需求。

软件定义存储产品在提供高可靠和高可用服务能力的同时，集成了数据智能处理和分析能力，简化了海量数据处理所需的基础设 施，帮助客户实现数据互通、资源共享、弹性扩展、多云协作，有效降低用户的使用成本。

2.超融合基础架构

超融合基础架构是一种软件定义的 IT 基础架构，它可虚拟化常见 “硬件定义” 系统的所有元素。超融合基础架构包含的最小集合是：虚拟化计算、虚拟存储和虚拟网络；超融合系统通常运行在标 准商用服务器上。

超融合基础架构除对计算、存储、网络等基础元素进行虚拟化外，通常还会包含诸多 IT 架构管理功能，多个单元设备可以通过网络聚合起来，实现模块的无缝横向扩展，形成统一资源池。

超融合基础架构通过为企业客户提供一种基于通用硬件平台的计算存储融合解决方案，为用户实现可扩展的 IT 基础架构，提供高效、灵活、可靠的存储服务。对于用户来讲，超融合基础架构的主要价值如下：

以简洁的架构提供高可用方案。超融合由于其融合部署架构， 可有效协调虚拟化和存储高可用联动的问题，从而以非常简洁的架构提供不同级别的高可用方案。

存储系统整体性能的大幅提升。分布式架构提升了系统整体的聚合性能，可以在不改变硬件配置下进一步降低访问延迟。

扩展性大幅提升。超融合基础架构的核心分布式存储在可扩展性上有了本质的提升，包括如下特点：支持少量节点起步，支持硬件部件及节点级扩容，容量自动均衡，异构节点支持，卷级别存储策略等。

采购成本和总体拥有成本降低。在使用成本方面，服务器+超融合软件的采购成本有大幅度的降低。除采购成本外，超融合系统在总体拥有成本上有更大的优势。SmartX 在某证券客户的支撑案例中，超融合解决方案协助客户提升 15% 的资源利用率、降低 60% 的运维工作量、同时每年的 IT 采购成本降低 50%。

（三）存储协议演进

在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用 AHCI。 AHCI 为单队列模式，主机和 HDD/SSD 之间通过单队列进行数据交互。对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI 协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置 读取数据，具有高并发性。AHCI 的单队列模式成为限制 SSD 并发性的瓶颈。随着存储介质的演进，SSD 盘的 IO 带宽越来越大，访问延时越来越低。AHCI 协议已经不能满足高性能和低延时 SSD 的需 求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe 协议应运而生。

NVMe 协议旨在提高吞吐量和 IOPS，同时降低延迟。基于 NVMe的驱动器可实现高达 16Gbps 的吞吐量，且当前供应商正在推动 32 Gbps 或更高的吞吐量产品的应用。在 IO 方面，许多基于 NVMe 的驱动器，其 IOPS 可以超过 50 万，部分可提供 150 万、200 万甚至 1000 万 IOPS。与此同时，延迟持续下降，许多驱动器的延迟低于 20 微秒，部分低于 10 微秒。

凭借卓越的性能，NVMe SSD 在 2018-2023 年间以 38%的复合年增长率持续增长，2020 年占据企业级 SSD 出货量的 55%以上，云 客户、OEM 厂商和企业均将 NVMe SSD 作为存储设备的首选。

在网络协议层，30 年来，存储网络都是以 SCSI协议为基础框架，前端传输网络层一直以 FC网络为主，后端则 以 SAS网络为主，这构成了服务器间以 IP 为主要互联手段的 IP 存储网络。

2010 年后，随着闪存介质的普及，SCSI 协议框架对性能的限制 也越来越突显出来。NVMe 和 NVMe Over Fabric技 术的出现打破了这些限制，面向高性能介质设计的多队列模型更能 发挥闪存介质的性能。NVMe-oF 推动 IP 化、低时延化，基于 IP 网 络的 NVMe-oF 技术不但使得前端存储网络可以基于 IP 直接与本地局域网连接，甚至可以直连广域网；同时，利用 NVMe-oF 技术小于 10us 的超低附加时延，使得替换后端 SAS 网络也成为了可能，整个 数据中心可以基于统一的以太网来构建；一方面降低整个数据中心的建设成本，一方面降低独立存储网络的运维成本，同时有利于云及大数据应用环境下的数据共享。

华为 NoF+存储网络是 NVMe-oF 技术一个典型应用，在 OLTP/OLAP场景，IOPS 最高提升 85%， 拥塞时延最大降低 46%，端到端故障切换时间