存储阵列和分布式存储全闪存化大势已成?!选择全闪存架构先搞清7个问题

您所在的位置:网站首页 闪存架构pLC 存储阵列和分布式存储全闪存化大势已成?!选择全闪存架构先搞清7个问题

存储阵列和分布式存储全闪存化大势已成?!选择全闪存架构先搞清7个问题

2023-09-02 19:17| 来源: 网络整理| 查看: 265

▶王帅

主要SSD介质带来IOPS 性能的大幅提升,带来的读写延迟的大幅下降。这是HDD机械盘存储系统靠堆HDD盘数量所无法解决的。

(不同存储介质的速度比较)

存储介质从HDD到STAT/SAS SSD 再到NVMe SSD 延迟降低了10,000倍!!!

基于2015年的4KB 随机读测试数据显示最大IOPS 方面:SATA HDD是190个IOPS, SATA SSD 是70K个IOPS,而NVMe SSD 的IOPS 超过SATA SSD 10倍达750K个 IOPS。

存储介质从HDD到STAT/SAS SSD 再到NVMe SSD IOPS性能能力提升了3000多倍!!!

当前SSA(Solid State Arrays)已经处于成熟期, Gartner报告指出IT CTO 应当在2年内引入SSA以改善IT基础架构。

经过4年的发展,我司已经基本实现了核心生产和容灾存储的全闪存替换工作。

2017 Hype Cycle存储技术成熟度曲线

存储技术应当被企业引入的优先级表格:

1)颜色越红代表越要关注。

2)Solid-State Arrays 是最需要关注的存 储技术。

▶ibmfuqiang

如果一客户可以在单位成本能获取更高的性能,更低的延迟,更有效的生产力,那何乐而不为呢?何况现在闪存的价格也在慢慢趋于更合理的区间。说明一下,IBM在2017 4季度全面更新全闪存新产品新特性,主要包括三个方面:1,在硬件加速构架设计上已经全面使用NVM技术,2,支持在线压缩技术 3, 支持3D TLC高密度集成,容量上原来产品的三倍。如下图示:

当前制约全闪存存储性能发挥的主要瓶颈是什么,如何优化?

▶聂奎甲

大多数客户都会担心全闪存存储的稳定性,但目前所有的全闪存存储都支持类似metro mirror配置,可以保证数据的双冗余架构,来保障数据的可靠性。同时本身全闪存存储都是多冗余架构,从控制器到硬件卡等等。不尝试永远只是说停留在考虑担忧上,试试最重要。

推荐可以把闪存作生产使用,而且用传统存储做多个备份。

推荐在使用闪存方案时,评估一下每天的IOPS,然后根据闪存芯片使用寿命做一个最好、最坏、最可能的三点计算,提前准备好可替换的设备,另外有raid机制的保护,有热备盘等其它方式的保护,理论上来说是不用担心稳定性的。

系统的正常稳定运行,不仅仅是在硬件方面性能的提升,运维期间对设备运行状态的监控管理和调优都是必备手段。

▶王帅

不同存储介质的速度比较:

不同介质存储系统中软件栈的开销延迟比较:

全闪存系统架构中的性能瓶颈:

从架构层面优化全闪存性能-降低延迟提升IOPS:

金融行业上闪存架构的必要性分析? 哪些业务系统适合放在全闪存阵列上?

▶聂奎甲

大家都想省钱还能办事儿,但有时候,如果你的硬件已经配置到极限,那么也就是说性能也就在这个固有的范围里伸缩,如果这时候性能还是无法满足业务对IO的性能要求,那么你就要给现有的架构做些大动作的调整,如上闪存,从根本的介质上提升性能。总之,好钢用在刀刃上,一定要结合现有业务的瓶颈所在,做好新技术引进的必要性调研。

业务系统上:IO压力大的都适合,目前来看,数据库和vm虚拟化的都表现良好。性能肯定是比较明显的,但是也不能贸然的拿ppt中的8倍 10倍来说。最好有对应的测试数据。比如针对oracle,ibm有个AWR_AutoAnalysisTool工具可以做对应的测试。

▶ibmfuqiang

首先,银行主要业务分以下三类,SOR/SOE/SOI都适合使用全闪存存储构架,分析如下:

金融行业还包括保险,证券,哪些应用业务场景适合在全闪存储上呢?下面的分析和概括希望对大家有所帮助:

▶王帅

数据库小IO size 随机读写业务非常适合放置全闪存上。

如果是以视频,归档,顺序高吞吐带宽读写为主的应用,建议还是放置在HDD存储系统上就能满足,并且成本要低的多。

以下分析以下我司闪存使用情况:

作为知名保险的我司有幸成为国内最早一批引入全闪存的公司。从2014年开始经过4年时间我司已经基本完成全部核心生产和容灾系统的全闪存替换工作。

未来100%的核心系统都将实行全闪存化,我司引入了包括AFA(All Flash Array)全闪存阵列,以及软件定义分布式存储的全闪存存储等多个类型。

当前主流的全闪存阵列品牌型号有哪些?软件定义Server SAN全闪存品牌有哪些?技术产品选型上应该如何考虑?

当前主流的全闪存阵列品牌型号有哪些?软件定义Server SAN全闪存品牌有哪些?技术产品选型上应该如何考虑?

▶王帅

2017 SSA 全闪存阵列魔力象限排名。 可以看到主流存储厂商Pure Storage, Dell EMC, IBM ,HEP NetAPP, HDS等均有上榜

当前主流存储厂商均有推出全闪存的产品线:

Pure Storage

Pure Storage

当前最牛的全闪存startup 公司,IDC MarketSPure Storage的FlashArray列为高位。

IBM FlashSystem系列

IBM FlashSystem系列

IBM F900,V9000, A9000/A9000R,DS8880系列,以及V7000F/V5030F。

EMC

EMC

EMC不止提供一条闪存产品线。全闪存产品有高端全闪存VMAX AFA。Unity F系列,EMC Unity的性能是EMC前一代VNX阵列的3倍,可提供高达30万 IOPS。

EMC 收购了XtremIO, XtremIO 是一种分布式架构, XtremIO存储阵列是一个全闪存系统,以横向扩展体系结构为基础。系统采用了称为X-Brick的构造块,这些构造块可以群集化,以按照需要来提高性能和容量。

HPE惠普

HPE惠普

惠普(HPE) 3PAR StoreServ 2全闪存阵列,拥有高性能和可扩展性。可优化闪存的架构特性包括用于基于硅的硬件加速的HPE 3PAR Gen5 Thin Express ASIC,内联重删技术,零检测和其它压缩技术。

NetApp

NetApp

Netapp 有全闪存 FAS A 系列, EF 系列,AFF8000。

SolidFire

SolidFire

是全闪存的Server SAN 架构,去年被Netapp 收购了。

华为

华为

有Dorado全闪存阵列

对于产品的选择需要了解不同存储产品的市场定位同时结合自己公司的应用类型和实际情况来选。

▶ibmfuqiang

补充一下,IBM全闪存存储产品线,如下:

IBM F900,V9000, A9000/A9000R,DS8880系列,以及V7000F/V5030F。

AFA(All Flash Array)全闪存阵列与软件定义分布式Server SAN 全闪存有什么区别?各自适用环境?

1、软件架构不一样,全闪阵列就拿IBM F900来讲是基于FPGA架构,传输的速度和存储介质类型都很不错,其主要的应用场景是传统应用对IO响应速度要求高的,如金融和互联网行业比较多;

2、软件定义分布式的全闪存是基于分布式架构的,通过分布式软件将多台X86形成了一个逻辑整体,其存储介质类型是常见的SSD,其主要应用场景是新兴的云化的应用、云计算场景中比较多

▶王帅

拿云存储全闪存SolidFire 来说,其优势场景:

SolidFire是一款基于Server SAN架构的AFA分布式存储,其有清晰明确的市场定位。 其主要定位就在块block协议,不提供file和object对象功能。其主要应用案例和场景,7成用来和云opentask,VM集成,2成用在轻量级数据库比如mongoDB,PG,MySQL等,1成用来IOPS 2W左右的物理机。并且其核心设计里理念就是云里面保证qos--单个host提供有限的IO,其架构不适用于高吞吐带宽类应用。 其优势就是用丰富的API,和Opentask、云集成比较好,是devops的最爱。不适合传统集中型IO密集大型高性能数据库应用,也不适合存储大量图片、视频、归档等互联网带宽型应用。

再说说IBM 最高端FLASH闪存式A9000R: XIV的网格软件技术结合FlashSystem的硬件闪存是一个最佳的组合造出了A9000R。经过TMS和XIV的跨国合作(XIV是2008年收购的以色列公司),休斯顿和特拉维夫的研发人员飞越大西洋和地中海,紧密合作,终于诞生了A9000这个产品。一个满配的A9000R占用42U,有6组Grid 组合,每个Grid组合 包含2个Interface node 和一个FlashSystem磁盘阵列。一同组成一套网格分布式存储系统。A9000R在压缩去重效果相比其他厂商和Server SAN好很多,数据节约率最高,同时能保证极致性能。

A9000R 的极大优势在于其传承与XIV 的软件定义网格分布式架构,同时再存储复制解决方案上可以和XIV 完全兼容。相比传统厂商的AFA 要领先很多。

以上两款全闪存都是分布式架构的,其是基于全闪存而重新设计了整个系统和架构,目的就是为了完全的匹配和契合闪存介质的高性能。

再说说传统存储升级为全闪存的情况。传统厂商比如HP 的3par 升级之后推出基于3par 的全闪存阵列,比如EMC 升级VNX 之后推出基于unity F全闪存,VMAX 升级后推出VMAX AFA。 他们都有一个共同特点,就就是在已有传统存储架构上升级改造来的。而像SolidFire 和A9000R 是为了全闪存而重新设计存储架构。 当然传统存储升级为全闪存也有他的优点,比如说继承了传统存储的全部优点,解决方案成熟、稳定等,传统HDD存储能上的场景他们都能上。缺点也很明显就是其架构是前一代存储改造升级来的,不够彻底。

全闪存就一定贵吗——全闪存vs机械盘 成本分析对比讨论?

我司全闪存TCO成本低的秘诀之所在

我司通过Thin、压缩、去重、高密度机架等技术全面降低全闪存TCO使用成本:

基本做到核心生产系统SSD “GB/成本”接近于传统高端HDD存储。

做到容灾系统SSD “GB/成本”接近于传统高端HDD存储的60%-90%。

高性能测试和高性能报表库SSD “GB/成本”接近传统高端存储的50%-80%。

VDI ,虚拟机场景SSD “GB/成本”接近中端存储价格。

以A9000R分布式全闪存为例介绍压缩、去重技术

现在的存储厂商如果卖个客户的全闪存存储,不标配压缩、去重功能就不好意思出来见人。比较闪存还是太贵了,不支持压缩去重成本太高,大多数企业都用不起的。比如物理容量100TB的全闪存在A9000R存储上可以提供200-500TB的可用容量,成本就大幅降下来了。

全闪存存储架构实施过程中有哪些难点?是如何攻克的?

首先说一个我司这变态数据库的IO 模型,绝对够吓人:

数据库量85TB

读写比在2:1左右

顺序读占IO的40%左右,离散度占IO的13%;

读IO size 在150K~350K , 要求读延迟均值



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3