设为首页加入收藏
群晖首页图片
网站标志
新闻详情
 
当前位置
新闻搜索
 
 
Gartner 2019 分布式文件存储 DFS 关键能力报告 深入 剖析解读
作者:管理员    发布于:2019-11-18 19:08:14    文字:【】【】【



原创: 冬瓜哥  一切荣耀归瓜哥,哈里路亚。



近日,Gartner发布了2019年全球分布式文件存储关键能力报告(Critical Capabilities for Distributed File Systems),Dell EMC、IBM、浪潮、华为、Qumulo、Pure Storage、Red Hat共7家全球主流厂商入围测评。

 1
分布式存储高速发展  背后的趋势变化



分布式存储系统近年来的普及势如破竹,这一方面得益于分布式系统提供的高可扩展性大规模并发特性,另一方面则得益于互联网、大数据、人工智能应用的上层架构从本质上恰好需要分布式存储系统这种多节点和高并发架构,甚至干脆形成了应用和存储节点超融合的架构。这些新型的应用与传统应用部署架构完全不同,后者多为单机版应用,需要的是一个具有较强功能和性能的本地存储系统,要么使用DAS存储架构独占本地资源,或者使用传统的SAN/NAS存储系统与其它业务适度共享集中的存储资源,由于SAN采用专用的前端网络,无论是在QoS还是性能密度上,都充分保障了传统单机业务的可靠性、性能、可用性以及QoS。而如今的新型业务由于所需的并发量较大,一般普遍采用多机多节点集群化部署,在每个节点上运行一个或者多个应用实例或者说进程,多进程之间通过网络通信相互同步状态、元数据和数据,以实现任务的切割、派发、执行、结果汇总过程。而这种架构基本上与传统的HPC架构如出一辙。


另外,传统的I/O访问方式,比如经典的block addressable I/O,file byte addressable I/O已经无法满足或者正在掣肘这些新型业务。为此,新式的I/O访问方式,比如Object、stream等I/O接口也在快速发展和应用。


正因为应用架构多变,并不像传统业务那样在I/O方面完全标准化,所以派生了大量应用场景,带来的问题也是显然的,分布式存储系统需要应对这些非标准化场景,对这些场景的节点部署、网络、I/O方式、API接口等都需要进行精确评估、调优甚至二次开发适配。


分布式存储系统在硬件上几乎没有门槛,因为可以完全基于开放的标准服务器和本地SAS HBA/RAID卡,由于分布式节点规模扩展性强,每个节点只需要是瘦节点就可以了,这就避免了胖节点在JBOD上的硬件成本和软件商的管理监控成本。


在分布式核心软件上的门槛相比传统的封闭式存储系统而言也极大降低了,因为伴随着互联网、云计算、大数据等业务的助推,大量的开源分布式系统软件平台都可以用来借鉴甚至直接利用。这些软件平台包括分布式核心存储层以及外围集群管理层,前者主要负责对数据的布局决策、存储、容错、容灾等,后者则负责对整个集群中的节点进行监控和管理,比如心跳、仲裁、故障切换、节点的增删等等。


正因如此,近年来众多厂商,包括老牌传统存储厂商以及新兴厂商,都推出了各自的分布式存储系统。不得不说的是,传统存储厂商在分布式系统架构领域的确有一定的技术积累可以利用,比如传统SAN/NAS是双控架构,相当于一个双节点的集群,传统厂商在双节点集群的双活、冷备、互备、心跳、切换等方面已经非常成熟。但是,对于三节点及以上的集群,其架构相比双节点其实是有本质区别的,这就像双星系统和三体系统一样。再加上分布式系统节点基本上都是基于开放式服务器瘦节点,传统厂商更多积累在胖节点上。所以,基本可以认为传统和新兴厂商在分布式存储系统领域的起跑点是齐平的。


 2
Gartner报告  提供5大场景、8大关键能力的评分


在这个大背景之下,显然有必要对各厂商的分布式存储系统的各项参数、能力、场景适配等进行梳理总结、评估。在Gartner最新《Critical Capabilities for Distributed File Systems》分析报告中,将分布式存储系统的关键能力做了总结,得出8个核心关键能力:


容量 - 数百TB甚至PB级别的容量扩展潜力

空间效率 – 支持压缩、重删、Thin Provision、自动分层的能力

平台适配性 – 与第三方软件平台的适配能力

可管理性 – 支持自动化管理、监控以及提供分析报告工具的能力

性能 – 总IOPS、带宽吞吐量、时延指标,以及在真实应用场景下的性能发挥程度

自愈能力 – 提供高可用性和数据保护的能力

多租户及安全性 – 包括细粒度访问控制、用户控制的加密、防恶意软件等

价格 – 提供优异性价比以及定价模型的能力

该报告还总结出了分布式存储系统的5个主流的应用场景:归档、备份、商用HPC、混合云、大数据分析。


这个划分我觉得还是比较全面的,从业务角度入手来审视分布式存储应该具有什么样的能力来支撑这些业务场景。


该报告入围了7家主流分布式存储系统厂商产品用于评估,并针对8项核心关键能力中的每一项都给出了评分,见Table 2。

 


其中空间效率得分最高者是DELL EMC Isilon,这也是EMC特别看重它的“有效容量”计划的一个体现。


性能以及自愈性一栏得分的前两名远超其它产品,分别是Pure Storage FlashBlade以及IBM Spectrum Scale。Pure Storage的FlashBlade得益于其专门设计的全闪存架构,性能不居首也说不过去,不过相比之下其成本和空间效率得分也是最低的,因为这两个因素与性能很大程度上是矛盾的。IBM排第二这也在意料之中,因为Spectrum Scale的内核其实是GPFS,这个文件系统可谓是历经沧桑的三朝元老了,其源自由于IBM在HPC领域的深厚积累,性能和自愈性得分最高也是理所当然,同时也可以看到,其管理性方面得分却是最低的,这或许也继承了IBM的一贯格调。


可管理性得分遥遥领先的是一个名不见经传的产品:Qumulo File Storage,我对它并不是十分了解。同时它也是价格得分最高者之一。


该报告还针对五大典型场景下针对每种能力的需求给出了权重值,见Table 1。HPC和数据分析场景下对性能有强烈需求。值得一提的是,不管是在哪个场景下,对可管理性的需求都相对较高。除了混合云场景,其他场景对容量的需求也是相对比较高的。


田忌赛马的故事告诉我们,在综合场景下,最终赢家可能并不是在某一方面非常强而其他方面孱弱的选手。Table 3告诉了我们一个事实。

 


根据Table 3中的综合得分得出每个典型场景下的得分前三,见下图。

 


图中可以发现,唯一一家在每个场景下都进入前三的产品,是浪潮AS13000分布式存储系统,拿到了1个第一,2个第二,2个第三。浪潮分布式存储系统AS13000表现突出,我觉得这可能也是个必然结果,因为浪潮很早就意识到了分布式存储场景与传统场景的本质区别并开始针对分布式存储系统的应用场景进行梳理分析,抽取业务I/O模型并落地到产品设计开发过程中。早在去年年初,浪潮就开始逐渐将梳理好的模型同时向研发和前端输送,从而为后续产品开发提供需求输入以及在前端项目实施过程中达到更高的质量和交付速度。

 3
浪潮分布式存储  场景化定制


从一些公开的材料和文章中也可见浪潮在这些场景下所做的适配和优化。比如在HPC场景下,支持元数据集群、小文件聚合、RDMA技术,和AI应用对接优化等技术方案。在混合云场景下,增强可管理特性,比如标准接口S3、OpenStack插件、云备份(从私有云到公有云的备份技术),一套系统提供文件、块、对象、大数据、数据库等五种数据服务等。当然,分布式文件的应用是较为广泛和成熟的。


比如,浪潮AS13000在石油勘探场景下的综合性能在某项目中超出业界平均水平约30%。

 

浪潮分布式存储的测试性能:写性能比业界平均水平高32%,读性能高27%


在一个典型的石油勘探场景下,在数据存储阶段,石油勘探需要将采集到的原始地震波数据统统写入分布式存储平台,存储需要提供高聚合带宽和PB级容量,满足海量数据的并发写入、存储需求。在数据解释阶段,存储需要提供高带宽,能够一次性“读出”单个文件大小超300GB的超大文件。此时的存储需求是高带宽。而在数据处理、分析阶段,石油勘探模型处理、分析产生了海量的次生小文件,存储需要通过小文件/对象聚合技术,提升海量次生小文件的并发性能。这就如同水库,先汇聚资源,达到一定蓄水量后再向下游统一输出,存储要把亿级/千万级小文件的随机写变为固定大小的数据的顺序写,提高效率。


浪潮存储研发工程师表示:“同等配置水平下,目前分布式存储业内平均水平为单节点写1.3GB/s、读1.5GB/s,这样一来16个节点的平均写性能是20.8GB/s、读性能24GB/s。对比来看,浪潮分布式存储在石油勘探项目中的性能表现,比业界平均水平高出了20%~30%。”更高的性能意味着,浪潮分布式存储平台可以帮助石油勘探项目缩短勘探开发周期、提高勘探开发成功率。


前文中也提到过,目前的新兴应用场景规模大,架构复杂,I/O模型未知,未经过充分研究总结和标准化,所以分布式存储系统厂商不得不自行针对这些场景做出适配,这个初步积累过程其实是比较痛苦的,但是度过了这个阶段之后,就会形成一些固化的精髓,正犹如传统SAN/NAS厂商对大规模机械盘的管理和行为了如指掌一样,分布式存储系统厂商也终将会在场景适配方面形成自己宝贵的经验。


IT解决方案:

   文件共享、私有云盘、企业网盘  解决方案

   存储雷电MAS/DAS /SAN/JBOD/IPSAN ISCSI 解决方案

   企业级存储 解决方案

   备份 容灾 数据保护系统 解决方案

   防勒索病毒解决方案

   光磁电融合存储解决方案

   Recovery Series Appliances

   Office 365 Backup

    DRaaS Solutions


  数据格式演变:非结构化数据存储, PB级数据存储 数据分级存储  

   NAS 应用场景:

     完美解决文件共享/文件分享问题,替代传统文件服务器,海量文件存储

      NAS网络存储 文件NAS存储 网络连接存储,文件存储,横向扩展网络附加存储 

 

   归档系统archiving:蓝光存储:华录 冷存储 海量存储 光盘存储  不可物理性覆盖的追记型(WORM)结构   磁带库:昆腾

   SAN存储:

   对象存储:云存储 




虚拟数据保护方案:

        RTO 小于2分钟

        SaaS数据的第三方备份 、saas数据备份、SaaS备份、salesforce数据备份、 Office 365数据备份、Google Cloud G Suite数据备份 和Salesforce.com数据备份 



备份的品类:

CDP保护 CDM Copy Data Management

容灾备份解决方案 灾备 灾难备份,灾备一体体 灾备一体机,备份容灾 存储双活,

数据备份与恢复系统:数据管理备份系统,不同 备策略建立独立的备份作业, 文件备份 系统备份 数据库备份 虚机备份  PC备份 服务器备份 数据库备份  虚拟机定时备份、虚拟机实时备份  Backup & Recovery 

物理机备份,整机备份,linux备份,

数据库备份:sql备份       

数据复制,数据迁移,数据保护,数据安全,业务连续性,


虚拟机备份解决方案:

         无代理备份方案、oVirt 备份方案,Ovirt虚拟化备份,

         VMware vSphere 备份方案、Citrix XenServer备份方案、RedHat RHV备份方案、、Ovirt备份方案、、H3C CAS备份方案、、Openstack备份方案、、华为 FusionSphere备份方案、、中科睿光 SVM备份方案、、深信服 HCI备份方案、、云宏CNware备份方案、、浪潮 InCloud Sphere备份方案、、中标麒麟高级服务器虚拟化备份方案、、噢易服务器虚拟化备份方案。

 

群晖备份一体机 适用于的国外企级备份软件有:

 (acronis 安克诺斯 /veeam卫盟/Veeam Backup & Replication /veritas华睿泰/commvault 慷孚沃德 /arcserver backup arcserver备份 )

    PHD virtual , Nakivo, IBM spectrum protect , (TSM) HP data protector

    DELL  EMC Networker  RecoverPoint 、Quest 、 veritas system recovery 18

兼容国内备份软件:

        数据备份和恢复领域 数据保护解决方案

       木浪云,壹进制unray  英方,i2,information2,上海英方软件股份有限公司 ,联鼎landersoft,精容数安,鼎甲scutech,火星仓,合力记易UPM,浪擎,爱数eisoo 云祺vinchin  盛思睿,,信核数码,数腾 datasure。



 西南NAS存储总分销:

       威联通 qnap, 色卡司thecus,infotrend普安, 华芸asustor qsan, 铁威马TerraMaster



国外存储:

         EMC易安信,netapp ,hds. netapp, 


存储应用行业:

       企业级存储  磁盘阵列 非编影视后期存储、集群存储、虚拟化存储、高性能云计算存储



国内存储:

     宏杉macrosan , 浪潮存储inspur,联想存储lenovo,联想凌拓存储lenovo-netapp,曙光存储sugon,华为存储 huaweioceanstor,海康hikvision IPsan ,大华 dahua IPsan

国外存储:isilon

分布式存储:SDS :software defined storage :qumulo vsan,smarx, x-sky xsky 软件定义存储   分布存储 

distributed file systems ,flashblade , 浪潮存储as13000, dell emc isilon,oceanstor,spectrum scale,gluster storage  

二级存储:cdm 第二存储 second storage


超融合hci:nutanix ,深信服 ,



NAS专用硬盘:

         seagate 希捷 酷狼ironwolf ,锡捷seagateironwolf 酷狼pro  ,WD westdigital 红盘 

         企业级硬盘 银河系列硬盘  西数金盘 东芝企业级 ,toshiba enterpise hardisk

         



产品:国行原装正品, Synology群晖科技官网



synology partner:

        深圳市凯洛蜜贸易有限公司

        深圳国亿国际贸易有限公司(深圳国亿国际)

        世平伟业国际贸易(上海)有限公司(上海世平伟业)



群晖官网:synology inc , 群晖科技官网


服务区域:

              四川群晖 成都群晖 西藏群晖  重庆群晖贵州群晖 贵阳群晖 云南群晖  昆明群晖

              四川synology: 德阳群晖 绵阳群晖,攀枝花群晖,西昌群晖,雅安群晖,内江群晖,资阳群晖,南充群晖,眉山群晖,乐山群晖,自贡群晖 泸州群晖 广元群晖 遂宁群晖  宜宾群晖 广安群晖  达州群晖   雅安群晖  巴中群晖  资阳群晖  攀枝花群晖  凉山彝族自治州群晖   甘孜藏族自治州群晖  阿坝藏族羌族自治州群晖



NAS品类:

        存储服务器,NAS网络存储服务器,群晖NAS网络存储,synology nas  ,网络附加存储, nas存储器, nas服务器,nas网络存储 群晖存储服务器 群晖服务器代理,企业级网络存储器,网络存储器,NAS云存储,网络存储池,私有云存储  存储nas成都



群晖配件:

         群晖钥匙、群晖硬盘钥匙、群晖硬盘托架钥匙、群晖网卡、群晖万兆网卡、群晖内存、群晖电源、群晖主板



群晖售后客服:

       免费提供以下群晖技术支持服务:

        群晖成都代理

       群晖nas 成都群晖技术QQ群   四川群晖群晖体验中心    群晖成都技术中心  群晖成都体验店  synology成都

       群晖技术支持  群晖存储盘

       群晖nas售后 群晖售后  群晖售后服务  群晖售后电话400请联络群晖官网

       群辉nas, 群辉存储,群辉成都 成都群辉,四川群辉,群辉四川   

       群晖保内免费维修支持,群晖保外免费检测 系列号查询是否过保,系列号查询是否在保

       黑群晖不提供技术服务 黑群晖无技术服务  不支持黑群晖洗白 ,  黑群晖无法升级,易丢失数据,

      建议用白群晖,

      成都群晖nas  群晖成都技术中心群晖 

       成都群晖nas 成都群晖体验中心  

     群晖四川总代理 群晖硬盘保护 群晖硬盘数据恢复  群晖数据保护





群晖数据恢复:

         服务器数据恢复、raid数据恢复、nas数据恢复、希捷数据恢复、西数硬盘恢复、Seagate数据恢复、WD数据恢复、群晖硬盘数据恢复、群晖数据恢复




 代理体系:

          synology群晖全国总代理、synology群晖国代,synology群晖总代理,synology群晖总分销商、synology群晖授权经销商、synology群晖官方代理商)

重庆群晖 合川群晖  南川群晖

   潼南群晖 铜梁群晖 长寿群晖   璧山群晖   荣昌群晖   綦江群晖   大足群晖   武隆群晖   垫江群晖   奉节群晖

         丰都群晖   城口群晖    巫溪群晖    云阳群晖     酉阳群晖    巫山群晖    梁平群晖    彭水群晖   秀山群晖   石柱群晖  

忠群晖    开县群晖


方案适用机型:

2019出品-19系列:

ds1019+、 DS1219+ 、UC300 RackStation、FS3400、FS3600、FS6400、HD6400、SA3200D、SA3400、SA3600、UC3200、DVA3219  UC3200RXD1219sas、DS420j、 DS120j、SA3600SA3200DFS3600、DS220j


18-系列:

FS1018、RS3618xs、DS3018xs、RS2818RP+、RS2418(RP)+、RS818(RP)+、DS918+、DS718+、DS418、DS418play、DS218+、DS218play、DS418j、DS218、DS218j、DS118、NVR1218;


17-系列: 

FS3017、FS2017、RS18017xs+、RS4017xs+、RS3617xs+、RS3617RPxs、RS3617xs、RS217、DS3617xs、DS1817+、DS1517+、DS1817、DS1517、扩展柜:417sas、RX1217sas、RX1217、DX517;


16-系列:

RS18016xs+、RS2416RP+、RS2416+、DS916+、DS716+II、DS716+、RS816、DS416、DS416play、DS416slim、DS416j、DS216+II、DS216+、DS216play、DS216、DS216j、DS216se、DS116、NVR216、群晖扩展柜 RX1216sas;


15-系列:

RC18015xs+、DS3615xs、DS2015xs、RS815(RP)+、DS2415+、DS1515+、DS415+、RS815、DS1515、DS715、DS415play、DS215+、DS215j、DS115、DS115j、DS1815+;


14-系列:

RS3614xs+、RS2414(RP)+、RS814(RP)+、RS814、DS414、DS214+、DS214play、RS214、DS414j、DS414slim、DS214、DS214se、DS114、EDS14;


13-系列:

RS10613xs+、RS3413xs+、DS2413+、DS1813+、DS1513+、DS713+、DS413、DS213+、DS413j、DS413j、DS213、DS213j、DS213air;


12-系列: 

DS112、DS112j、DS112+、DS212、DS212j、DS212+、DS412+、DS712+、DS1512+、DS1812+、DS3612xs、RS212、RS812、RS812+、RS812RP+、RS2212+、RS2212RP+、RS3412RPxs、RS412xs、RS412RPxs;


11-系列:

DS1511+、ds2411+, RS3411xs、RS3411RPxs、DS3611xs,扩展箱 DX1211、rx1211rp+, rs411

RS2211(RP)+,RS3411(RP)xs,RX1211(RP);


10-系列:DS1010+,DS710+,RS810(RP)+ ,rx410;


09-系列:

ds509+ ,rs409,rs409RP+,rx4;


早期系列:ds-101 ;


群晖配件:

M2D17 ,synology 群晖监控许可证


成都科汇科技有限公司 --- 专业数据备份服务商

无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。

京东群晖synology  天猫群晖 线下代理技术咨询服务

四川成都群晖官方授权核心代理商(企业级服务商)

四川成都群晖synology解决方案中心

四川成都群晖synology体验中心

四川成都synology群晖线下实体店

四川成都群晖synology售后技术中心

四川成都群晖synology官方授权专卖店


成都科汇科技有限公司

地址:成都市人民南路四段1号时代数码大厦18F

电话:400-028-1235

QQ:     2231749852

手机:138 8074 7621(微信同号
脚注备案信息
群晖技术群