WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 大数据 > 正文
华为存储:效率是大数据的“良药”
作者: 佚名 2013-09-23 14:56 【watchstor.com】

大数据,是个大问题。

许多人心里都明白,自己没有为“他”的到来做好准备,但数据的重要性意味着,现在已经没有做准备的时间,而是要开始行动。

首先是要有行动准则,其中的关键是“找到可靠、可扩展、高性能与TCO之间的平衡点”,其次是“需要了解如何行之有效的进行数据价值的提取”,第三是必须要为“数据资产的长期管理做好规划”。

从应用到数据,从产生、获取到利用归档,大数据的处理过程是一个“大数据过程是处理海量数据的过程,是乱中求治的逆熵过程。是用最有效率的方法追求数据的最大价值。”

在大数据时代,处理数据的方法论也得到了进步:从以应用为中心正转变为以数据为中心;从按照数据生命周期来利用、管理数据转变为以“价值生命周期”来完成数据处理流程,正如华为存储海量存储产品领域总经理袁远所说的:“(处理)需要新的管理方法,技术工具,基础架构。”

但袁远也认为,大数据对存储架构、存储技术的挑战及其所带来的影响,要分两面来看:一方面,只要是数据存储,就有不变的需求,企业需要海量、可靠的存储,需要足够的性能,需要平滑的扩展,同时,从存储层到计算层的存储访问也不会有太大变化;另一方面,变化存在于数据提取、数据访问要更加灵活,而计算与存储也变得更加融合。

“对存储而言,永远有一个不变的追求就是提升效率,不管上面的基础架构如何变化,对存储经济性的考量永远是投入产出比。”袁远表示,在整个IT基础架构的投入中,存储还是相对较贵的,因此,“存储永远追求的是效率”。

华为存储大数据战略:以效率为核心

“华为存储的大数据战略如何确定?首先要有夯实的基础架构,无论多么复杂的问题,需要解决基本的扩展能力、性能需求,这一点上毋庸置疑;其次是效率,这是华为海量存储乃至整个存储的核心,所以华为提出存储、分析、归档三位一体,自动全信息生命周期管理;第三,要与应用智能结合,更智能、灵活的方式服务应用,华为存储提出了多种接口、灵活数据提取、开放架构的理念,更容易与第三方、跟用户的应用进行整合。”袁远透露,所有这三点的最终核心,都是借此提高华为存储在应对大数据、海量存储效率问题上的能力。

华为存储“夯实的底层架构”是业界最高性能的分布式文件存储系统,其提供55TB全局缓存以及40PB全局命名空间,N+M的网络RAID提供了良好的保护,而在性能方面,华为存储不仅实现了多项世界纪录的突破(N8000早已突破SPEC测试300万性能大关,而新一代产品的测试也在紧锣密鼓的进行中),更关键的是将大数据存储的1TB重构时间缩短到不到1小时,并通过128级自定义存储分级,更进一步的提高了系统的性能。

“三位一体的信息生命周期管理”则进一步提高了华为存储平台的效率,与传统烟囱式割裂的系统不同,华为单一架构融合存储、归档、分析及多重业务应用,避免了数据跨越不同的存储、分析、归档等设备的复制、重构和迁移:“把数据在不同存储设备、级别上的搬迁内部化,对用户而言整个投资能够下降3倍。”

结合这一架构,华为存储实现了数据在线、近线、离线的全生命周期管理全局视图,结合系统内数据动态分级,将“存储效率提升了5倍”。袁远表示,提高效率是为了服务更多的应用,这意味着存储平台必须实现更好的应用对接:更多的接口、更开放的架构。

“华为在一套存储平台上,可以支持NFS、CIFS、HDFS,无缝对接Hadoop,提供Restful接口适应云服务环境,并通过SQL接口(智能提取接口)更好的获取数据,批量且精准的查询。”袁远表示,华为存储采用标准x86服务器架构,全IP互联,适应第三代软硬件集成,结合最广泛的接口定义,适用几乎所有的半结构化、非结构化数据处理。

“我们还需要强调一下数据的灵活提取,目前来看做条件查询数据接口还是非常合适的,通过数据库规范性对数据进行灵活查询,原来可能查数据当中带红带子的嘉宾查出来,原来可能把所有文件查一遍,现在只要通过数据存储进行查询,也提升了效率。”袁远表示,所有这些特性构成了华为N9000这一高效率的大数据存储平台,“它是智能的平台,能够实现结构化、半结构化、非结构化的存储需求。”

在2013年华为云计算大会上,华为方面透露,华为正在更进一步冲击SPEC测试新的性能顶点,但正如文章上面所说的,SPEC的测试成绩只是华为在提高存储平台效率上的一部分,整个华为N9000存储系统、整个华为存储,其核心的战略、最终的目标,是持续不断的提高数据存储的效率——无论是传统的结构化数据存储还是大数据海量存储。

附华为N9000特点解析:

N9000 在一个系统内实现了分布式存储、分布式备份以及分布式数据分析的一体化全生命周期管理,在数据统一调度模块的调度下,数据在多域间有效流动。N9000 系统采取分布式架构,系统在初始时可以使用较小的配置,降低CAPEX 开销,随着业务量的增加,客户可以方便扩容,以实现应需而变。

弹性空间

N9000 采用全对称分布式Scale-Out 架构,全冗余部署,无单点故障,分布式Raid 保证数据节点间高可靠。在保证数据高可靠的同时,系统支持3 节点至288 节点弹性无缝扩展,单一文件系统可扩容至100PB,整个扩容过程业务无中断。企业,尤其是新兴的企业,在起步阶段, 业务量不大,需要的IT 设施规模也不大,更不可能有大手笔的IT 预算,但对性能方面的要求可能还很高。华为N9000 系统的起步配置可以以低的TCO,满足企业在容量和性能方面的需求; 随着企业发展壮大,对IT 的需求也在不断攀升,这时不用把原有的IT 投资打水漂,只需简单的扩容N9000 系统,轻松搞定对存储空间和性能的更高需求。

为了既满足客户性能容量需求,又最大程度的为客户节约投资,N9000 提供满足不同场景的节点:高OPS 节点、高带宽节点和大容量节点,客户按需配置;这些节点统一管理,资源统一调度,轻松管理。

卓越性能

众所周知,数据从缓存中读写远比从硬盘直接读写数据速度快。N9000 通过全局缓存技术, 为业务系统提供2TB 超大缓存池,有效提高数据访问命中率,提升整体系统性能;采用SSD 盘存储元数据,加速元数据访问效率,有效提升系统小文件处理能力;同时系统内部同时适配10GE/Infiniband 网络互联,把系统内部网络延迟降到最小,最终向上层业务提供极低时延的响应。N9000 向客户提供业界领先的超过300 万的OPS,超过170GB 的系统总带宽,极低的时延,充分满足高性能计算、媒体编辑等场景的高性能要求;不仅仅单节点可输出高性能,整系统性能也会随着节点扩容线性增长,从容满足业务的更高性能要求。

智慧融合

大数据带来的挑战不仅仅是数据的存储,还有数据的备份、归档,以及如何从海量数据中提取出价值。N9000 是业界首款创新融合Scale-out NAS、Scale-out Database 和Scale-out Backup,实现多位一体的存储系统,一套系统完成数据从存储、查询、备份、分析的全生命周期管理。N9000 提供对多种接口、多数据类型的支撑,支持NFS/CIFS,SMBV1/V2,HTTP/FTP , S3,JDBC,ODBC,SQL92、NDMP 等多种协议,支持对结构化数据,非结构化数据的存储,备份, 分析。N9000 通过多功能,多协议的智慧融合,消除数据孤岛,为客户搭建完整解决方案,轻松面对大数据时代。

简化管理

高效、简洁、一致的用户体验是N9000 对产品易用性的至高追求。只需一个管理系统,对硬件、软件、网络、服务统一管理,统一界面,让管理不再抓狂;单一文件系统、统一命名空间,自动精简配置,提高存储利用率,轻松应对空间规划;当出现硬盘预警时,无需立即更换, 系统可快速自愈合,让维护更从容;自动化的性能统计和智能分析,让决策不再盲目。

作为业界领先的新一代存储产品,N9000 融海量数据存储、分析、备份归档于一体,以业界领先的性能、大规模横向扩展能力和超大单一文件系统为用户提供结构化与非结构化数据共享资源池、基于数据全生命周期管理的存储与归档解决方案,充分切合广电媒体、高性能计算、能源地质、数据中心集中存储、互联网运营等多种大数据业务应用的需求。

【编辑推荐】

  1. 华为与石长铁路召开研讨会 探讨LTE在轨道行业应用
  2. 华为发布最新“一网双平面地铁统一承载网“解决方案
  3. 双统一存储架构 华为中端架构有变
  4. 行业用户力撑站台 华为“征服”媒资行业
  5. 华为泛BYOD融合网络构筑企业移动应用之基

标签:大数据 

了不起的IT经理
LecVideo
论坛与活动