WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

评论分析 > 海量存储 > 正文
海量存储趋势:IP化已成共识(2)
作者: 崔昊 2014-06-25 14:09 【watchstor.com原创】

名字的“迷局”:海量存储等于IP硬盘?

本次活动叫做“2014 海量存储创新论坛(Massive Storage Innovation)”海量存储创新论坛囊括绝大部分的大规模存储系统,无论是SAN、NAS还是集群NAS、分布式文件系统,总体来说,对于“海量”的讨论,是在多个领域的。本次是该论坛系列活动之一,主题聚焦在“IP存储”以及存储堆栈的全IP化上,但这其中的“IP存储”却不是指一般意义上的IP SAN(iSCSI SAN),而是以硬盘为基础,讨论如何实现在硬盘层面的IP连接以及细颗粒度管理。对于这样的论坛话题,从技术趋势和研究探讨的角度来说,确实是一个具有吸引力的话题。

本次论坛中心讨论议题是如何以IP化为核心,构建海量(大容量)存储系统?

对于这个问题,华为IT首席规划师余洲是这样认为的。他表示,在大数据时代,海量数据对数据的管理、搜索、利用的挑战极大,传统的DAS、SAN、NAS架构,很难支撑起PB乃至EB级别的海量存储,更合适的解决方案是采用对象存储。

同时,与以太网相比——在以太网线缆、网卡和硬盘成本方面——SAS的价格仍然是昂贵的,一般说来,SAS HBA、SAS线缆和企业级SAS硬盘的价格,确实要比相对应的以太网产品及普通硬盘的要更高。此外,磁盘RAID的成本也是较高的,甚至比2副本、3副本还要高,并存在一定的数据丢失风险。


不仅要考虑硬盘的成本,更要考虑综合成本

但最关键的是,在海量存储领域,业界的共识有两点非常重要。第一,是海量存储不可能再以传统的块、文件系统、应用的访问方式进行建设,这一架构——尤其是文件系统——的效率是很低的,业界的共识是,海量存储的主流很可能会是对象存储,因为这一架构可以让上层应用从“数据到底存在了硬盘的什么地方”,转变为“不再需要关心数据存放在硬盘的什么具体位置”,

第二,传统的服务器或存储系统,以SAS为基础,需要“进行空间管理、协议转换,底层Raid控制器实现数据的小范围冗余容错及性能优化,在所有服务器上运行分布式文件系统来执行数据的大范围容错和均衡(这样做的好处是对上层来讲复杂度降低)”,但随着互联网企业在海量存储领域的话语权逐渐增强,越来越多的用户希望,将尽可能细颗粒度的组件——不只是一块硬盘甚至是一个盘片一个磁头——都开放给上层应用访问,尽可能的“降低访问粒度,提升了大范围内的访问并行度”。

因此,在论坛与会者们看来,在海量存储领域,数十PB乃至EB级的存储需要从底层——也就是硬盘这一级——进行优化和改造,使之从底层就适合于海量存储的存储、访问和数据保护需求。

IP硬盘就是在这样的背景下产生,也是在这样的背景下与海量存储联系在一起的。

首先IP硬盘都是采用Key/Value的方式访问的,这是一个类似数据库访问的机制:“在用户存储数据的时候,硬盘会返回一个Key,这个Key‘指向’Value,也就是实际的数据,而Key采用哈希算法生成,不会重复、计算效率高。如果需要提取数据,只需要提供对应的Key就可以得到Value。”


在希捷Kinetic架构的架构中,Key/Value访问是关键之一

这一Key对应Value的架构,某种意义上来说,就是一种对象存储。在对象存储中,不存在文件目录、层级的概念,其“将NAS垂直的树形结构改变成平等的扁平结构,从而提高了扩展性、增强了可靠性、具备了平台无关性等重要存储特性”,而IP硬盘的这种机制,与对象存储“将树形的“目录”和“文件”替换为扁平化的“ID”与“对象””是完全一样的,这也就难怪,就IP硬盘本身就有人认为“天然就是一个对象存储”,而这也让IP硬盘成为对象存储的最好选择。

其次,海量存储必然存在大规模并行访问的需求,而IP硬盘的优点恰恰在此。因为每一个IP硬盘上都必然有一颗处理器(目前是ARM),也就意味着访问点是分布的,“有多少磁盘就有多少访问点,那么应用或者客户端程序可以直接并行地访问所有连接到以太网上的磁盘,体系效率较高”,在支持大规模并行访问上,显然是有着得天独厚的优势。

所以,余洲对于IP硬盘的主要观点是经得起推敲的,他认为,相比传统的SAS硬盘,成本、性能及可靠性上都占优势,尤其是在大规模并行访问以及基于海量存储系统的上层管理平台及应用软件的硬件细颗粒度管理上面,IP硬盘更容易管理,也更适合对象存储及海量存储。


【内容导航】
 第 1 页:海量存储趋势:IP化已成共识  第 2 页:名字的"迷局":海量存储等于IP硬盘?
 第 3 页:吃螃蟹的人:凤凰卫视的应用体验  第 4 页:IP硬盘的现状:供应商们"暗斗"?
 第 5 页:IP硬盘的现状:供应商们"暗斗"?

标签:固态硬盘 海量存储 硬盘 

了不起的IT经理
LecVideo
论坛与活动