WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 公有云 > 正文
海量数据时代青云的存储之道
作者: 赵为民 2017-11-15 15:40 【WatchStor】

作为全球首家实现资源秒级响应并按秒计量的基础云服务商,青云QingCloud一直致力于为企业用户提供安全可靠、性能卓越、按需、实时的 IT 资源交付平台。

在今年7月的QingCloud Insight大会上,青云发布了QingStor对象存储 2.0版本,新发布的2.0版本可以兼顾公有云需求和私有云需求的企业级存储解决方案,能够给客户带来更多样化的方案选择。

在近日,青云QingCloud QingStor对象存储研发总监杨锦涛接受笔者采访,共同探讨了对象存储的发展趋势以及未来挑战。

海量数据时代 QingStor应运而生!

说到当前的企业IT市场,大数据是一个不可避免的趋势。而谈到对象存储,杨锦涛认为对象存储是应时代需求而生。他解释说,根据IDC预测,到2020年,总体企业数据将达到44ZB,更可怕的是其中80%的数据将会是非结构化数据(图片、视频、归档以及企业级备份等各种数据)。

杨锦涛表示,海量非结构化数据的产生,自然对企业级存储产品形态带来挑战,传统的企业存储,例如DAS、NAS以及SAN都已经不能满足海量存储时代的存储需求。这就让客户在成本,管理,运维方面的压力越来越大,直到业务出现问题。

为了解决这个问题,整个企业级存储市场正在从"垂直扩展"向"水平扩展(Scale-out)"发展。比如软件定义存储、分布式存储、水平扩展式存储等,这些技术都是为了能够横向扩展来满足逐渐变化的存储业务需求。

虽然新一代存储产品是向水平扩展的,但是它的类别还是跟以前一样,有块存储、文件存储。但在大数据时代,非结构化数据的爆炸式增长,让这些数据存储诞生了一种新的存储技术--对象存储。对象存储系统本身的核心目标是不限容量、不限用户类型,整个系统可以无限扩展。

在2016年1月,青云就已经率先洞悉市场需求上线QingStor对象存储1.0,1.0版本解决的是对象存储的核心需求,是一个通用的海量非结构化的存储平台。QingStor对象存储2.0版本在1.0版本上对功能和性能进行了升级,还帮助用户降低了成本,最重要的一个改变是针对私有云市场推出了软硬一体化的解决方案,并且全面支持私有云市场。

布局对象存储趋势 全面提升服务能力

对象存储是一种新出现的存储技术,来自于Gartner 2017年关于企业级存储的趋势图显示。对象存储已经过了炒作期,开始逐步落地,代表它正在开始被广泛采用,即对象存储将在未来2-5年之内被企业广泛采用。

QingStor对象存储研发总监杨锦涛也表示,对象存储正处于一个比较好的时期,它将占据企业级存储容量里75%左右的份额。接下来,青云将根据以下几个维度做好准备。

第一个维度,从接口层(协议层)方面,首先青云兼容了AWS S3的API。其次要支持多种协议,包括NFS、FTP、HDFS协议,为了支持这些协议,青云花费了大量的人力物力来做这些事情。

第二个维度,从交付模式来讲,对象存储的交付模式有很多种,如公有云、私有云、混合云。对于对象存储厂商来讲,要在管理软件端进行变化,需要同时管理公有云、私有云、混合云的模式,即多种交付模式上的统一管理。

第三个维度,产品体系化。初期,青云认为对象存储API的使用方式非常简单,提供了各样语言的SDK。但后来发现这不够,还要支持存储网关、FTP、大数据,甚至企业网盘。对于存储厂商来说,做产品体系化非常重要,因为产品需要和用户的各种应用场景相结合,提供各种各样的解决方案。

第四个维度,从架构层面来讲,有两个比较重要的趋势:一是事件驱动的框架,主流的公有云厂商都提供事件驱动的框架,但是将它包装在对象存储产品里,以私有云的形式交付,青云是第一家。另一个趋势是对象存储应该在私有云上加深与大数据的集成关系。

第五个维度,与数据相关的SaaS服务。比如用户希望分析对象存储本身的使用情况,协助整个IT设施的规划和构建,这就属于与数据相关的SaaS服务。

第六个维度,企业级存储软件生态与合作,企业级存储生态里不只是块存储、文件存储、对象存储,还有很多其它的,比如DR、灾备、传统的备份软件等。在整个生态里,有专门做储存备份以及灾备的厂商,青云应该和他们进行合作,去做产品集成。

行业落地 可资可鉴

在过去一两年时间,杨锦涛介绍说,QingStor已经帮助很多行业客户的案例开始落地。青云为我们介绍了几大行业的成功的案例,帮助客户更好地了解对象存储的部署应用。

第一个交通行业,是公有云案例。客户是国内排名前列的某省交通集团的高速网络精确计费项目,青云提供的解决方案首先包括对象存储,把图片及视频储存下来。其次是事件驱动框架,每上传一张都要进行图像识别。同时与专业的人工智能在数据分析方面合作,青云把各种第三方的图像识别服务接入进来,接到事件驱动框架上来。

第二个是保险行业,是私有云案例。这是一家国内数一数二的保险公司,他们想要构建一个统一的非结构化数据的数据池或数据湖。完整的方案是QingStor对象存储、存储网关、企业网盘,Hadoop、Spark用于大数据分析,Elasticsearch用于邮件归档的搜索。还有一个很重要的应用场景是双录视频。基于国家制定的政策,保险业务员在办理保险的时候,需要录视频,而且这些视频需要长期保留,需要查询和取证。

第三个是快消行业,这是国内一家比较著名的酒厂,他们在全国各地有很多分店,分店每天都会产生各种图片,以及陈列柜的视频。以前这些图片视频分散在各家门店,偶尔通过传统手段把部分数据集中起来,进行进一步的处理。解决方案相对简单一点,存储是QingStor对象存储,还用到QingStor对象存储产品体系里的图片处理服务和音视频转码服务。

第四个是工业物联网行业,他们的目标是做端到端的大数据分析平台。他们的业务场景包括:实时的数据分析、BI统计分析、全量历史大数据分析。通过青云合作伙伴HashData可以直接和QingStor对象存储对接,把数据从对象存储里拉过来进行分析。这也是一个相对比较典型的场景。

最后总结下,QingStor对象存储解决方案是在收集了大量企业需求后构建而成的,能够满足海量多样文件的统一存储管理、数据处理和大数据分析,并极大地降低传统集中式存储的成本。同时,青云还可以引入合作伙伴来解决应用层面的问题,QingStor为客户提供更完善的存储解决方案。


标签:公有云 

LecVideo
论坛与活动