WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 存储网络 > 正文

SNW2009中国:云计算及其应用浅谈—“祥云”与“乌云”

WatchStor.com  辛耀中丨2009-05-27 13:02 标签:存储网络 公有云 

刚才都是厂家,介绍了很多新的技术,下面我想我们轻松一下,从用户的角度谈一谈云计算,今天我们谈存储,我们也涉及云存储的问题,我们叫浅谈在厂家面前我们就是班门弄斧分三个方面,一个是对云的认识,一个是怎么应用分类,还有举一个应用实例。

现在关于云的情况,有一副对联可以欣赏一下叫云计算云存储,云安全,非云勿谈,云服务,云应用,云理念,天高云谈,横披是顶天立地看云端。如果占在地上怎么都看不明白,所以只有脚踏实地头定蓝天,低头看云,可能才能看清楚到底云是怎么回事。

我们就回到地上来,云为什么发展,其中最主要是微处理器技术的快速发展,可以说是云跟水分子差不多,是最小一个单位,那么从前几年,主频越来越高,最高到6G,手机才几个“G,近年出来双核,32核,等等,但是使用还是核,这个是对虚拟化和大规模运行奠定和物质基础,第二技术是通讯网络技术高速发展,网络应该是云当中的神经,神经细胞核神经中枢,从广域网角度看,底层通信是基于2.5G,10G的体制,一直到DWDM同一个光纤可以由16到32的波长,如果直接把IP放在光纤上,这个在我们电信领域已经广泛使用了。局域网就是百万兆,千兆,但是这两个组合起来就是互联网技术,这个是可以构成云系统的所谓的神经。

还有一项技术对云影响更大就是并行化,从我们早期传统SMP服务器,到集群服务器,是两路,两核,四路,四核,每一个服务器有这么多核,把服务器放在一个大柜子里面,近来实行小刀片服务器体积更小,扩展能力取消,同样是两路,两核,四路四核,发展很快还有更综合,网格,这个网格理念是借用我们电网的好像要实现即插即用,软件技术还有面向对象的技术,还有面向服务的架构,以及虚拟化技术,现在很熟悉就是软件加服务技术,这些技术综合起来应该是实现云当中的功能,或者也可以叫云的灵魂,这个是作为云当中部件。

关于云的定义和讨论,很多的方案,定义,有20专家参加讨论会,大概有20种定义,这个地方我也给出一个自己的定义,可能是很不正确,供大家讨论,很简单一个是基于因特网,和内联网第二是基于大量可用计算机,第三实现特定业务服务这是功能。

几类应用可能分两大类,一类是叫公用,一类是专用的。在把细分分成个人和中小企业用户,一般是公用利用因特网,这个地方别忘了我们个人的一些敏感信息,敏感的功能,千万不放在公用云里面,包括企业敏感信息也是一样要采用适当的安全措施,现在有所为云安全,像我们家里人的照片,家的存折,卡号,这些东西一定不要放在外网上面去。第二类是大型企业,比较大的事业单位,还有比较成熟的大的局域网也可以组织成私有用,有公用可以在公用上面跑,专用可以在私有云上跑,私有和公用云之间应该有安全措施的。

第三类就是涉及全行业,遍及全国,政府用户,跨国大企业,这一类可能要用专用网络构成专用的云,这个专用云跟公用云相当程度是隔离保护,大概分这么三类,我就是提醒各位用户,你自己是属于哪一类,你要完成什么功能,解决什么问题要想清楚,不能只听厂家的,云好,大家都上云,所有的把家里面积累都放在云里面放进去可能找不回来了。如果这个云用烂了以后,云多了会下雨的,打雷的,用的合适可能一朵一朵可能是祥云,烂以后可能是乌云。

下面说一个小例子,为了解决一个问题,是我们电力系统的一个问题,就是电网稳定计算,它的数学原理解数十万级微分方程组,大学解上百,上千线性方程组都很困难,我们是非常困难,现在速度太慢了,我们这个课题目标就是要实现在线稳定分析每15分钟一次,看能不能做到,目标很明确,挑战非常大。这是一台发电机组用6阶模,我们首先想到就是并行化处理,自然想到电网怎么打,把电网分成几块,每一块一个CPU,大家联合起来算应该最快,于是我们就做了这个工作和实验,这个是几年前在曙光4000A做的,但是非常遗憾,发现到16块的时候,再往下分,计算速度反而下降。所以看来这个路子走不通,我们用换一种方式,我把任务给割裂开,每一个处理器只处理一个单独的处理过程当中跟其他没有关系,这么方式到是发现和同样规模,这个是速度可以你有多少处理器就可以提高多少倍,一千个提高一千倍。

就利用这么一个道理、根据处理器的内部结构,有几个核,几个处理器,有几个处理器我们就分几个,大部分情况下,对我们解决我们的问题是很好的。但是这个问题解决以后又出现问题的,规模小的就是十几个节点,用动态分配方式,发现比如说用16节点理论要提高16倍,但是做不到,实际测下来只提高7倍多,为什么里面有很多浪费,包括存储,数据转发处理,我们又改进在大规模并行平台实现广播任务的预分配,大规模几百个节点,广播出去一个大断面,个人算个人,把计算结果返回来,用这个方式提高几百上千倍,解决了我们实际问题,在04年的时候实际测下来是22小时,计算一次,后来下降到50分钟,12分钟,1分钟到08年底我们达到了20秒这个是做了一系列优化,这个也是并行化典型例子,这个技术跟云的思想是不是一样的?我们谷歌,亚马逊,最早大规模搜索用一些朴素算法包括存储跟这个想法非常想象,我们把几个算法联起来就出现了多级并行服务。谢谢各位。


相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统