WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 大数据 > 正文
大数据分析平台Hadoop与Spark之争
作者: 佚名 2015-09-14 20:15 【ZDNet】

有人把大数据称为信息资产、有人称为金矿、甚至社会财富。而大数据,即,无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。Gartne认为“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是成为赢得竞争的关键。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

随着云时代的来临,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术等技术对海量数据进行分布式数据挖掘,分析、洞察越来越被看重。

前几日,一篇文章在媒体圈炸了锅,腾讯财经采用机器人写出一篇稿子《8月CPI涨2% 创12个月新高》,腾讯财经开发的自动化新闻写作机器人,根据算法在第一时间自动生成稿件,瞬时输出分析和研判,一分钟内将重要资讯和解读送达用户。获悉这一消息后,一些记者纷纷表示”已哭晕在厕所“,今后的记者岗位会越来越少。也不乏安慰者,”机器人写的是稿,记者写的是观点。“但无论如何,基于对数据进行分析直接展示数据,让数据自己说话,让观众听到结果,是大数据时代实实在在带来的好处。

对于大数据来说,最重要的还是对于数据的分析,从里面寻找有价值的数据帮助企业作出更好的商业决策。而如何利用大数据分析,少不了大数据分析的平台,Hadoop被公认为是新一代的大数据处理平台,EMC、IBM、Informatica、Microsoft以及Oracle都投入了Hadoop的怀抱。

这样的平台是复杂的,具有相当技术的门槛,但是每个行业都少不了黑马。Spark从2009年诞生到如今的成熟,不过短短几年。Spark的核心RDD(resilient distributed datasets),以及流处理,SQL智能分析,机器学习等功能。Spark提供的基于RDD的一体化解决方案,将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等模型统一到一个平台下,并以一致的API公开,并提供相同的部署方案,使得Spark的工程应用领域变得更加广泛。

在大数据领域,只有深挖数据科学领域,走在学术前沿,才能在底层算法和模型方面走在前面,从而占据领先地位。

对于Hadoop与Spark两者之间的合作与竞争,在业内不比大数据本身的热度少多少。知乎上有位大数据工程师@网易如此来解释,”Hadoop包括Yarn和HDFS以及MapReduce,说Spark代替Hadoop应该说是代替MapReduce。“MapReduce的缺陷很多,最大的缺陷之一是Map + Reduce的模型。

另一位知乎网友@码农从自身的感受如此谈到:

1. 相同的算法,Spark比Hadoop快数倍,如果是一些迭代或者要对数据反复读取的算法,Spark比Hadoop快数十倍至上百倍

2. Spark对于数据的操作种类更多,对于一些比较特殊的计算需求,比如求两个集合的交集并集,Spark都有函数直接计算,而Hadoop实现这样的计算无比繁琐。

Spark的特色在于它首先为大数据应用提供了一个统一的平台。从数据处理层面看,模型可以分为批处理、交互式、流处理等多种方式;而从大数据平台而言,已有成熟的Hadoop、Cassandra、Mesos以及其他云的供应商。

 

据预测,Spark将会在五年以后全面替代Hadoop的MapReduce。由此可见,大数据领域技术更迭十分迅速。那么,在日新月异的大数据领域,Spark又能主导分布式计算多久呢?之后,又是那种技术替代Spark呢?


标签:大数据 数据挖掘 Spark/Shark 

了不起的IT经理
LecVideo
论坛与活动