作者:张力兵，如需转载，请联系华章科技。在当前数据量激增的传统时代，不同的业务场景有大量的业务数据产生。如何有效应对这些不断产生的数据成为了目前大多数公司面临的问题。随着雅虎对Hadoop的开源，越来越多的大型数据处理技术进入了人们的视线。比如现在流行的large 数据处理引擎ApacheSpark，已经基本取代MapReduce成为large 数据处理的当前标准。
/image-5 5、大 数据开发必用的分布式 框架有哪些
SparkSpark用较少的Scala代码实现，不同于Hadoop基于分布式文件的IO操作。Spark尽可能使用内存进行迭代计算，使用mesos管理机器资源分配。Hadoop是由Apache基金会开发的分布式系统基础设施。用户可以开发分布式程序，而无需了解发行版的底层细节。充分利用集群的力量进行高速操作和存储。
HDFS具有高容错性的特点，设计用于部署在低成本的硬件上。而且提供了访问数据 of应用的高吞吐量，适用于那些数据 dataset较大的应用。HDFS放松)POSIX POSIX的要求，以便您可以在文件系统中流式访问数据
6、Spark可以完全替代hadoop吗说起Da 数据，相信你对Hadoop和ApacheSpark这两个名字都很熟悉。不过最近业内有人在鼓吹Hadoop会死，Spark会立。他们是危言耸听，哗众取宠，还是有独特的眼光，可以打破未来？Spark技术与Hadoop相比如何？工业企业正在使用哪些技术数据？现在想开始学Da 数据应该从哪个开始？
Hadoop和ApacheSpark都是big 数据 框架，但是用途不同。Hadoop本质上是一个分布式数据基础设施:它将庞大的数据 set分布到由普通计算机组成的集群中的多个节点上进行存储，这意味着你不需要购买和维护昂贵的服务器硬件。同时，Hadoop会对这些数据进行索引和跟踪，使得large 数据的处理和分析效率达到前所未有的高度。
7、大 数据Spark技术真的能够替代Hadoop吗?我觉得很有可能。不能替代，只能说是作为他的补充。我觉得有一定的可能性。不会，Spark虽然改进了很多MapReduce算法，但其实是对Hadoop的补充。不会，Hadoop的生态很强。Hadoop作为一种分布式系统架构，适用于低成本、大规模数据分析环境，可以接受数据的海量存储和计算。虽然Spark改进了很多MapReduce算法，但实际上是对Hadoop的补充。
在2015年Atscale调查报告中，“在接下来的三个月中，超过76%的人使用Hadoop来完成更多的工作。”大约一半的受访者声称他们在Hadoop工作中获得了一些价值。作为一个十几年的老品牌，Hadoop并没有减缓产品采用率的下滑趋势，Spark也没有真正取代Hadoop。空谈，下面我们从以下几个方面来分析一下Spark在未来几年内是否真的能取代Hadoop。
8、大 数据分析界的“神兽”ApacheKylin有多牛1。什么是阿帕奇麒麟？在当前数据的时代，越来越多的企业开始使用Hadoop管理数据但是现有的经营分析工具(如Tableau、Microstrategy等。)往往有很大的局限性，比如横向扩展困难，无法处理超大规模数据，缺乏Hadoop的知识。但是用Hadoop来分析数据还是有很多障碍。比如大部分分析师只习惯使用SQL，Hadoop很难实现快速交互查询。
ApacheKylin，中文名神兽，是Hadoop动物园的重要成员。ApacheKylin是一个开源分布式分析引擎，最初由易贝开发，并贡献给了开源社区。提供基于Hadoop的SQL查询接口和多维分析(OLAP)能力，支持大规模数据，可以处理TB甚至PB级的分析任务，可以查询亚秒级的庞大蜂巢表，支持高并发。
9、大 数据时代,为什么使用Spark 框架首先，Hadoop和ApacheSpark都是big 数据 框架，但是用途不同。Hadoop本质上是一个分布式数据基础设施:它将庞大的数据 set分布到由普通计算机组成的集群中的多个节点上进行存储，这意味着你不需要购买和维护昂贵的服务器硬件。同时，Hadoop会对这些数据进行索引和跟踪，使得large 数据的处理和分析效率达到前所未有的高度。
两者可以结合，也可以分离。Hadoop不仅提供了HDFS分布式数据的存储功能，还提供了数据的处理功能，称为MapReduce。所以这里我们可以完全抛弃Spark，使用Hadoop自带的MapReduce来完成数据的处理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它毕竟不提供文件管理系统，所以必须与其他分布式文件系统集成才能运行。
10、ApacheFlink现在在大 数据处理方面能够和ApacheSpark分庭抗礼么...Flink以前叫平流层。其实它和Spark一样有五年的历史，但一直不温不火，成熟度远不如Spark，参与Flink社区的人数不到Spark的五分之一。个人观点:Flink不温不火的一个原因是使用了太多数据 library的传统设计，却忽略了这些设计对实际应用的阻碍，这些设计中有许多在SQLquery上很有价值，但对于generalprogram来说可能不值得。
