Hadoop已经成为大数据技术事实上的标准，HadoopMapReduce也非常适合大规模数据集的批量处理，但是它仍然存在一些缺陷。hadoop是做什么的？Hadoop适合实时数据库吗？作为大数据处理技术，Spark经常被拿来和Hadoop做比较。
首先我们需要了解Java语言和Linux操作系统，这是学习大数据的基础，学习的顺序是不分先后的。楼主JAVA毕业，无疑是一个极好的开端和基石。可以说他赢在了起跑线上，接收和吸收大数据领域的知识会比普通人更加得心应手。Java:只要懂一些基础，做大数据不需要很深的Java技术。学习javaSE相当于学习大数据。基础Linux:因为大数据相关的软件运行在Linux上，所以要把Linux学扎实。学好Linux对你快速掌握大数据相关技术有很大的帮助，能让你更好的了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置。，让你少踩几个坑，学会shell理解脚本，让你更容易理解和配置大数据集群。
简单来说，就是学习Java、数据结构、关系数据库、linux系统操作、hadoop离线分析、风暴实时计算、spark内存计算等实用课程。复杂的话，每个大知识点都包含很多小知识点，可以参考(青牛的课程)。老男孩教育的大数据培训课程有:Java、Linux、Hadoop、Hive、Avro和Protobuf、ZooKeeper、HBase、Phoenix、Redis、Flume、SSM、Kafka、Scala、Spark、azkaban、Python和大数据分析。
大数据包含几个内涵。1.有大量的数据，比如TB，PB，甚至EB，需要分析处理。2.要求快速反应，市场变化快，要求对变化做出及时快速的反应。对数据的分析也要快，对性能有更高的要求，所以数据量对于速度来说似乎有些“大”。3.数据多样性:来自不同数据源的非结构化数据越来越多，需要经过清洗、排序、过滤，成为结构化数据。
很多行业都会有大数据需求，比如电信行业、互联网行业等容易产生大量数据的行业。很多传统行业，如医药、教育、矿业、电力等行业，都会有大数据需求。随着业务的不断扩展和历史数据的不断增加，数据量的增长是持续的。如果需要分析大数据，可以使用Hadoop等开源大数据项目，也可以使用YonghongZSuite等商业大数据BI工具。
4、应用Spark技术,SoData数据机器人实现快速、通用数据治理Spark是处理海量数据的快速通用引擎。作为大数据处理技术，Spark经常被拿来和Hadoop做比较。Hadoop已经成为大数据技术事实上的标准，HadoopMapReduce也非常适合大规模数据集的批量处理，但是它仍然存在一些缺陷。具体表现为:1。HadoopMapRedue的表达能力有限。所有的计算都需要转化为Map和Reduce两种操作，这两种操作并不适合所有的场景，也难以描述复杂的数据处理过程。
HadoopMapReduce要求每一步之间的数据都要序列化到磁盘上，所以I/O成本很高，导致交互分析和迭代算法的开销很高，而几乎所有的优化和机器学习都是迭代的。所以HadoopMapReduce不适合交互分析和机器学习。3.计算延迟很高。如果要完成更复杂的工作，必须串联一系列MapReduce作业，然后按顺序执行。
5、Storm与Spark,Hadoop相比是否有优势Storm相比Spark和hadoop有优势。Storm的优势在于它是一个实时连续的分布式计算框架。它一旦运行，就会一直处理计算中或者等待计算的状态，除非你杀了它。Spark和Hadoop做不到。当然，它们各有各的应用场景。各有各的优势。可以一起用。我来翻一翻别人的资料，说的很清楚。Storm、Spark、Hadoop各有千秋，每个框架都有自己的最佳应用场景。
Storm是流式计算的最佳框架。Storm是用Java和Clojure写的。Storm的优势是全内存计算，所以它的定位是分布式实时计算系统。按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Storm的适用场景:1)流数据处理Storm可以用来处理连续流动的消息，处理后再将结果写入一个存储器。
6、Hadoop常见问题解答Hadoop FAQ(1)Hadoop是否适合电子政务？为什么？电子政务是利用互联网技术实现政府组织结构和工作流程的重组和优化，构建精简、高效、廉洁、公正的政府运行信息服务平台。因此，电子政务必然会产生大量的数据和相应的计算需求，而当这两个需求所涉及的数据和计算达到一定规模时，传统的系统架构将无法满足，因此需要使用海量数据处理平台，比如Hadoop技术，那么我们就可以使用Hadoop技术来构建电子政务云平台。
7、hadoop主要解决什么问题Hadoop实现了一个分布式文件系统，它被设计为部署在低成本的硬件上。而且还提供了访问应用程序数据的高吞吐量，这适用于那些具有非常大的数据集的应用程序。Hadoop因其在数据提取、变形和加载(ETL)方面的天然优势，可以广泛应用于大数据处理应用。Hadoop的分布式架构使得大数据处理引擎尽可能的靠近存储，相对适合ETL等批量操作，因为这类操作的批量结果可以直接去存储。
8、Hadoop适用于实时数据库吗?Twitter的Storm更好的支持实时数据，hadoop更适合批量处理。如果使用hbase，也可以。Hadoop一般用于冷数据处理。对于实时数据，如果你必须使用它，你可以用不同的方式使用它。方法一:在hadoop上使用hbase数据库，以为hbase不带Map/Reduce，所以操作在毫秒级别。方法二:业务数据按程序分为实时数据和冷数据，实时数据存储在关系数据库中，冷数据存储在hadoop中。
9、hadoop是做什么的?由Apache基金会开发的分布式系统基础结构。用户可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的力量进行高速运算和存储。Hadoop实现了一个分布式文件系统，其中之一就是HDFS。HDFS具有高容错性的特点，设计用于部署在低成本的硬件上。此外，它还提供了访问应用数据的高吞吐量，适用于数据集较大的应用。
10、hadoop课程设计1。大数据的主要课程有哪些？首先需要了解Java语言和Linux操作系统，这是学习大数据的基础，学习顺序不分先后，Java:只要懂一些基础，做大数据不需要很深的Java技术。学习javaSE相当于学习大数据，基础Linux:因为大数据相关的软件运行在Linux上，所以要把Linux学扎实。学好Linux对你快速掌握大数据相关技术有很大的帮助，能让你更好的了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，，让你少踩几个坑，学会shell理解脚本，让你更容易理解和配置大数据集群。
