大数据 spark 缺点,大数据处理为何选择?

为什么选择spark进行大数据处理？大数据处理为什么选择Spark而不是Hadoop？Spark:该工具用于弥补MapReduce在处理数据方面的不足，其特点是将数据加载到内存中进行计算。1.大数据工具:数据存储和管理工具大数据完全从数据存储开始，也就是说从Hadoop这种大数据框架开始。

第一步:对于大数据的基本认知，首先要了解什么是大数据，它未来的发展方向和应用场景是什么？当然，很多从业者和学者往往看重大数据行业的薪酬水平。这种考虑是正确的，但对于深入理解大数据没有实际意义。第二步:理论知识学习的过程尤为重要。毕竟是学习大数据的关键。而且，这个过程需要更加系统化。如何循序渐进、有目的地学习将是小白更快学习大数据的关键。

1.Java:主要是Java的标准版本，JavaSE。JavaEE，javaME技术在大数据技术中用的不多，只需要了解一下。另外，JDBC一定要掌握，因为这关系到Java和数据库的连接。2.Linux:因为大数据相关的软件都运行在Linux上，所以要更扎实的学习Linux。学好Linux对你快速掌握大数据相关技术有很大的帮助，可以让你更好的了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置。

首先我们需要了解Java语言和Linux操作系统，这是学习大数据的基础，学习的顺序是不分先后的。楼主JAVA毕业，无疑是一个极好的开端和基石。可以说他赢在了起跑线上，接收和吸收大数据领域的知识会比普通人更加得心应手。Java:只要懂一些基础，做大数据不需要很深的Java技术。学习javaSE相当于学习大数据。基础Linux:因为大数据相关的软件运行在Linux上，所以要把Linux学扎实。学好Linux对你快速掌握大数据相关技术有很大的帮助，能让你更好的了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置。，让你少踩几个坑，学会shell理解脚本，让你更容易理解和配置大数据集群。

学习大数据，首先要学习Java语言和Linux操作系统，这是学习大数据的基础，学习的顺序不分先后。大家都知道Java的方向是JavaSE，JavaEE，JavaME。学习大数据应该学习哪个方向？你只需要学习JavaSE，Java的标准版本。Servlet、JSP、Tomcat、Struts、Spring、Hibernate、Mybatis都是JavaEE方向的技术。大数据技术用的技术不多，知道就行。当然，你仍然需要知道Java是如何连接到数据库的，比如JDBC。

一般对于大数据分析，会首先使用大数据数据库，比如MongoDB、GBase等。其次，我们将使用数据仓库工具对数据进行清洗、转换和处理，以获得有价值的数据。然后用数据建模工具建模。最后，利用大数据工具进行可视化分析。根据上面的描述，我们讨论根据流程使用的工具。1.大数据工具:数据存储和管理工具大数据完全从数据存储开始，也就是说从Hadoop这种大数据框架开始。

因为大数据需要大量的信息，所以存储非常重要。但是除了存储之外，我们还需要某种方式将所有这些数据聚合到某种格式/治理结构中，以获得洞察力。2.大数据工具:数据清理工具使用数据仓库工具Hive。Hive基于Hadoop分布式文件系统，其数据存储在HDFS。Hive本身没有特殊的数据存储格式，也没有数据的索引。Hive只有在创建表时告知Hive数据中的列分隔符和行分隔符，才能解析数据。

Zookeeper:安装Hadoop的HA时会用到，以后的Hbase也会用到。需要正确安装才能正常运行。Mysql:在Linux上安装运行时，会配置简单的权限，修改root密码，创建数据库。Sqoop:用于将数据从Mysal导入Hadoop。蜂巢:和猪一样，想变得伟大，都可以学习。

Hbase:这是Hadoop生态系统中的NOSQL数据库，以键和值的形式存储，键是唯一的。这样我就可以帮助您进行重复数据删除。与MYSQL相比，它存储了大量的数据。卡夫卡:这是排队工具。它可以用于在线实时数据存储或HDFS，与Flume工具结合使用，提供简单的数据处理。Spark:这个工具用来弥补MapReduce在处理数据方面的不足，其特点是将数据加载到内存中进行计算。

当人们想开始学习大数据时，最常问的问题是“我应该学习Hadoop(hadoop是一个开源软件，主要用于分布式存储和计算。它由HDFS和MapReduce计算框架组成，分别是Google的GFS和MapReduce的开源实现。Hadoop因其易用性和可扩展性成为最近流行的海量数据处理框架。分布式计算，Kafka(Kafka是LinkedIn开发的基于分布式发布/订阅的消息系统)，

而我通常只有一个答案:“这取决于你真正想做什么。”大数据相关的工作？(1)大数据系统R