Apache park是一个专门为大规模数据处理设计的快速通用计算引擎。它是一个快速、通用、可扩展的大数据分析引擎，是一个类似Hadoop的开源集群计算环境。2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为包含多个子项目的集合，包括SparkSQL、SparkStreaming、GraphX、MLlib等子项目。Spark是基于内存计算的大数据并行计算框架，提高了数据处理在大数据环境下的实时性能，保证了高容错性和高可扩展性，允许用户在大量廉价硬件上部署Spark。
6、 数据处理方式什么是bigdata？大数据是指在一定时间内，常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产，需要新的处理模式来拥有更强的决策、洞察和流程优化能力。大数据的5V特征:体量(海量)、速度(高速)、多样性(多样性)、价值(低价值密度)、真实性(真实性)，百度随便就能找到。
搭建数据仓库，数据采集就是通过前端点埋数据，通过接口日志调用流数据，抓取数据库，客户自己上传数据，用这些基础信息数据保存各种维度，感觉有些数据没用(刚开始只想着功能，有些数据没采集到，后来被老板骂了一顿)。2.数据清洗/预处理:对接收到的数据进行简单的处理，比如将ip转换成地址，过滤掉脏数据。
7、etl清洗数据与 spark数据清洗区别以下是etl清理数据和spark数据清理的区别:1。处理方式不同。Etl通常采用批处理，即从源系统中提取数据，然后进行清洗和转换，最后加载到目标系统中。Spar是一个分布式计算框架，可以实现实时或离线数据处理，适用于大规模的数据处理和分析。2.数据处理能力不同。etl的数据处理能力比较弱，主要用于数据清理和转换。
3.不同的编程语言。Etl通常用SQL或脚本语言数据处理编写，而spar用Scala、Java或Python等编程语言编写。4.数据处理速度不一样。因为spar是内存计算框架，可以利用内存中的数据进行计算，所以处理速度比etl更快。ETL(extractformload)和Spark都是数据处理领域的常用工具，都可以用于数据清洗。
8、哪个 spark组件可以对实时数据流进行处理和控制火花流.根据SCDN查询，spark streaming insparkcomponent可以处理和控制实时数据流。SpakSteamin是Spak平台实时教材流计算的一个组件，为处理教材提供了丰富的AP1。这些API对应的是SPAKCore中的基础作品，开发者在熟悉了Spak的核心概念和编程方法后，编写Spak流应用会更加方便。
9、除了 spark还有哪些大 数据处理Hadoop包括MapReduce和HDFS。目前非常流行的Spark，只有被取代才会取代Hadoop中的MapReduce。Spark在任务调度和数据可靠性上确实比MapReduce快很多，而且支持内存缓存数据，下一次查询直接基于内存访问。Spark是基于内存计算的开源集群计算系统，旨在让数据分析更快。
Spark是用Scala语言实现的，使用Scala作为应用框架。与Hadoop不同，Spark和Scala可以紧密集成，Scala可以像操作本地集合对象一样轻松操作分布式数据集，虽然Spark的创建是为了支持分布式数据集上的迭代作业，但它实际上是Hadoop的补充，可以在Hadoop文件系统中并行运行。
