1。Hadoop的特点1。支持非常大的文件一般来说，存储在HDFS的文件可以支持TB和PB数据。2.检测并快速响应硬件故障在群集环境中，硬件故障是常见问题。由于有成千上万的服务器连接在一起，故障率很高，因此hdfs文件系统的故障检测和自动恢复是一个设计目标。假设一个datanode节点挂起后，因为数据备份，可以从其他节点找到它。
主要是数据吞吐量，而不是访问速度。访问速度最终受到网络和磁盘速度的限制。无论机器节点有多少，都无法突破物理限制。HDFS不适合低延迟数据访问，而HDFS的目标是高吞吐量。4.简化的一致性模型对于外部用户来说，不需要了解hadoop的底层细节，比如文件剪切、文件存储、节点管理等。
5、Hadoop与分布式 数据处理SparkVSHadoop有哪些异同点1，解决问题的水平不同首先，Hadoop和ApacheSpark都是大数据框架，但是各自的目的不同。Hadoop本质上更多的是一种分布式数据基础设施:它将庞大的数据集分布到由普通计算机组成的集群中的多个节点上进行存储，这意味着你不需要购买和维护昂贵的服务器硬件。同时Hadoop会对这些数据进行索引和跟踪，使得large 数据处理和large /的分析效率前所未有。
2.两者可以结合，也可以分离。Hadoop不仅提供了HDFS的分布式数据存储功能，还提供了数据处理名为MapReduce的功能。所以这里我们可以完全抛弃Spark，使用Hadoop自带的MapReduce来完成数据处理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它毕竟不提供文件管理系统，所以必须与其他分布式文件系统集成才能运行。
6、如何利用Mahout和Hadoop处理大规模数据使用Mahout和Hadoop处理机器学习算法中的大规模数据问题有什么实际意义？让我们考虑一下您可能需要部署Mahout来解决的几个问题的大小。粗略估计，三年前Picasa有5亿张照片。这意味着每天需要处理数百万张新照片。一张照片本身的分析问题不大，哪怕重复几百万次。但在学习阶段，可能需要同时从数十亿张照片中获取信息，这种规模的计算是单台计算机无法实现的。
虽然它的绝对字数看起来很少，但想象一下，为了及时提供这些文章，它们和其他最近的文章必须在几分钟内聚集在一起。网飞为NetflixPrize发布的评分数据子集包含1亿个评级，因为这只是为比赛发布的数据，所以推测网飞需要处理形成推荐结果的数据总量要比这大很多倍。机器学习技术必须部署在这样的应用场景中，通常情况下，输入数据量非常巨大，即使计算机非常强大，也无法在计算机上完全处理。
