分布式文件存储，有哪l些分布式存储技术

本文目录一览

1，有哪l些分布式存储技术
2，什么是分布式文件系统
3，在net 架构中分布式文件存贮怎么理解如果实现
4，什么是Hadoop分布式文件系统
5，分布式存储和超融合区别及优势
6，什么是分布式文件系统HDFS

1，有哪l些分布式存储技术

分布式存储目前用的比较多的技术有：HDFS、ceph。Ceph是目前比较火的分布式存储技术，很多大公l司都在用，像华为、元核云、阿里。

有哪l些分布式存储技术

2，什么是分布式文件系统

Microsoft文件分布系统 (Dfs) 是一个网络服务器组件，它能够使你更容易地在网络上查询和管理数据。分布式文件系统是将分布于不同电脑上的文件组合为单一的名称空间，并使得在网络上建立一个单一的、层次化多重文件服务器和服务器共享的工作更为方便的途径。详细信息： http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/Dfsnew.mspx

什么是分布式文件系统

3，在net 架构中分布式文件存贮怎么理解如果实现

分布式存贮的优势： 1. 低成本; 2. 容错性强; 3.可以实现高速访问; 4.易于管理，有利于降低总体拥有成本; 5.可节省大量存贮空间; 6.安全性高

何为分布式存贮：与目前大量应用的集中式存贮（如文件和数据服务器以及EMC等存贮产品）方式不同，分布式存贮并不把数据存贮在企业中某一个或多个特定的节点上，而是通过网络使用企业中每台机器（可以是桌面PC也可以是服务器）上的磁盘存贮空间，并把这些分布的存贮资源构成一个虚拟的存贮设备，数据分散地存贮在企业的各个角落。

法术低成本; 2. 容错性强; 3.可以实现高速访问; 4.易于管理，有利于降低总体拥有成本; 5.可节省大量存贮空间; 6.安全性高

在net 架构中分布式文件存贮怎么理解如果实现

4，什么是Hadoop分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。HDFS（Hadoop 分布式文件系统）是其中的一部分。

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

一台一台的电脑上你都装好了hadoop，每台电脑有相同的用户名，密码。然后其中一台电脑作为master其余电脑作为slave（这个要在安装hadoop后进行配置）。在master这台电脑上启动hadoop，其余的电脑也就都跟着启动了。这样当你把文件导入到hadoop的时候，这个文件是分布的存储在你的这些hadoop电脑上的，至于怎么存，存在哪几台电脑，我们是不需要关心的，会自动给我们处理。这就是所谓的hadoop分布式文件系统。希望能帮到你~~~:)

Hdfs分布式文件系统就是hadoop开源云平台中的文件系统，是其最关键的技术解决文件分块存储、索引等

5，分布式存储和超融合区别及优势

超融合是指计算、存储和网络的融合。计算一般是指虚拟化，存储一般是指分布式存储，网络一般是指sdn。分布式存储不一定是分布式文件系统，也可能是分布式块存储。在超融合场景下，“用户看到的”一般是指分布式块存储——即为每个计算单位（虚拟机）提供虚拟硬盘（块设备）的分布式存储。当客户的it预算有限，it能力有限时，会倾向于超融合，因为买一套东西解决了所有的问题。然而，当客户的it环境变大变复杂的时候，超融合的服务要求就体现出来了，例如神州云科在拓展超融合业务时，采用首先提供用户测试机的方式，一方面帮助用户了解在不同的需求和应用环境下，需要怎样的方案配合，才能实现用户利益的最大化。另一方面，也通过实际使用场景的测试，神州云科的售前工程师与用户一起，共同设计一个更智能、更友好，更具扩展性，性价比更高的超融合方案。为此，神州云科提出了服务"三个一流"的承诺，"一流技术能力、一流响应时间、一流服务态度"，所以，神州云科能顺利进入金融、医疗、教育、制造、安防等多个超融合应用领域

超融合的概念主要体现在超融合一体机，超融合一体机是将计算，存储结合，通过软件定义的形式将它们打通，再集中在一台机器中向客户提供服务。超融合更适合业务量不大空间有限的中小型企业，少量超融合一体机就可以提供给中小型企业足够的网络，计算，存储等服务。但当随着企业业务发展，计算、网络、存储消耗占比发生较大偏移时，企业对存储、计算中某一项有更多的远超于其原有超融合一体机提供的服务需求时，再进行超融合一体机购买就会造成超融合一体机内其他资源的浪费。这就不得不另行购买独立的分布式存储来解决存储的问题，或独立的机器解决计算的需求。但某些超融合一体机不支持另行购买的分布式存储系统，使企业资源矛盾更为严重。同时超融合一体机的厂商，因为要兼顾做存储以及计算多项服务，所以存储产品的专业性及可靠性上会与专业做存储的公司的存储产品有一定差距。所以随着企业的发展，从超融合架构走向非超融合的架构是必然的趋势。

6，什么是分布式文件系统HDFS

HDFS是基于流数据模式访问和处理超大文件的需求而开发的，它可以运行于廉价的商用服务器上。总的来说，可以将 HDFS的主要特点概括为以下几点：（1 ）处理超大文件这里的超大文件通常是指数百 MB、甚至数百TB 大小的文件。目前在实际应用中， HDFS已经能用来存储管理PB(PeteBytes)级的数据了。在 Yahoo！，Hadoop 集群也已经扩展到了 4000个节点。（2 ）流式地访问数据HDFS的设计建立在更多地响应“一次写入，多次读取”任务的基础之上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集中的大部分数据，也就是说，对HDFS 来说，请求读取整个数据集要比读取一条记录更加高效。（3 ）运行于廉价的商用机器集群上Hadoop设计对硬件需求比较低，只须运行在廉价的商用硬件集群上，而无须昂贵的高可用性机器上。廉价的商用机也就意味着大型集群中出现节点故障情况的概率非常高。这就要求在设计 HDFS时要充分考虑数据的可靠性、安全性及高可用性。正是由于以上的种种考虑，我们会发现现在的 HDFS在处理一些特定问题时不但没有优势，而且有一定的局限性，主要表现在以下几个方面。（1 ）不适合低延迟数据访问如果要处理一些用户要求时间比较短的低延迟应用请求，则 HDFS不适合。HDFS 是为了处理大型数据集分析任务的，主要是为达到高的数据吞吐量而设计的，这就可能要求以高延迟作为代价。目前有一些补充的方案，比如使用HBase，通过上层数据管理项目来尽可能地弥补这个不足。（2 ）无法高效存储大量小文件在Hadoop 中需要用 NameNode来管理文件系统的元数据，以响应客户端请求返回文件位置等，因此文件数量大小的限制要由 NameNode来决定。例如，每个文件、索引目录及块大约占 100字节，如果有100 万个文件，每个文件占一个块，那么至少要消耗 200MB内存，这似乎还可以接受。但如果有更多文件，那么 NameNode的工作压力更大，检索处理元数据的时间就不可接受了。（3 ）不支持多用户写入及任意修改文件在HDFS 的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前 HDFS还不支持多个用户对同一文件的写操作，以及在文件任意位置进行修改。

microsoft文件分布系统 (dfs) 是一个网络服务器组件，它能够使你更容易地在网络上查询和管理数据。分布式文件系统是将分布于不同电脑上的文件组合为单一的名称空间，并使得在网络上建立一个单一的、层次化多重文件服务器和服务器共享的工作更为方便的途径。详细信息：http://www.microsoft.com/china/windows2000/library/howitworks/fileandprint/dfsnew.mspx