原创 HDFS入门基础学习总结

HDFS全称就是Hadoop分布式文件系统，作为Hadoop的核心组件，它提供了最底层的分布式存储服务。本文整理了HDFS设计目标和HDFS的重要特性等等内容，下面一起来看HDFS入门基础学习总结吧~

 

 

1、HDFS设计目标

 

（1）硬件故障是常态，HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。

 

（2）HDFS上的应用与一般的应用不同，它们主要是以流式读取数据。HDFS被设计成适合批量处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。

 

（3）典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。

 

（4）大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。

 

（5）移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好。

 

（6）在异构的硬件和软件平台上的可移植性。这将推动需要大数据集的应用更广泛地采用HDFS作为平台。

 

2、HDFS的重要特性

 

HDFS入门基础学习绕不开的一个知识点就是HDFS的重要特性。首先，HDFS是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；其次，HDFS是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

 

（1）master/slave架构

HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是HDFS集群主节点，Datanode是HDFS集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

 

（2）分块存储

HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，默认大小在 hadoop2.x 版本中是 128M。

 

（3）名字空间

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录， 然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。

 

（4）Namenode元数据管理

我们把目录结构及文件分块位置信息叫做元数据。Namenode负责维护整个hdfs 文件系统的目录树结构，以及每一个文件所对应的block块信息（block的id，及所在的datanode服务器）。

 

（5）Datanode数据存储

文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个 datanode 上。

 

（6）副本机制

为了容错，文件的所有block都会有副本。每个文件的block大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。

 

（7）一次写入，多次读出

HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。正因为如此，HDFS 适合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用，因为修改不方便，延迟大，网络开销大，成本太高。

 

以上就是HDFS入门基础学习总结，大家都掌握了其中的精华内容了吗？关于HDFS更深入的进阶学习内容，博学谷资讯大数据栏目将在今后更新，敬请期待吧~