原创大数据Hadoop中HDFS 存储的机制？

发布时间：2019-06-28 18:29:18 浏览 4178 来源：博学谷资讯作者：枫调

　　HDFS即Hadoop分布式文件系统。它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。那大数据中HDFS 存储的机制怎样的呢？

大数据Hadoop中HDFS 存储的机制？

　　HDFS的存储机制主要从它的三个实体来说！

　　数据块

　　每个磁盘都有默认的数据块大小，这是磁盘进行读写的基本单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块。该文件系统中的块一般为磁盘块的整数倍。磁盘块一般为 512 字节。HDFS 也有块的概念，默认为64MB(一个map处理的数据大小)。HDFS上的文件也被划分为块大小的多个分块，与其他文件系统不同的是，HDFS 中小于一个块大小的文件不会占据整个块的空间。

　　HDFS用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量，数据块可以利用磁盘中任意一个磁盘进行存储。第二个简化了系统的设计，将控制单元设置为块，可简化存储管理，计算单个磁盘能存储多少块就相对容易。同时也消除了对元数据的顾虑，如权限信息，可以由其他系统单独管理。

　　DataNode 节点

　　DataNode 是 HDFS 文件系统的工作节点，它们根据需要存储并检索数据块，受NameNode节点调度。并且定期向 NameNode 发送它们所存储的块的列表。

　　NameNode 节点

　　NameNode 管理 HDFS 文件系统的命名空间，它维护着文件系统树及整棵树的所有的文件及目录。这些文件以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中各个块所在的数据节点信息但并不永久保存这些块的位置信息，因为这些信息在系统启动时由数据节点重建。

　　没有 NameNode，文件系统将无法使用。如提供 NameNode 服务的机器损坏，文件系统上的所有文件丢失，我们就不能根据 DataNode 的块来重建文件。因此,对 NameNode 的容错非常重要。第一种机制，备份那些组成文件系统元数据持久状态的文件。通过配置使 NameNode在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时，写入一个远程挂载的网络文件系统。当然这些操作都是原子操作。第二种机制是运行一个辅助的 NameNode，它会保存合并后的命名空间镜像的副本，并在Name/Node发生故障时启用。但是辅助NameNode保存。态总是滞后于主力节点，所以在主节点全部失效后难免丢失数据。在这种情况下，一般把存储在远程挂载的网络文件系统的数据复制到辅助NameNode并作为新的主NameNode 运行。