在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
HDFS即Hadoop分布式文件系统。它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。那大数据中HDFS 存储的机制怎样的呢?
HDFS的存储机制主要从它的三个实体来说!
数据块
每个磁盘都有默认的数据块大小,这是磁盘进行读写的基本单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块。该文件系统中的块一般为磁盘块的整数倍。磁盘块一般为 512 字节。HDFS 也有块的概念,默认为64MB(一个map处理的数据大小)。HDFS上的文件也被划分为块大小的多个分块,与其他文件系统不同的是,HDFS 中小于一个块大小的文件不会占据整个块的空间。
HDFS用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量,数据块可以利用磁盘中任意一个磁盘进行存储。第二个简化了系统的设计,将控制单元设置为块,可简化存储管理,计算单个磁盘能存储多少块就相对容易。同时也消除了对元数据的顾虑,如权限信息,可以由其他系统单独管理。
DataNode 节点
DataNode 是 HDFS 文件系统的工作节点,它们根据需要存储并检索数据块,受NameNode节点调度。并且定期向 NameNode 发送它们所存储的块的列表。
NameNode 节点
NameNode 管理 HDFS 文件系统的命名空间,它维护着文件系统树及整棵树的所有的文件及目录。这些文件以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中各个块所在的数据节点信息但并不永久保存这些块的位置信息,因为这些信息在系统启动时由数据节点重建。
没有 NameNode,文件系统将无法使用。如提供 NameNode 服务的机器损坏,文件系统上的所有文件丢失,我们就不能根据 DataNode 的块来重建文件。因此,对 NameNode 的容错非常重要。第一种机制,备份那些组成文件系统元数据持久状态的文件。通过配置使 NameNode在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时,写入一个远程挂载的网络文件系统。当然这些操作都是原子操作。第二种机制是运行一个辅助的 NameNode,它会保存合并后的命名空间镜像的副本,并在Name/Node发生故障时启用。但是辅助NameNode保存。态总是滞后于主力节点,所以在主节点全部失效后难免丢失数据。在这种情况下,一般把存储在远程挂载的网络文件系统的数据复制到辅助NameNode并作为新的主NameNode 运行。
大数据Hadoop中HDFS 存储的机制?就和大家介绍到这里。如果想了解更多大数据相关知识,可以持续关注博学谷,或者通过博学谷大数据课程进行学习。我们会持续分享更多关于大数据的知识。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
经典数据分析应用介绍
大数据时代的到来,促使互联网更加高速的发展。也为互联网创造了更多的岗位。我们耳熟能详的就是大数据在电商平台、搜索平台的应用,通过大数据分析,为我们提供了更加便利的服务。那还有哪些景点的数据分析应用案例呢?
7441
2019-07-01 19:04:24
大数据Hadoop集群搭建步骤讲解
相信每一个大数据学习者都明白,Hadoop在大数据中的重要地位。Hadoop简称HDFS,它是是大数据的基础,所以大家一定要掌握好Hadoop的相关基础知识。本文主要是详细讲解Hadoop集群的基本概念、搭建步骤及注意事项。
6491
2019-08-22 16:18:16
Hadoop的联邦机制 大数据学习总结
Hadoop的NN所使用的资源受所在服务的物理限制,不能满足实际生产需求。本文来谈谈大数据学习之Hadoop的联邦机制,主要内容包括:Hadoop的局限与不足、联邦的实现、主要优点、配置和操作。
6496
2019-08-27 20:31:19
大数据技术应用专业有哪些?主要做什么?
大数据概念持续火爆,其核心价值并非仅仅是数据量大,更重要的是在海量的数据背后所体现出来的应用价值。如果把大数据比作一种产业链的话,那么这个产业最终实现价值的关键在于,通过对数据的“加工处理”实现数据的“增值”。因此围绕大数据技术衍生出来大量的应用专业方向。都有哪些大数据技术应用专业呢?他们主要做什么工作呢?下面我们一起来看一下。
12134
2019-09-11 18:29:17
大数据学习的基础知识
大数据学习的基础知识,随着互联网科技的发展,新型技术行业如人工智能等高科技领域人才需求不断扩大。其中大数据行业的发展前景也是相当好。导致很多人跟风报名,结果就是好多人哭喊大数据好难学。但是,大数据真的这么难吗?大数据基础学习内容是什么?大家不妨先了解一下再决定要不要继续学习。
3874
2020-06-12 15:58:59