在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
HDFS即Hadoop分布式文件系统。它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。那大数据中HDFS 存储的机制怎样的呢?
HDFS的存储机制主要从它的三个实体来说!
数据块
每个磁盘都有默认的数据块大小,这是磁盘进行读写的基本单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块。该文件系统中的块一般为磁盘块的整数倍。磁盘块一般为 512 字节。HDFS 也有块的概念,默认为64MB(一个map处理的数据大小)。HDFS上的文件也被划分为块大小的多个分块,与其他文件系统不同的是,HDFS 中小于一个块大小的文件不会占据整个块的空间。
HDFS用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量,数据块可以利用磁盘中任意一个磁盘进行存储。第二个简化了系统的设计,将控制单元设置为块,可简化存储管理,计算单个磁盘能存储多少块就相对容易。同时也消除了对元数据的顾虑,如权限信息,可以由其他系统单独管理。
DataNode 节点
DataNode 是 HDFS 文件系统的工作节点,它们根据需要存储并检索数据块,受NameNode节点调度。并且定期向 NameNode 发送它们所存储的块的列表。
NameNode 节点
NameNode 管理 HDFS 文件系统的命名空间,它维护着文件系统树及整棵树的所有的文件及目录。这些文件以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中各个块所在的数据节点信息但并不永久保存这些块的位置信息,因为这些信息在系统启动时由数据节点重建。
没有 NameNode,文件系统将无法使用。如提供 NameNode 服务的机器损坏,文件系统上的所有文件丢失,我们就不能根据 DataNode 的块来重建文件。因此,对 NameNode 的容错非常重要。第一种机制,备份那些组成文件系统元数据持久状态的文件。通过配置使 NameNode在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时,写入一个远程挂载的网络文件系统。当然这些操作都是原子操作。第二种机制是运行一个辅助的 NameNode,它会保存合并后的命名空间镜像的副本,并在Name/Node发生故障时启用。但是辅助NameNode保存。态总是滞后于主力节点,所以在主节点全部失效后难免丢失数据。在这种情况下,一般把存储在远程挂载的网络文件系统的数据复制到辅助NameNode并作为新的主NameNode 运行。
大数据Hadoop中HDFS 存储的机制?就和大家介绍到这里。如果想了解更多大数据相关知识,可以持续关注博学谷,或者通过博学谷大数据课程进行学习。我们会持续分享更多关于大数据的知识。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据Hbase面试宝典(中)
应广大同学的需求,本文继续整理了大数据HBase面试问题,希望大家阅读本篇文章以后有所收获,能够对大数据技术的理解更加深入和全面。
6653
2019-07-04 13:58:56
大数据专业学习难度大吗?需要学习什么技术?
众所周知,大数据专业是目前互联网行业中高薪岗位之一。然而看到高薪的机会,大部分同学立刻行动投入大数据专业的学习中,也有一部分同学发表自己的疑问:大数据专业这样高薪是否学习难度非常大?如果从事大数据专业工作,需要学习什么技术呢?
10874
2019-09-02 19:04:37
5G大数据技术防控新型肺炎疫情发挥重要作用
5G网络见证武汉版“小汤山”火神山医院和雷神山医院的建设;大数据报告指导疫情防控;云视频会议提高指挥效率;医疗云诊疗服务信息化。5G网络、大数据报告、远程医疗、云视讯等,在抗击新型冠状病毒感染的肺炎疫情中,多项新技术应用提高了疫情防控工作效率。
4555
2020-02-07 10:26:34
大数据开发工程师需要学习哪些知识点?
大数据开发工程师需要学习哪些知识点?大数据程序员需要有坚实的大数据技术理论基础、了解数据平台、掌握数据存储 HDFS、、日志解析及计算 MR、数据获取和预处理 Flume、结构化查询 Hive、数据获取和预处理 Sqoop、大数据调度框架Azkaban、Scala编程基础等相关知识。
4149
2020-09-03 14:13:34
入行大数据学习路线分享 学习不迷路
入行大数据学习路线分享 学习不迷路,想要从事大数据技术开发工作请问要怎么做,学习路线是什么?从哪里开始学?学哪些?对于想学大数据的人群有诸多的疑问,大数据本质上是海量数据。以往的数据开发,需要一定的Java基础和工作经验,门槛高入门难。如果零基础入门数据开发行业的小伙伴可以从Python语言入手。
1196
2022-02-18 11:06:17