原创 Hadoop HDFS分布式文件系统原理及应用介绍

发布时间:2021-04-13 16:30:33 浏览 476 来源:博学谷 作者:小sen

    HDFS有着高容错性特点,且设计用来部署在低廉的硬件上,提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求,可以实现流的形式访问文件系统中的数据。

    Hadoop分布式文件系统HDFS是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问非常适合大规模数据集上的应用。

    HDFS概念

    HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口。

    HDFS

    HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode。

    HDFS采用主从结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

    Client

    Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储。Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。

    NameNode

    NameNode就是 master,它是一个主管、管理者。管理 HDFS 元数据(文件路径,文件的大小,文件的名字,文件权限,文件的block切片信息)。
    NameNode管理 Block 副本策略:默认 3 个副本,处理客户端读写请求。

    DataNode

    DataNode就是Slave。NameNode下达命令,DataNode 执行实际的操作。DataNode存储实际的数据块,执行数据块的读/写操作。定时向namenode汇报block信息。

    Secondary NameNode

    SecondaryNameNode不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。
    辅助 NameNode,分担其工作量。在紧急情况下,可辅助恢复 NameNode。
    副本机制

    HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,这个数据块被称为block,除了最后一个,所有的数据块都是同样大小的。
    为了容错,文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。
    在hadoop2 当中, 文件的 block 块大小默认是 「128M」(134217728字节)。

    数据块

    如图所示,一个大小为300M的a.txt上传到HDFS中,需要进行128M的切分,不足128M分为到另一block中。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 大数据开发培训哪家好?怎么选? 下一篇: 机器学习在线学习网站哪个好?

相关推荐 更多

热门文章

  • 2021年开源就业报告来了!它透露了以下几个信息
  • 看到这位老程序员的补丁,我陷入了思考......
  • 一篇关于程序员的复仇笔记
  • 都说C++难,那么它到底难在了哪里?
  • 清华应届生要求月薪3万+期权,被HR狂喷
  • 大学生就业调研报告,超六成大学生认为自己十年后是这个薪资
  • 整洁代码有多重要,看了这个你就懂了
  • C++的校招的面试题,看看你能答对几个?
  • TIOBE 9月编程语言排名!它终于出圈了
  • 9月份的数据库排名来啦!速来围观
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码