HDFS全称就是Hadoop分布式文件系统,作为Hadoop的核心组件,它提供了最底层的分布式存储服务。本文整理了HDFS设计目标和HDFS的重要特性等等内容,下面一起来看HDFS入门基础学习总结吧~
1、HDFS设计目标
(1)硬件故障是常态,HDFS将有成百上千的服务器组成,每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
(2)HDFS上的应用与一般的应用不同,它们主要是以流式读取数据。HDFS被设计成适合批量处理,而不是用户交互式的。相较于数据访问的反应时间,更注重数据访问的高吞吐量。
(3)典型的HDFS文件大小是GB到TB的级别。所以,HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持千万级别的文件。
(4)大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题,使高吞吐量的数据访问成为可能。
(5)移动计算的代价比之移动数据的代价低。一个应用请求的计算,离它操作的数据越近就越高效,这在数据达到海量级别的时候更是如此。将计算移动到数据附近,比之将数据移动到应用所在显然更好。
(6)在异构的硬件和软件平台上的可移植性。这将推动需要大数据集的应用更广泛地采用HDFS作为平台。
2、HDFS的重要特性
HDFS入门基础学习绕不开的一个知识点就是HDFS的重要特性。首先,HDFS是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件;其次,HDFS是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
(1)master/slave架构
HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是HDFS集群主节点,Datanode是HDFS集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。
(2)分块存储
HDFS 中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数来规定,默认大小在 hadoop2.x 版本中是 128M。
(3)名字空间
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录, 然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。
(4)Namenode元数据管理
我们把目录结构及文件分块位置信息叫做元数据。Namenode负责维护整个hdfs 文件系统的目录树结构,以及每一个文件所对应的block块信息(block的id,及所在的datanode服务器)。
(5)Datanode数据存储
文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个 datanode 上。
(6)副本机制
为了容错,文件的所有block都会有副本。每个文件的block大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。
(7)一次写入,多次读出
HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改。正因为如此,HDFS 适合用来做大数据分析的底层存储服务,并不适合用来做网盘等应用,因为修改不方便,延迟大,网络开销大,成本太高。
以上就是HDFS入门基础学习总结,大家都掌握了其中的精华内容了吗?关于HDFS更深入的进阶学习内容,博学谷资讯大数据栏目将在今后更新,敬请期待吧~
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
哪里有比较好的大数据分析培训?
目前大部分关于大数据方向的培训课程都是关于大数据技术开发,主要培养与大数据挖掘、大数据爬虫、大数据存储以及算法开发工程师,相对来说说岗位偏向于开发技术。对于不想从事技术开发岗位的同学,关注更多的则是大数据分析培训课程。那目前国内哪里有比较好的大数据分析培训呢?
1784
2019-09-03 18:47:35
程序员常用数据库有哪些?
数据库就是数据存储的仓库,任何互联网产品都需要使用数据库保存运营过程中所产生的各种数据。SQL是一种数据库查询语言和程序设计语言,主要就是用于管理数据库中的数据,如存取数据、查询数据、更新数据等。在大数据技术不断提升与应用的市场背景下,数据库技术也得到很大的发展,目前数据库产品非常多,最常用的数据库有:Oracle、DB2、MongoDB、SQLServer、MySQL等。
2366
2019-12-05 18:48:08
如何利用大数据构建用户画像?
大数据时代,不仅普通用户可以享受到技术带来的便利,企业也可以从数据中提取有商业价值的信息,构建出用户画像,从而对用户行为进行分析和预测。虽然用户画像不是什么新鲜的概念,但是大数据技术的出现使得用户画像更加清晰客观。下面我们一起来看看如何利用大数据构建用户画像。
920
2020-07-23 12:12:02
数据预处理的方法有哪些?
数据处理的工作时间占据了整个数据分析项目的70%以上。因此,数据的质量直接决定了分析模型的准确性。那么,数据预处理的方法有哪些呢?比如数据清洗、数据集成、数据规约、数据变换等,其中最常用到的是数据清洗与数据集成,下面小编将来详细介绍一下这2种方法。
1102
2020-08-11 10:14:41
大数据可视化分析工具常用的有哪些?
企业基础数据才能制定出正确的策略,常用的分析工具有、Tableau、ECharts、Highcharts、魔镜、图表秀等。在大数据时代有价值的商品则是数据,大数据技术为决策提供依据,在政府、企业、科研项目等决策中扮演着重要的角色。
624
2020-09-24 16:39:22
Flink基础入门与开发实践
¥299 进阶 205
电商大数据应用之用户画像
免费 基础 804
大数据进阶训练营(前置课)
¥699 基础 186
大数据hadoop入门教程
免费 基础 1949
零基础7天精通kettle8.2
¥49.9 基础 746
推荐课程
热门文章
- 5W2H数据分析方法及思维是什么?
- UI设计师要懂什么技术?掌握哪些知识?
- 哪里可以培训少儿编程老师?学什么?
- 软件测试方法和技术知识点有哪些?
- 2021年2月IT编程语言排行榜
- PHP从入门到精通需要多长时间?
- 产品经理需要的技能是什么?具备哪些能力?
- 新媒体运营是做什么的?工作内容有哪些?
- Java线上培训机构哪家好?靠不靠谱?
- 学Web技术前端培训机构哪家好? 查看更多
扫描二维码,了解更多信息
