在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
众所周知,安全模式是HDFS所处的一种特殊状态,今天我们要来梳理一下关于HDFS安全模式的学习总结,主要内容包括安全模式概述、安全模式配置以及安全模式命令。下面赶紧开始吧~

1、安全模式概述
HDFS在安全模式状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的时候会向namenode汇报可用的block信息,当整个系统达到安全标准时,HDFS自动离开安全模式。
假设我们设置的副本数是5,那么在Datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是 3/5=0.6。在配置文件 hdfs-default.xml中定义了一个最小的副本的副本率0.999。我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的DataNode,使得副本率不小于0.999。如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。 如果HDFS处于安全模式下,不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹,修改副本数等操作。
2、安全模式配置
与安全模式相关主要配置在hdfs-site.xml文件中,主要有下面几个属性:
(1)dfs.namenode.replication.min:每个数据块最小副本数量,默认为1在上传文件时,达到最小副本数,就认为上传是成功的。
(2)dfs.namenode.safemode.threshold-pct:达到最小副本数的数据块的百分比。默认为0.999f。当小于这个比例,那就将系统切换成安全模式,对数据块进行复制;当大于该比例时,就离开安全模式,说明系统有足够的数据块副本数,可以对外提供服务。小于等于0意味不进入安全模式,大于1意味一直处于安全模式。
(3)dfs.namenode.safemode.min.datanodes:离开安全模式的最小可用datanode数量要求,默认为0也就是即使所有datanode都不可用,仍然可以离开安全模式。
(4)dfs.namenode.safemode.extension:当集群可用block比例,可用datanode都达到要求之后,如果在extension配置的时间段之后依然能满足要求,此时集群才离开安全模式。单位为毫秒,默认为 30000也就是当满足条件并且能够维持30秒之后,离开安全模式。这个配置主要是对集群稳定程度做进一步的确认。避免达到要求后马上又不符合安全标准。
总结一下,要离开安全模式,需要满足以下条件:达到副本数量要求的 block 比例满足要求;可用的 datanode 节点数满足配置的数量要求;1、2 两个条件满足后维持的时间达到配置的要求。
3、安全模式命令
手动进入安全模式
hdfs dfsadmin -safemode enter
手动进入安全模式对于集群维护或者升级的时候非常有用,因为这时候 HDFS 上的数据是只读的。手动退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
以上就是HDFS安全模式的全部学习总结,如果大家还看得不够过瘾,可以直接在下方申请免费试学名额,报名在线学习大数据的更多视频课程!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
研究生数据挖掘工资怎样?薪资待遇怎么样?
研究生数据挖掘工资怎样?薪资待遇怎么样?近几年国内IT发展迅速,有的人做数据挖掘平均工资50万+,国内大数据崛起后行业前景比较广阔,数据挖掘的并不是一门崭新的科学,而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成。
14441
2019-05-14 09:37:25
云计算大数据在线培训免费试学 零基础大数据培训班
零基础大数据在线培训班是博学谷为初学者量身打造的课程,学习内容共包括十个大阶段,从Java基础开始,内容精准聚焦大数据开发过程中必备的核心技术。为了更好地让学员感受到课程的优质,博学谷开通了第一阶段Java基础的部分课程,大家可以免费试学体验。下面是试学课程的大纲介绍:
8433
2019-12-16 17:18:22
线上大数据培训哪家好如何选择?
线上大数据培训哪家好应该如何选择?就线上培训这块,博学谷算是做的比较好的大数据培训平台。简单来讲,建议大家在做选择的时候,在口碑和知名度都不错的培训机构中挑选。同时多多考察大数据培训机构的课程质量、师资力量、教学模式等等方面,当然考察的方式不仅仅是听信培训机构的宣传,还要亲自体验课程,最好能和之前毕业的学员联系,深入了解培训的效果怎么样。
7395
2019-09-18 12:48:17
大数据工程师需要具备哪些能力?
大数据工程师需要具备哪些能力?这是许多想在大数据时代把握住发展机遇的学习者,在学习大数据前共同关心的问题。其实任何一个岗位需要具备的能力无外乎两种,即在专业领域的硬实力和职场发展上的软实力。对于大数据行业来讲,要向具备其相应的专业能力,需要学习的内容有很多。下面我就来为大家一一分析,大数据工程师需要具备的各项能力和掌握的各项知识。
11728
2020-01-16 17:03:43
学习云计算需要学什么?
学习云计算需要学什么?云计算对于学历有时并没有硬性要求,一般都是专科,本科。但专业能力强对于学历要求就没那么严格了,因为云计算市场现在人才比较紧缺。学习云计算工作的方向比较多,像计算机网络系统研发、软件测试与开发、办公自动化处理、网络管理与维护、网页制作和面向云计算相关的行业都是学习云计算工作的方向。
8892
2020-07-09 14:59:07
