在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
众所周知,安全模式是HDFS所处的一种特殊状态,今天我们要来梳理一下关于HDFS安全模式的学习总结,主要内容包括安全模式概述、安全模式配置以及安全模式命令。下面赶紧开始吧~
1、安全模式概述
HDFS在安全模式状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的时候会向namenode汇报可用的block信息,当整个系统达到安全标准时,HDFS自动离开安全模式。
假设我们设置的副本数是5,那么在Datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是 3/5=0.6。在配置文件 hdfs-default.xml中定义了一个最小的副本的副本率0.999。我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的DataNode,使得副本率不小于0.999。如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。 如果HDFS处于安全模式下,不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹,修改副本数等操作。
2、安全模式配置
与安全模式相关主要配置在hdfs-site.xml文件中,主要有下面几个属性:
(1)dfs.namenode.replication.min:每个数据块最小副本数量,默认为1在上传文件时,达到最小副本数,就认为上传是成功的。
(2)dfs.namenode.safemode.threshold-pct:达到最小副本数的数据块的百分比。默认为0.999f。当小于这个比例,那就将系统切换成安全模式,对数据块进行复制;当大于该比例时,就离开安全模式,说明系统有足够的数据块副本数,可以对外提供服务。小于等于0意味不进入安全模式,大于1意味一直处于安全模式。
(3)dfs.namenode.safemode.min.datanodes:离开安全模式的最小可用datanode数量要求,默认为0也就是即使所有datanode都不可用,仍然可以离开安全模式。
(4)dfs.namenode.safemode.extension:当集群可用block比例,可用datanode都达到要求之后,如果在extension配置的时间段之后依然能满足要求,此时集群才离开安全模式。单位为毫秒,默认为 30000也就是当满足条件并且能够维持30秒之后,离开安全模式。这个配置主要是对集群稳定程度做进一步的确认。避免达到要求后马上又不符合安全标准。
总结一下,要离开安全模式,需要满足以下条件:达到副本数量要求的 block 比例满足要求;可用的 datanode 节点数满足配置的数量要求;1、2 两个条件满足后维持的时间达到配置的要求。
3、安全模式命令
手动进入安全模式
hdfs dfsadmin -safemode enter
手动进入安全模式对于集群维护或者升级的时候非常有用,因为这时候 HDFS 上的数据是只读的。手动退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
以上就是HDFS安全模式的全部学习总结,如果大家还看得不够过瘾,可以直接在下方申请免费试学名额,报名在线学习大数据的更多视频课程!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据课程有哪些实战项目?
随着大数据行业的蓬勃发展,就业市场对于大数据从业者也提出了更高的要求。为了培养出真正掌握大数据开发能力的人才,博学谷的大数据课程除了有大数据理论知识的系统学习,还有涉及各个领域的大数据开发实战项目。那么大数据课程有哪些实战项目呢?一起来看看吧!
6759
2020-07-21 16:16:30
哪个大数据培训学校比较好?值得推荐?
随着大数据应用的落地和普及,大数据行业因其较高的薪资和良好的发展前景,吸引了越来越多人的喜爱。而对于许多想要进入大数据行业的学习者来说,参加大数据培训是最快捷的方式。那么,哪个大数据培训学校比较好?值得推荐呢?其实没有惟一的答案,但是我们可以一起来看看判断一家培训机构是否靠谱的方法。
6199
2020-07-30 16:07:12
在线学大数据有哪些优势?
根据猎聘最新的数据统计,中国大数据人才缺口高达150万,但国内的相关从业人员只有大约30万。就业市场的供需不平衡,也直接导致了大数据相关岗位的工资一路水涨船高,大数据岗位也一跃成为大热的技术岗位。博学谷作为业内知名的大数据在线培训平台,也为广大求学者不断升级更新课程内容。那么,在线学大数据有哪些优势?我们一起来看看吧!
4995
2020-08-04 18:45:43
学习大数据开发现在好就业吗
现在开始学习大数据晚了吗?现在学习大数据后还好就业吗?随着互联网应用基础的不断普及,大数据技术已经成为互联网企业的标配。大数据技术已经在国内持续火爆了几年的时间。每年都有大量的人才涌入到大数据行业中,对于现在刚刚入场大数据开发技术的人来说,现在还有机会吗?
4067
2020-09-14 15:59:15
推荐零基础学习大数据的10本经典图书
学习大数据并不是一蹴而就的事情,及时工作多年的开发工程师都需要不断的补充新鲜的知识内容。目前学习大数据知识可以通过视频和图书两种方式学习,视频的优势在于能够将老师的个人开发经验传授给学习者,而图书的优势在于能够随时翻阅,内容比较丰富。这里为大家推荐零基础学习大数据的8本经典图书,希望同学们能够通过不同的学习途径充分掌握大数据开发技能。
5040
2020-09-14 16:01:31