在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
众所周知,安全模式是HDFS所处的一种特殊状态,今天我们要来梳理一下关于HDFS安全模式的学习总结,主要内容包括安全模式概述、安全模式配置以及安全模式命令。下面赶紧开始吧~
1、安全模式概述
HDFS在安全模式状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的时候会向namenode汇报可用的block信息,当整个系统达到安全标准时,HDFS自动离开安全模式。
假设我们设置的副本数是5,那么在Datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是 3/5=0.6。在配置文件 hdfs-default.xml中定义了一个最小的副本的副本率0.999。我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的DataNode,使得副本率不小于0.999。如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。 如果HDFS处于安全模式下,不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹,修改副本数等操作。
2、安全模式配置
与安全模式相关主要配置在hdfs-site.xml文件中,主要有下面几个属性:
(1)dfs.namenode.replication.min:每个数据块最小副本数量,默认为1在上传文件时,达到最小副本数,就认为上传是成功的。
(2)dfs.namenode.safemode.threshold-pct:达到最小副本数的数据块的百分比。默认为0.999f。当小于这个比例,那就将系统切换成安全模式,对数据块进行复制;当大于该比例时,就离开安全模式,说明系统有足够的数据块副本数,可以对外提供服务。小于等于0意味不进入安全模式,大于1意味一直处于安全模式。
(3)dfs.namenode.safemode.min.datanodes:离开安全模式的最小可用datanode数量要求,默认为0也就是即使所有datanode都不可用,仍然可以离开安全模式。
(4)dfs.namenode.safemode.extension:当集群可用block比例,可用datanode都达到要求之后,如果在extension配置的时间段之后依然能满足要求,此时集群才离开安全模式。单位为毫秒,默认为 30000也就是当满足条件并且能够维持30秒之后,离开安全模式。这个配置主要是对集群稳定程度做进一步的确认。避免达到要求后马上又不符合安全标准。
总结一下,要离开安全模式,需要满足以下条件:达到副本数量要求的 block 比例满足要求;可用的 datanode 节点数满足配置的数量要求;1、2 两个条件满足后维持的时间达到配置的要求。
3、安全模式命令
手动进入安全模式
hdfs dfsadmin -safemode enter
手动进入安全模式对于集群维护或者升级的时候非常有用,因为这时候 HDFS 上的数据是只读的。手动退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
以上就是HDFS安全模式的全部学习总结,如果大家还看得不够过瘾,可以直接在下方申请免费试学名额,报名在线学习大数据的更多视频课程!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
数据分析应用在哪些领域?都起到了什么作用?
随着大数据的发展,数据分析早已渗透各行业各业,尤其是互联网、电商和金融三大行业。同时数据分析在电信、旅游、医疗健康等等领域,也有比较多的应用。下面我们来看看在这些领域数据分析究竟起了什么作用。
12163
2019-09-28 09:54:27
大数据的分析软件工具有哪些?都有什么用?
大数据的分析软件工具有哪些?都有什么用?总的来说,大数据有各种各样的分析软件工具,本文要跟大家介绍的是在一些领域被高频率使用,且不可缺少的大数据分析利器,即Excel、SPSS、SAS和stata。正是有了这些软件工具的存在,大数据的分析工作才能更加有效率。
6523
2019-10-16 16:50:27
云计算是什么意思?云计算培训学什么?
编用通俗易懂的话概括下云计算,简单来说就是分布式计算,通过服务器系统处理分析数据并得到结果返回给用户,在很短的时间内完成对数以万计的数据的处理,提高计算效率。
10519
2020-01-09 15:26:46
数据中台对企业有哪些意义和作用?
随着数据化浪潮席卷全球,数据中台也由此应运而生。众所周知,数据中台的主要作用在于把数据进行统一标准和口径之后,再进行储存和加工,从而使企业可以提供更高效的服务。简单来讲,数据中台是以节省企业成本,实现精细化运营为目标。那么数据中台对企业到底有哪些具体意义和作用呢?下面我们来具体看一下。
7129
2020-02-10 22:29:52
学习大数据前应该了解什么?
大数据学习不能停留在理论的层面上,大数据方向切入应是全方位的,基础语言的学习只是很小的一个方面,编程落实到最后到编程思想。学习前一定要对大数据有一个整体的认识。
3650
2021-01-06 10:19:34