在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
大数据学习需要掌握很多技术知识点,包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop的联邦机制。
一、为什么会出现联邦?
Hadoop 的 NN 所使用的资源受所在服务的物理限制,不能满足实际生产需求。
二、联邦的实现
采用多台 NN 组成联邦。NN 是独立的,NN 之间不需要相互调用。NN 是联合的,同属于一个联邦,所管理的 DN 作为 block 的公共存储。block pool 的概念,每一个 namespace 都有一个 pool,datanodes 会存储集群中所有的 pool,block pool 之间的管理是独立的,一个 namespace 生成一个 blockid 时不需要跟其它 namespace 协调,一个 namenode 的失败也不会影响到 datanode对其它 namenodes 的服务。一个 namespace 和它的 block pool 作为一个管理单元,删除后,对应于datanodes 中的 pool 也会被删除。集群升级时,这个管理单元也独立升级。这里引入 clusterID 来标示集群所有节点。当一个 namenode format 之后,这个 id 生成,集群中其它 namenode 的 format 也用这个 id。
三、主要优点:
命名空间可伸缩性——联合添加命名空间水平扩展。DN 也随着 NN 的加入而得到拓展。
性能——文件系统吞吐量不是受单个Namenode 限制。添加更多的Namenode集群扩展文件系统读/写吞吐量。
隔离——隔离不同类型的程序,一定程度上控制资源的分配
四、配置:
联邦的配置是向后兼容的,允许在不改变任何配置的情况下让当前运行的单节点环境转换成联邦环境。新的配置方案确保了在集群环境中的所有节点的配置文件都是相同的。这里引入了 NameServiceID 概念,作为 namenodes 们的后缀。第一步:配置属性 dfs.nameservices,用于 datanodes 们识别 namenodes。第二步:为每个 namenode 加入这个后缀。
五、操作:
# 创建联邦,不指定 ID 会自动生成
$HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]
# 升级 Hadoop 为集群
$HADOOP_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR
-upgrade -clusterId <cluster_ID>
# 扩展已有联邦
$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes
<datanode_host_name>:<datanode_rpc_port>
# 退出联邦
$HADOOP_HOME/sbin/distribute-exclude.sh <exclude_file>
$HADOOP_HOME/sbin/refresh-namenodes.sh
什么是 CDH 下载地址 : http://archive.cloudera.com/cdh5/cdh/5/ CDH (Cloudera's Distribution, including Apache Hadoop),是 Hadoop众多分支中的一种,由 Cloudera 维护,基于稳定版本的 Apache Hadoop 构建,并集成了很多补丁, 可直接用于生产环境。
CDH 的优点: 版本划分清晰
版本更新速度快
支持 Kerberos 安全认证文档清晰
支持多种安装方式(Cloudera Manager、YUM、RPM、Tarball) 什么是 CM Cloudera Manager? 是为了便于在集群中进行 Hadoop
等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark 等服务的安装配置管理做了极大简化。
Cloudera Manager 有四大功能:
(1)管理:对集群进行管理,如添加、删除节点等操作。
(2)监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
(3)诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
(4)集成:对 hadoop 的多组件进行整合。
以上就是小编整理的大数据面试题:Hadoop的联邦机制。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
参加大数据培训能找哪些工作?需要具备什么技能?
马云说我们进入了date时代。数据经代替大部分经验成为企业发展的指导准则。对于我们个体而言,首先我们的日常行为以及记录都是大数据的一部分。与此同时面对大数据的发展我们也有了更多的职业机会。因此很多小伙伴纷纷进入大数据培训学校,深化学习大数据技术。那现在参加大数据培训能找哪些工作?分别需要什么技能呢?
8476
2019-07-09 17:03:42
大数据kafka常见面试题整理附答案
kafka一直都是大数据面试题的必考点。因此,小编整理了有关kafka知识点的大数据面试题,主要针对kafka的定义、与传统消息系统的区别、kafka集群的安装与搭建三大问题,并附上了参考答案。需要梳理kafka知识点的同学可以看看。
10544
2019-08-06 16:23:49
大数据工程师常见面试题 编程模型
在大数据工程师的面试过程中,编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容,感兴趣的小伙伴就赶紧接着看下去吧!
5797
2019-10-14 18:46:44
学大数据一定要学Java编程语言吗?
大数据相关岗位的就业薪资和发展前景,吸引了许多人纷纷参加培训机构以谋求一个就业机会。考察各个培训机构的课程,我们不难发现,不管哪个大数据培训机构的课程都涉及Java编程语言的学习。那么,学大数据一定要学Java编程语言吗?答案是不一定,如果你想从事大数据开发岗位,那一定要学Java编程语言。如果只是想往数据分析方向发展,那么学Python就足够了。
5800
2020-06-30 18:38:45
推荐零基础学习大数据的10本经典图书
学习大数据并不是一蹴而就的事情,及时工作多年的开发工程师都需要不断的补充新鲜的知识内容。目前学习大数据知识可以通过视频和图书两种方式学习,视频的优势在于能够将老师的个人开发经验传授给学习者,而图书的优势在于能够随时翻阅,内容比较丰富。这里为大家推荐零基础学习大数据的8本经典图书,希望同学们能够通过不同的学习途径充分掌握大数据开发技能。
4999
2020-09-14 16:01:31