在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
今天本文要讲解的是Hadoop集群动态扩容的内容，那么什么是动态扩容呢？数据量随着公司业务的增长越来越大，原有的datanode节点的容量，已经不能满足存储数据的需求，需要在原有集群基础上，动态添加新的数据节点，这就是我们说的动态扩容。下面一起来看看基础准备、添加datanode、datanode负载均衡服务、添加nodemanager等相关内容吧~
1、基础准备
在基础准备部分，主要是设置 hadoop 运行的系统环境
修改新机器系统 hostname（通过/etc/sysconfig/network 进行修改）
[root@node-4 ~]# cat /etc/sys conf 1g/network
NE TWORKING=yes
HOS TNAME=node -4
[r oot@node-4 ~ ] #
修改 hosts 文件，将集群所有节点 hosts 配置进去（集群所有节点保持hosts文件统一）
rootenode-1 -]# cat /etc/hosts
127.0.0.1 localhost localhost. localdomain localhost4 localhost4. local domain4
: :1 localhost localhost. localdomain localhost6 localhost6. local domain6
192.168.227.151 node-1
192.168.227.152 node-2
192.168.227.153 node-3
192.168.227.154 node-4
rootenode-1 ~]#
设置 NameNode 到 DataNode 的免密码登录（ssh-copy-id 命令实现）
修改主节点 slaves 文件，添加新增节点的 ip 信息（集群重启时配合一键启动脚本使用）
[root@node-1 J]# vim /export/servers/hadoop-2 .6. 0-cdh5.14.0/etc/hadoop/s laves
node-1
node-2
node-3
node-4
在新的机器上上传解压一个新的hadoop安装包，从主节点机器上将hadoop的所有配置文件，scp到新的节点上。
2、添加datanode
在namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 目录下创建 dfs.hosts 文件
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts
添加如下主机名称（包含新服役的节点）
node-1
node-2
node-3
node-4
在 namenode 机器的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>
dfs.hosts 属性的意义：命名一个文件，其中包含允许连接到namenode的主机列表。必须指定文件的完整路径名。如果该值为空，则允许所有主机。相当于一个白名单，也可以不配置。
在新的机器上单独启动datanode：hadoop-daemon.sh start datanode
[root@node-4 ~]# hadoop-daemon.sh start datanode
starting datanode: logging to /export /servers/hadoop-2.6.0-cdh514 .0/ lops /hadoop root datanode -node-4 out
[root@node-4 ~]#
刷新页面就可以看到新的节点加入进来了
3、datanode负载均衡服务
新加入的节点，没有数据块的存储，使得集群整体来看负载还不均衡。因此最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%。然后启动Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。
4、添加nodemanager
在新的机器上单独启动 nodemanager：
yarn-daemon.sh start nodemanager
在ResourceManager，通过yarn node -list查看集群情况
以上就是Hadoop集群动态扩容讲解的全部内容，如果你还想更加深入的学习相关内容，可以报名博学谷的大数据课程，在线学习相关视频课程，还有在线讲师一对一为你答疑解惑！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
HDFS安全模式学习总结
下一篇：
分布式系统学习笔记
相关推荐 更多
大数据技术的应用领域有哪些？
大数据技术逐渐成熟，已经在诸多领域得到了广泛的应用，随着5G时代的带来，数据化的企业运营成为企业优化产业结构、提升服务质量的奠基。在数据时代数据量迅速扩大、数据维度不断完善、数据分析的指导性更加明显。那大数据技术的应用领域有哪些呢？对于学习大数据技术的同学们而言，应该精准到哪些行业就业呢？
19134
2019-12-16 18:57:00
计算机大数据应用技术就业前景怎么样？
计算机大数据应用技术就业前景怎么样？作为目前最为广泛和热门的新兴技术，计算机大数据应用技术的意义不在于存储海量的的数据信息，而在于对这些数据进行专业化处理，从而更好地辅助工作中的各项决策。因此，掌握了计算机大数据应用技术，其就业前景自然广阔明亮无比。关于大数据的更多就业方向选择，我们可以看看以下的具体分析。
16133
2020-01-14 15:33:07
大数据培训学校哪家好？大数据课程有什么？
大数据培训学校，博学谷实力不错，疫情期间选择博学谷大数据在线学校保证学习效果。提供全方位教学师资团队，提供全方位教学服务，保证学习效果，每个班级都有班主任老师，日常工作管理，老师在线答疑解决学生遇到的问题。
8611
2020-02-25 14:33:20
大数据在线学习零基础教程有哪些？
数据开发日新月异，目前国内的数据产业链逐步形成，而大数据也成为了市场上最热门的求职领域之一。高薪且无限的发展前景吸引着许多人想要进入大数据这个行业，但是对于许多零基础的初学者来讲，往往遇到的首要问题，就是没有适合自己学习资源。为了帮助广大的大数据初学者能够轻松入门大数据，下面为大家推荐一些优质的大数据在线学习零基础教程。
7325
2020-05-15 15:24:46
2021年大数据行业发展前景及岗位方向如何？
中国大数据行业的发展依然呈稳步上升趋势，大数据总体发展水平较好在各行业都有应用，其中金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。
9332
2021-03-04 16:37:45
