博学谷 > 资讯 > 大数据 > Hadoop集群搭建过程总结

原创 Hadoop集群搭建过程总结

发布时间:2020-06-18 15:32:40 浏览 430 来源:博学谷 作者:照照

    本文主要总结了Hadoop集群搭建的过程,内容包括发行版本说明、Hadoop集群简介、服务器准备、网络环境准备、服务器系统设置以及JDK 环境安装。有学习需要的小伙伴一起来看看吧~

     

    Hadoop集群搭建

     

    1、发行版本说明

     

    Hadoop 发行版本分为开源社区版和商业版。社区版是指由 Apache 软件基金会维护的版本,是官方维护的版本体系。 商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有   cloudera CDHmapRhortonWorks 等。

     

    我们等会要学习的是商业版:cloudera CDH。如未说明都指 CDH版本。Hadoop 的版本很特殊,是由多条分支并行的发展着。大的来看分为3个大的系列版本:1.x2.x3.xHadoop1.0 由一个分布式文件系统 HDFS和一个离线计算框架 MapReduce 组成。

     

    Hadoop 2.0 则包含一个支持 NameNode 横向扩展的 HDFS,一个资源管理系统YARN 和一个运行在 YARN 上的离线计算框架 MapReduce。相比于 Hadoop1.0 Hadoop 2.0 功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增强。目前已经趋于稳定,但是整个生态圈体系升级整合还未完毕,所以商用还值得商榷。 我们要讲的Hadoop集群搭建过程,使用的是当前 2 系列最稳定版本:CDH 2.6.0-CDH14.0

     

    2Hadoop集群简介

     

    Hadoop集群具体来说包含两个集群:HDFS 集群和 YARN 集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode DataNode SecondaryNameNodeYARN 集群负责海量数据运算时的资源调度,集群中的角色主要有: ResourceManagerNodeManager

     

    mapreduce是什么呢?它其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在 HDFS 集群上,并且受到 YARN 集群的资源调度管理。Hadoop 部署方式分三种,Standalone mode(独立模式)、Pseudo-Distributed mode(伪分布式模式)、Cluster mode(群集模式),其中前两种都是在单机部署。独立模式又称为单机模式,仅 1 个机器运行 1 java 进程,主要用于调试。伪分布模式也是在 1 个机器上运行 HDFS NameNode DataNodeYARN ResourceManger NodeManager,但分别启动单独的 java 进程,主要用于调试。集群模式主要用于生产环境部署。会使用 N 台主机组成一个 Hadoop 集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。我们以 3 节点为例进行搭建,角色分配如下:

     

    node-01   NameNode                         DataNode         ResourceManager

     

    node-02   DataNode                  NodeManager          SecondaryNameNode

     

    node-03   DataNode         NodeManager

     

    3、服务器准备

     

    本案例使用 VMware Workstation Pro 虚拟机创建虚拟服务器来搭建 HADOOP 集群,所用软件及版本如下:

     

    VMware Workstation Pro 12.0

     

    Centos     6.9   64bit

     

    4、网络环境准备

     

    采用 NAT 方式联网。如果创建的是桌面版的 Centos 系统,可以在安装完毕后通过图形页面进行编辑。如果是 mini 版本的,可通过编辑 ifcfg-eth*配置文件进行配置。 注意 BOOTPROTOGATEWAYNETMASK

     

    5、服务器系统设置

     

    同步时间

     

    #同步集群各机器时间

     

    date -s "2019-03-03 03:03:03" yum install ntpdate

     

    #网络同步时间

     

    ntpdate cn.pool.ntp.org 

     

    设置主机名

     

    vi /etc/sysconfig/network NETWORKING=yes

     

    HOSTNAME=node-1  

     

    配置 IP、主机名映射vi /etc/hosts

     

    192.168.33.101     node-1

     

    192.168.33.102     node-2

     

    192.168.33.103     node-3

     

    配置 ssh 免密登陆

     

    #生成 ssh 免登陆密钥

     

    ssh-keygen -t rsa (四个回车)

     

    执行完这个命令后,会生成 id_rsa(私钥)、id_rsa.pub(公钥)

     

    将公钥拷贝到要免密登陆的目标机器上

     

    ssh-copy-id node-2

     

    配置防火墙

     

    #查看防火墙状态

     

    service iptables status

     

    #关闭防火墙

     

    service iptables stop

     

    #查看防火墙开机启动状态

     

    chkconfig iptables --list

     

    #关闭防火墙开机启动

     

    chkconfig iptables off

     

    6JDK 环境安装

     

    #上传 jdk 安装包 

     

    jdk-8u65-linux-x64.tar.gz

     

    #解压安装包

     

    tar zxvf jdk-8u65-linux-x64.tar.gz 

     

    #配置环境变量 /etc/profile

     

    export JAVA_HOME=/export/servers/jdk1.8.0_65

     

    export PATH=$PATH:$JAVA_HOME/bin

     

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

     

    #刷新配置

     

    source /etc/profile

     

    以上就是Hadoop集群搭建过程总结,大家都掌握了吗?更详细的大数据视频学习资源尽在博学谷,欢迎大家申请试学名额,进行免费的课程体验!

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

领取成功
领取失败
上一篇:Hadoop入门基础知识总结 下一篇:SQL基础语句说明汇总整理

相关推荐 更多

最新文章

扫描二维码,回复"大数据"获取20G资料包