原创 大数据hadoop入门课程大纲

发布时间:2020-05-05 16:20:47 浏览 1737 来源:博学谷 作者:照照

    Hadoop简称HDFS,它具有高容错性的特点,并且适合那些有着超大数据集的应用程序。Hadoop中的分布式计算框架,使的分布式编程更简单,能够很好的处理存储在hdfs上的海量数据。因此如果大家要入门学习大数据Hadoop是必须掌握的内容。下面我们一起来看看大数据hadoop入门课程大纲:

     

    大数据hadoop课程大纲

     

    第一章 Apache Hadoop简介

    Hadoop介绍

    Hadoop发展简史

    Hadoop特性优点&国内外应用

     

    第二章 Apache Hadoop—集群搭建

    集群搭建--发行版本&集群简介

    集群搭建--服务器环境准备

    集群搭建--JDK环境安装

    集群搭建--安装包目录结构

    集群搭建--配置文件修改上

    集群搭建--配置文件修改下

    集群搭建--配置文件注意事项

    集群搭建--namenode格式化

    集群搭建--启动方式

    集群搭建--集群ui&初体验

     

    第三章 Apache Hadoop—HDFS

    HDFS--介绍&模拟实现思路

    HDFS--设计目标

    HDFS--重要特性

    HDFS--shell客户端

    HDFS--shell常用命令介绍

    HDFS基本原理--NameNode概述

    HDFS基本原理--DataNode概述

    HDFS工作机制--概述

    HDFS工作机制--写数据流程--

    HDFS工作机制--写数据流程--

    HDFS工作机制--读数据流程

    HDFS应用开发--JAVA api环境&对象

    HDFS应用开发--创建目录&客户端身份设置

    HDFS应用开发--下载文件&本地hadoop环境配置

    HDFS应用开发--其他api&Stream操作

    案例:shell定时采集数据至hdfs--需求分析

    案例:shell定时采集数据至hdfs--实现

     

    第四章 Hadoop MapReduce

    理解MapReduce思想

    MapReduce计算模拟实现思路

    MapReduce设计构思

    MapReduce框架结构&编程规范

    WordCount案例--Mapper编写:mr数据类型

    WordCount案例--Mapper编写:map方法

    WordCount案例--Reducer编写:类型确定&如何调用

    WordCount案例--Reducer编写:reduce方法编程

    WordCount案例--运行主类Job编程

    程序运行模型--集群运行模式

    程序运行模型--本地运行模式

    MapReduce的输入和输出

     

    第五章 MapReduce数据分区&分区规则及编程案例

    理解MapReduce思想

    MapReduce计算模拟实现思路

    MapReduce设计构思

    MapReduce框架结构&编程规范

    WordCount案例--Mapper编写:mr数据类型

    WordCount案例--Mapper编写:map方法

    WordCount案例--Reducer编写:类型确定&如何调用

    WordCount案例--Reducer编写:reduce方法编程

    WordCount案例--运行主类Job编程

    程序运行模型--集群运行模式

    程序运行模型--本地运行模式

    MapReduce的输入和输出

     

    第六章 Apache Flume概述及案例讲解

    概述&运行机制

    安装部署&netcat-logger

    案例--采集目录至HDFS

    案例--spooldir使用注意事项

    案例--采集文件至HDFS

    高级功能--load balance

    高级功能--failover

    实战案例--采集日志汇总&拦截器使用

    扩展了解--自定义拦截器思路

     

    完成了大数据hadoop入门课程大纲的学习,大家可以在快速了解hadoop的同时,学会hadoop集群中的文件存储功能.分布式编程框架,还能了解离线大数据处理的基本流程。如果大家对课程感兴趣,还等什么,现在就来体验相关免费课程吧~

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 大数据培训班实战项目介绍 下一篇: 零基础怎样学习大数据?

相关推荐 更多

热门文章

  • GitLab上市,GitHub的最大对手来了!
  • 中办、国办发文!推动现代职业教育高质量发展!
  • 如何实现代码审查反馈?
  • 初学者,你有没有想过放弃这一行
  • 入门IT行业,首门语言该选什么?
  • 程序员的上升天花板到底怎么破?
  • 什么时候PHP成了最糟糕的语言?
  • 四大最危险编程语言,PHP竟然没有排名榜首
  • 大厂工程师薪资来了,速来围观!
  • 当了几年程序员后,他竟然选择转行到这个行业......
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码