原创 大数据hadoop入门课程大纲

Hadoop简称HDFS，它具有高容错性的特点，并且适合那些有着超大数据集的应用程序。Hadoop中的分布式计算框架，使的分布式编程更简单，能够很好的处理存储在hdfs上的海量数据。因此如果大家要入门学习大数据，Hadoop是必须掌握的内容。下面我们一起来看看大数据hadoop入门课程大纲：

 

第一章 Apache Hadoop简介

Hadoop介绍

Hadoop发展简史

Hadoop特性优点&国内外应用

第二章 Apache Hadoop—集群搭建

集群搭建--发行版本&集群简介

集群搭建--服务器环境准备

集群搭建--JDK环境安装

集群搭建--安装包目录结构

集群搭建--配置文件修改上

集群搭建--配置文件修改下

集群搭建--配置文件注意事项

集群搭建--namenode格式化

集群搭建--启动方式

集群搭建--集群ui&初体验

第三章 Apache Hadoop—HDFS

HDFS--介绍&模拟实现思路

HDFS--设计目标

HDFS--重要特性

HDFS--shell客户端

HDFS--shell常用命令介绍

HDFS基本原理--NameNode概述

HDFS基本原理--DataNode概述

HDFS工作机制--概述

HDFS工作机制--写数据流程--上

HDFS工作机制--写数据流程--下

HDFS工作机制--读数据流程

HDFS应用开发--JAVA api环境&对象

HDFS应用开发--创建目录&客户端身份设置

HDFS应用开发--下载文件&本地hadoop环境配置

HDFS应用开发--其他api&Stream操作

案例：shell定时采集数据至hdfs--需求分析

案例：shell定时采集数据至hdfs--实现

第四章 Hadoop MapReduce

理解MapReduce思想

MapReduce计算模拟实现思路

MapReduce设计构思

MapReduce框架结构&编程规范

WordCount案例--Mapper编写：mr数据类型

WordCount案例--Mapper编写：map方法

WordCount案例--Reducer编写：类型确定&如何调用

WordCount案例--Reducer编写：reduce方法编程

WordCount案例--运行主类Job编程

程序运行模型--集群运行模式

程序运行模型--本地运行模式

MapReduce的输入和输出

第五章 MapReduce数据分区&分区规则及编程案例

理解MapReduce思想

MapReduce计算模拟实现思路

MapReduce设计构思

MapReduce框架结构&编程规范

WordCount案例--Mapper编写：mr数据类型

WordCount案例--Mapper编写：map方法

WordCount案例--Reducer编写：类型确定&如何调用

WordCount案例--Reducer编写：reduce方法编程

WordCount案例--运行主类Job编程

程序运行模型--集群运行模式

程序运行模型--本地运行模式

MapReduce的输入和输出

第六章 Apache Flume概述及案例讲解

概述&运行机制

安装部署&netcat-logger

案例--采集目录至HDFS

案例--spooldir使用注意事项

案例--采集文件至HDFS

高级功能--load balance

高级功能--failover

实战案例--采集日志汇总&拦截器使用

扩展了解--自定义拦截器思路

完成了大数据hadoop入门课程大纲的学习，大家可以在快速了解hadoop的同时，学会hadoop集群中的文件存储功能.分布式编程框架，还能了解离线大数据处理的基本流程。如果大家对课程感兴趣，还等什么，现在就来体验相关免费课程吧~