在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Hadoop简称HDFS,它具有高容错性的特点,并且适合那些有着超大数据集的应用程序。Hadoop中的分布式计算框架,使的分布式编程更简单,能够很好的处理存储在hdfs上的海量数据。因此如果大家要入门学习大数据,Hadoop是必须掌握的内容。下面我们一起来看看大数据hadoop入门课程大纲:
第一章 Apache Hadoop简介
Hadoop介绍
Hadoop发展简史
Hadoop特性优点&国内外应用
第二章 Apache Hadoop—集群搭建
集群搭建--发行版本&集群简介
集群搭建--服务器环境准备
集群搭建--JDK环境安装
集群搭建--安装包目录结构
集群搭建--配置文件修改上
集群搭建--配置文件修改下
集群搭建--配置文件注意事项
集群搭建--namenode格式化
集群搭建--启动方式
集群搭建--集群ui&初体验
第三章 Apache Hadoop—HDFS
HDFS--介绍&模拟实现思路
HDFS--设计目标
HDFS--重要特性
HDFS--shell客户端
HDFS--shell常用命令介绍
HDFS基本原理--NameNode概述
HDFS基本原理--DataNode概述
HDFS工作机制--概述
HDFS工作机制--写数据流程--上
HDFS工作机制--写数据流程--下
HDFS工作机制--读数据流程
HDFS应用开发--JAVA api环境&对象
HDFS应用开发--创建目录&客户端身份设置
HDFS应用开发--下载文件&本地hadoop环境配置
HDFS应用开发--其他api&Stream操作
案例:shell定时采集数据至hdfs--需求分析
案例:shell定时采集数据至hdfs--实现
第四章 Hadoop MapReduce
理解MapReduce思想
MapReduce计算模拟实现思路
MapReduce设计构思
MapReduce框架结构&编程规范
WordCount案例--Mapper编写:mr数据类型
WordCount案例--Mapper编写:map方法
WordCount案例--Reducer编写:类型确定&如何调用
WordCount案例--Reducer编写:reduce方法编程
WordCount案例--运行主类Job编程
程序运行模型--集群运行模式
程序运行模型--本地运行模式
MapReduce的输入和输出
第五章 MapReduce数据分区&分区规则及编程案例
理解MapReduce思想
MapReduce计算模拟实现思路
MapReduce设计构思
MapReduce框架结构&编程规范
WordCount案例--Mapper编写:mr数据类型
WordCount案例--Mapper编写:map方法
WordCount案例--Reducer编写:类型确定&如何调用
WordCount案例--Reducer编写:reduce方法编程
WordCount案例--运行主类Job编程
程序运行模型--集群运行模式
程序运行模型--本地运行模式
MapReduce的输入和输出
第六章 Apache Flume概述及案例讲解
概述&运行机制
安装部署&netcat-logger
案例--采集目录至HDFS
案例--spooldir使用注意事项
案例--采集文件至HDFS
高级功能--load balance
高级功能--failover
实战案例--采集日志汇总&拦截器使用
扩展了解--自定义拦截器思路
完成了大数据hadoop入门课程大纲的学习,大家可以在快速了解hadoop的同时,学会hadoop集群中的文件存储功能.分布式编程框架,还能了解离线大数据处理的基本流程。如果大家对课程感兴趣,还等什么,现在就来体验相关免费课程吧~
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
零基础大数据培训课程怎么样?学什么?
零基础大数据培训课程怎么样?学什么?博学谷大数据培训零基础课程学Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统、大数据Flink实时计算系统、机器学习。
5948
2019-08-22 19:29:46
Hadoop的联邦机制 大数据学习总结
Hadoop的NN所使用的资源受所在服务的物理限制,不能满足实际生产需求。本文来谈谈大数据学习之Hadoop的联邦机制,主要内容包括:Hadoop的局限与不足、联邦的实现、主要优点、配置和操作。
6783
2019-08-27 20:31:19
2020年云计算大数据课程学习大纲
本文将为大家分享2020年云计算大数据课程的一份学习大纲,本课程从大数据基础增强开始, 内容精准聚焦大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等重要内容,涵盖了大数据体系中几乎所有的核心技术。如果大家对云计算大数据感兴趣的话,不妨来看看,对自己的学习规划也是有一定帮助的。
5857
2020-04-28 17:34:28
数据分析师获取数据的方式有哪些?
数据分析师工作的第一步就是获取数据,也就是数据采集。获取数据的方式有很多,本文将着重介绍一下数据分析中的数据来源。一般来讲,数据来源主要分为两大类,企业外部来源和内部来源。其中外部来源包括外部购买、网络爬取、免费开源数据等,内部数据来源包括销售数据、考勤数据、财务数据等。
7075
2020-08-07 18:19:53
狂野大数据课程好学吗?难不难?
这门课程对标企业5年真实⼤数据从业⼈员的技能⽔平,因此学习这门课程需要有一定的基础,假设课程内容100%吸收⾜以对标甚⾄秒杀企业中5年⼤数据经验的开发⼈员。学成后知识储备完全胜任⾼级⼤数据开发职称。
2985
2022-09-29 16:42:05