课程试听
第一章 就业课（2.1）-HDFS组件
1-1 hadoop概述_架构_安装
- 1-hadoop的介绍
- 2-hadoop的版本和发行版公司介绍
- 3-hadoop的架构-1.x架构
- 4-hadoop的架构-2.x架构
- 5-hadoop重新编译-准备工作1
- 6-hadoop重新编译-准备工作2和完成编译
- 7-hadoop安装-上传安装包
- 8-hadoop安装-修改配置文件-上
- 9-hadoop安装-修改配置文件-下
- 10-hadoop安装-配置hadoop环境变量
- 11-hadoop安装-启动集群
1-2 Hadoop 核心-HDFS
- 1-hdfs的概述
- 2-hdfs的应用场景
- 3-hdfs的架构
- 4-hdfs的namenode和datanode
- 5-hdfs的副本机制和机架感知
- 6-hdfs的命令行操作1
- 6-hdfs的命令行操作2
- 8-hdfs的命令行操作3
- 9-hdfs的高级命令-文件限额配置-文件数量限额
- 10-hdfs的高级命令-文件限额配置-文件大小限额
- 11-hdfs的高级命令-安全模式
- 12-hdfs的高级命令-基准测试
- 13-hdfs的文件写入过程
- 14-hdfs的文件读取过程
- 15-hdfs的元数据管理-fsimage文件和edits文件
- 16-hdfs的元数据管理-SecondaryNameNode
- 1-HDFS的API操作-准备工作-配置windows的hadoop环境
- 2-HDFS的API操作-准备工作-导入maven坐标
- 3-HDFS的API操作-url访问方式
- 4-HDFS的API操作-获取FileSystem-第一种方式
- 5-HDFS的API操作-获取FileSystem-其他方式
- 6-HDFS的API操作-遍历所有文件
- 7-HDFS的API操作-创建文件夹
- 8-HDFS的API操作-文件的下载和上传
- 9-HDFS的API操作-hdfs的权限访问控制
- 10-HDFS的API操作-小文件的合并
- 11-HDFS的高可用机制-概述和组件
- 12-HDFS的高可用机制-工作原理
- 13-HDFS的联邦机制
第二章 就业课（2.1）-MapReduce组件
2-1 MapReduce 概述_架构_编写流程
- 14-MapReduce-概述
- 15-MapReduce-设计构思
- 16-MapReduce-编程流程
- 17-MapReduce-编程流程-详解1
- 18-MapReduce-编程流程-详解2
- 1-MapReduce案例-WordCount-步骤分析
- 2-MapReduce案例-WordCount-准备工作
- 3-MapReduce案例-WordCount-Map代码编写
- 4-MapReduce案例-WordCount-Reduce代码编写
- 5-MapReduce案例-WordCount-主类代码编写
- 6-MapReduce案例-WordCount-代码测试运行
- 7-MapReduce案例-WordCount-问题补充
- 8-MapReduce分区-概念和原理
- 9-MapReduce分区-代码编写步骤
- 10-MapReduce分区-代码实现1
- 11-MapReduce分区-代码实现2
- 12-MapReduce分区-代码运行
- 13-MapReduce计数器
2-2 MapReduce-排序和序列化
- 1-MapReduce-排序和序列化-概述
- 2-MapReduce-排序和序列化-编程流程
- 3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现
- 4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码
- 5-MapReduce-排序和序列化-代码编写-主类代码实现
- 6-MapReduce-排序和序列化-测试运行
- 7-MapReduce-规约(Combiner)概述
- 8-MapReduce-规约(Combiner)-代码实现
2-3 mapreduce统计求和案例
- 9-MapReduce综合案例-统计求和-需求和步骤分析
- 10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写
- 11-MapReduce综合案例-统计求和-其他代码和测试运行
- 12-MapReduce综合案例-流量排序-FlowBean编写
- 13-MapReduce综合案例-流量排序-Mapper编写
- 14-MapReduce综合案例-流量排序-其他代码编写和运行
- 15-MapReduce综合案例-手机号码分区-代码编写和运行
2-4 mapreduce运行机制
- 1-MapReduce运行机制-MapTask的工作机制
- 2-MapReduce运行机制-MapTask的工作机制-细节补充
- 3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段
2-5 mapreduce 实现Reduce以及map端 join
- 4-MapReduce案例-Reduce端join操作-分析
- 5-MapReduce案例-Reduce端join操作-Mapper代码编写
- 6-MapReduce案例-Reduce端join操作-Reducer代码编写
- 7-MapReduce案例-Reduce端join操作-主类代码编写
- 8-MapReduce案例-Reduce端join操作-测试运行
- 9-MapReduce案例-Reduce端join操作-问题分析
- 10-MapReduce案例-Map端join操作-概述和步骤分析
- 11-MapReduce案例-Map端join操作-主类代码编写
- 12-MapReduce案例-Map端join操作-setup方法编写
- 13-MapReduce案例-Map端join操作-map方法编写
- 14-MapReduce案例-Map端join操作-测试运行
2-6 mapreduce 求共同好友案例
- 15-MapReduce案例-求共同好友-需求分析
- 16-MapReduce案例-求共同好友-MapReduce编程步骤
- 17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写
- 18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行
- 19-MapReduce案例-求共同好友-阶段2-Mapper代码编写
- 20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行
2-7 自定义输入和输出组件实现
- 1-自定义InputFormat实现小文件合并-需求分析
- 2-自定义InputFormat实现小文件合并-自定义inputformat步骤
- 3-自定义InputFormat实现小文件合并-代码实现-准备工作
- 4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写
- 5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写
- 6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行
- 7-自定义OutputFormat-步骤分析
- 8-自定义OutputFormat-源码分析
- 9-自定义OutputFormat-代码编写-上
- 10-自定义OutputFormat-代码编写-下
2-8 topn案例
- 11-自定义分组-求TopN-步骤分析
- 12-自定义分组-求TopN-代码编写-OrderBean
- 13-自定义分组-求TopN-代码编写-Mapper代码
- 14-自定义分组-求TopN-代码编写-自定义分区代码
- 15-自定义分组-求TopN-代码编写-自定义分组代码
- 16-自定义分组-求TopN-代码编写-Reducer代码
- 17-自定义分组-求TopN-代码编写-主类代码和测试运行
第三章 就业课（2.1）-Yarn组件
3-1 yarn资源调度
- 18-yarn资源调度-yarn介绍
- 19-yarn资源调度-主要组件及作用
- 20-yarn资源调度-架构和工作流程
- 21-yarn资源调度-调度器
- 22-yarn资源调度-常用参数设置