第一章 就业课(2.1)-HDFS组件
1-1 hadoop概述_架构_安装
  • 1-hadoop的介绍
  • 2-hadoop的版本和发行版公司介绍
  • 3-hadoop的架构-1.x架构
  • 4-hadoop的架构-2.x架构
  • 5-hadoop重新编译-准备工作1
  • 6-hadoop重新编译-准备工作2和完成编译
  • 7-hadoop安装-上传安装包
  • 8-hadoop安装-修改配置文件-上
  • 9-hadoop安装-修改配置文件-下
  • 10-hadoop安装-配置hadoop环境变量
  • 11-hadoop安装-启动集群
1-2 Hadoop 核心-HDFS
  • 1-hdfs的概述
  • 2-hdfs的应用场景
  • 3-hdfs的架构
  • 4-hdfs的namenode和datanode
  • 5-hdfs的副本机制和机架感知
  • 6-hdfs的命令行操作1
  • 6-hdfs的命令行操作2
  • 8-hdfs的命令行操作3
  • 9-hdfs的高级命令-文件限额配置-文件数量限额
  • 10-hdfs的高级命令-文件限额配置-文件大小限额
  • 11-hdfs的高级命令-安全模式
  • 12-hdfs的高级命令-基准测试
  • 13-hdfs的文件写入过程
  • 14-hdfs的文件读取过程
  • 15-hdfs的元数据管理-fsimage文件和edits文件
  • 16-hdfs的元数据管理-SecondaryNameNode
  • 1-HDFS的API操作-准备工作-配置windows的hadoop环境
  • 2-HDFS的API操作-准备工作-导入maven坐标
  • 3-HDFS的API操作-url访问方式
  • 4-HDFS的API操作-获取FileSystem-第一种方式
  • 5-HDFS的API操作-获取FileSystem-其他方式
  • 6-HDFS的API操作-遍历所有文件
  • 7-HDFS的API操作-创建文件夹
  • 8-HDFS的API操作-文件的下载和上传
  • 9-HDFS的API操作-hdfs的权限访问控制
  • 10-HDFS的API操作-小文件的合并
  • 11-HDFS的高可用机制-概述和组件
  • 12-HDFS的高可用机制-工作原理
  • 13-HDFS的联邦机制
第二章 就业课(2.1)-MapReduce组件
2-1 MapReduce 概述_架构_编写流程
  • 14-MapReduce-概述
  • 15-MapReduce-设计构思
  • 16-MapReduce-编程流程
  • 17-MapReduce-编程流程-详解1
  • 18-MapReduce-编程流程-详解2
  • 1-MapReduce案例-WordCount-步骤分析
  • 2-MapReduce案例-WordCount-准备工作
  • 3-MapReduce案例-WordCount-Map代码编写
  • 4-MapReduce案例-WordCount-Reduce代码编写
  • 5-MapReduce案例-WordCount-主类代码编写
  • 6-MapReduce案例-WordCount-代码测试运行
  • 7-MapReduce案例-WordCount-问题补充
  • 8-MapReduce分区-概念和原理
  • 9-MapReduce分区-代码编写步骤
  • 10-MapReduce分区-代码实现1
  • 11-MapReduce分区-代码实现2
  • 12-MapReduce分区-代码运行
  • 13-MapReduce计数器
2-2 MapReduce-排序和序列化
  • 1-MapReduce-排序和序列化-概述
  • 2-MapReduce-排序和序列化-编程流程
  • 3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现
  • 4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码
  • 5-MapReduce-排序和序列化-代码编写-主类代码实现
  • 6-MapReduce-排序和序列化-测试运行
  • 7-MapReduce-规约(Combiner)概述
  • 8-MapReduce-规约(Combiner)-代码实现
2-3 mapreduce统计求和案例
  • 9-MapReduce综合案例-统计求和-需求和步骤分析
  • 10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写
  • 11-MapReduce综合案例-统计求和-其他代码和测试运行
  • 12-MapReduce综合案例-流量排序-FlowBean编写
  • 13-MapReduce综合案例-流量排序-Mapper编写
  • 14-MapReduce综合案例-流量排序-其他代码编写和运行
  • 15-MapReduce综合案例-手机号码分区-代码编写和运行
2-4 mapreduce运行机制
  • 1-MapReduce运行机制-MapTask的工作机制
  • 2-MapReduce运行机制-MapTask的工作机制-细节补充
  • 3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段
2-5 mapreduce 实现Reduce以及map端 join
  • 4-MapReduce案例-Reduce端join操作-分析
  • 5-MapReduce案例-Reduce端join操作-Mapper代码编写
  • 6-MapReduce案例-Reduce端join操作-Reducer代码编写
  • 7-MapReduce案例-Reduce端join操作-主类代码编写
  • 8-MapReduce案例-Reduce端join操作-测试运行
  • 9-MapReduce案例-Reduce端join操作-问题分析
  • 10-MapReduce案例-Map端join操作-概述和步骤分析
  • 11-MapReduce案例-Map端join操作-主类代码编写
  • 12-MapReduce案例-Map端join操作-setup方法编写
  • 13-MapReduce案例-Map端join操作-map方法编写
  • 14-MapReduce案例-Map端join操作-测试运行
2-6 mapreduce 求共同好友案例
  • 15-MapReduce案例-求共同好友-需求分析
  • 16-MapReduce案例-求共同好友-MapReduce编程步骤
  • 17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写
  • 18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行
  • 19-MapReduce案例-求共同好友-阶段2-Mapper代码编写
  • 20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行
2-7 自定义输入和输出组件实现
  • 1-自定义InputFormat实现小文件合并-需求分析
  • 2-自定义InputFormat实现小文件合并-自定义inputformat步骤
  • 3-自定义InputFormat实现小文件合并-代码实现-准备工作
  • 4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写
  • 5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写
  • 6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行
  • 7-自定义OutputFormat-步骤分析
  • 8-自定义OutputFormat-源码分析
  • 9-自定义OutputFormat-代码编写-上
  • 10-自定义OutputFormat-代码编写-下
2-8 topn案例
  • 11-自定义分组-求TopN-步骤分析
  • 12-自定义分组-求TopN-代码编写-OrderBean
  • 13-自定义分组-求TopN-代码编写-Mapper代码
  • 14-自定义分组-求TopN-代码编写-自定义分区代码
  • 15-自定义分组-求TopN-代码编写-自定义分组代码
  • 16-自定义分组-求TopN-代码编写-Reducer代码
  • 17-自定义分组-求TopN-代码编写-主类代码和测试运行
第三章 就业课(2.1)-Yarn组件
3-1 yarn资源调度
  • 18-yarn资源调度-yarn介绍
  • 19-yarn资源调度-主要组件及作用
  • 20-yarn资源调度-架构和工作流程
  • 21-yarn资源调度-调度器
  • 22-yarn资源调度-常用参数设置