课程试听
1-1 hadoop源生集群搭建
- 1、hadoop第二天上次课程内容回顾
- 2、hadoop的介绍以及发展历史和历史介绍等
- 3、hadoop的三大发行公司以及hadoop的架构模型
- 4、standAlone的环境搭建之配置文件修改
- 5、hadoop集群的standAlone环境的启动以及管理界面查看
- 6、hadoop的完全分布式环境搭建
1-2 CDH版本集群搭建
- 7、CDH版本的hadoop的重新编译
- 8、cdh版本的zk环境搭建
- 9、cdh版本的hadoop重新编译之后伪分布式环境搭建
1-3 hdfs入门
- 10、hadoop的hdfs以及MapReduce的体验
- 11、hdfs的基本特性介绍
- 12、hdfs的基本操作命令
- 13、hdfs的高级命令使用
- 14、hdfs的基准测试
- 15、hadoop第二天今日课程总结
1-4 hdfs深入
- 1、hadoop第三天上次课程内容回顾
- 2、今日课程内容大纲以及hdfs的基本实现
- 3、hdfs的架构以及副本机制和block块存储
- 4、hdfs当中的元数据管理以及元数据的查看
- 5、hdfs当中的fsimage与edist的合并过程
- 6、hdfs文件的写入过程
- 7、hdfs的文件的读取过程
- 8、hdfs的javaAPI开发以及如何解决winutils的问题
- 9、获取分布式文件系统客户端的几种方式
- 10、hdfs的javaAPI操作
1-5 mapreduce入门
- 11、MapReduce程序的入门
- 12、mapreduce程序的完成以及打包运行
- 13、mapreduce程序的本地模式运行
- 14、hadoop第三天今日课程总结
1-6 mapreduce深入学习
- 1、hadoop第四天上次课程内容回顾
- 2、MapReduce的分区
- 3、分区案例的补充完成运行实现
- 4、MapReduce的序列化以及自定义排序
- 5、mapreduce的排序以及序列化代码完成实现
- 6、MapReduce当中的计数器
- 7、mapreduce当中的规约过程(combiner)
- 8、手机流量汇总求和
- 9、手机上行流量排序实现
- 10、手机号码进行分区
- 11、maptask的运行机制
- 12、reducetask的运行机制
- 13、mapReduce的整个运行的过程,好好反复看视频
- 14、mapreduce数据的压缩-使用snappy来进行数据的压缩
- 15、reduce端的join算法的实现
- 16、map端join算法的代码实现1
- 17、map端的join算法的实现补充2
- 18、hadoop第四天今日课程总结
1-7 mapreduce高级
- 1、hadoop第五天上次课程内容回顾
- 2、共同好友求取步骤一
- 3、求取共同好友步骤二
- 4、倒排索引的建立
- 5、通过自定义inputformat实现小文件合并成为sequenceFile格式1
- 6、自定义inputformat实现小文件的合并2
- 7、自定义outputformat实现输出到不同的文件夹下面去
- 8、自定义分区实现分组求取topN
- 9、自定义分组求取top1
- 10、思考:如何分组求取topN的值
- 11、实现分组求取topN
- 12、mapreduce相关的参数调整
1-8 yarn
- 13、yarn资源调度的介绍
- 14、yarn集群当中的三种调度器
- 15、关于yarn当中常用的参数设置
- 16、hadoop第五天今日课程总结
1-9 hive安装
- 1、hadoop第六天上次课程内容回顾
- 2、数据仓库的基本概念
- 3、hive的基本介绍
- 4、hive的基本架构以及与hadoop的关系以及RDBMS的对比等
- 5、hive的安装之(使用mysql作为元数据信息存储)
1-10 hive基本操作
- 6、hive的基本操作
- 7、创建数据库的语法
- 8、hive当中创建内部表的语法
- 9、hive当中创建外部表的语法及外部表的操作
- 10、外部分区表综合练习
- 11、hive当中的分桶表以及修改表删除表数据加载数据导出等
- 12、hive当中的hql语法
1-11 hive高级用法
- 13、hive的函数
- 14、hive的数据压缩
- 15、hive的数存储格式介绍
- 16、hive当中常用的几种数据存储格式
- 17、存储方式与压缩格式相结合
- 18、hadoop第六天今日课程总结
1-12 hive调优
- 1、hive的调优之fetch的抓取以及表的优化
- 2、hive的调优
- 3、hive的课程总结
1-13 flume
- 4、离线项目处理的整个架构图
- 5、flume的基本介绍
- 6、flume的入门测试案例
- 7、flume监控文件夹,实现数据收集到hdfs上面去
- 8、flume采集某个文件内容到hdfs上面去
- 9、flume的多个agent串联实现node02采集数据发送给node03,node03保存数据到hdfs上面去
- 10、flume的更多组件介绍
- 11、flume的failover机制实现高可用
- 12、flume的load_balance实现机制
- 13、更多flume案例一,通过拦截器实现数据类型的区分
- 14、flume的拦截器实现不同类型的数据区分
- 15、flume的案例二,通过自定义拦截器实现数据的脱敏
1-14 azkaban调度
- 16、azkaban的介绍以及azkaban的soloserver的安装使用
- 17、azkaban的两个服务模式的安装
- 1、azkaban的任务调度使用
1-15 sqoop
- 2、sqoop的基本简介自己sqoop的安装
- 3、sqoop的入门测试使用
- 4、sqoop的数据导入之导入数据到hdfs以及导入数据到hive表当中来
- 5、实现数据的控制导入
- 6、sqoop的数据增量导入以及sqoop的数据导出
- 7、通过java代码远程连接linux执行linux的shell命令
1-16 网站点击流项目(上)
- 1、网站流量分析模型
- 2、网站流量分析的常见指标
- 3、离线日志网站处理的架构流程(流程背下来)
- 4、网站的数据采集,使用flume的taildir实现多个文件的监控采集
- 5、数据的预处理之清洗一些不必要的数据
- 6、数据预处理之pageView表模型数据
- 7、数据的预处理之数据的visit表模型
- 8、hadoop第八天课程总结
1-17 网站点击流项目(下)
- 1、数据仓库建模的基本概念
- 2、明细宽表的生成
- 3、流量统计分析,分组求topN
- 4、受访分析
- 5、访客分析
- 6、访客visit分析
- 7、hive的级联求和
- 8、结果的导出以及工作流的调度工作
- 9、三大框架整合搭建
- 10、实现第一个图标的显示
- 11、实现折线图的图表展示
1-18 IMPALA
- 1、impala的基本介绍
- 2、impala的架构介绍
- 3、impala软件的下载以及linux磁盘的挂载
- 4、linux磁盘的挂载
- 5、linxu的磁盘挂载2以及压缩文件的上传并解压
- 6、yum源制作过程
- 7、impala的安装以及配置过程
- 8、impala的shell交互窗口使用
- 9、impala的外部以及内部shell参数
- 10、impala的基本查询语法
- 11、impala当中的数据加载的四种方式
- 12、通过java代码来执行impala的查询操作
1-19 HUE
- 13、hue的下载以及安装配置
- 14、hue与hdfs以及与yarn集群的整合
- 15、hue与hive的整合
- 16、hue与impala以及与mysql的整合
- 17、hadoop第十天今日课程总结
1-20 OOZIE
- 1、hadoop11天上传课程内容回顾以及今日课程内容大纲
- 2、oozie介绍以及oozie的安装1
- 3、oozie的安装步骤2
- 4、通过oozie执行shell脚本
- 5、通过oozie执行hive的任务
- 6、通过oozie执行mapreduce的任务以及oozie执行sqoop的任务的解决思路
- 7、oozie当中的job任务的串联
- 8、oozie当中的定时任务的执行
- 9、oozie与hue的整合以及整合之后执行MR的任务
- 10、伪分布式环境转换为HA集群环境
- 11、hadoop的federation联邦机制(了解一下)
- 12、cm环境搭建的基础环境准备
- 13、clouderaManager的服务搭建
- 14、clouderaManager服务的安装3
- 15、hadoop11天今日课程总结