云计算大数据在线就业班2.0章节-大数据就业班-博学谷

阶段一大数据基础增强

展开

第一章大数据基础增强阶段-导学

1-1 大数据基础增强阶段-导学

大数据基础增强阶段-导学

第二章就业课（2.1）-Linux实战

2-1 linux_概述_安装_常用命令

01_操作系统概述免费试学
02_虚拟机概述免费试学
03_配置虚拟机的网卡信息免费试学
04_安装虚拟机免费试学
05_设置网卡信息免费试学
06_centos的文件和目录免费试学
07_远程连接工具免费试学
08_快照免费试学
09_学习终端命令的原因免费试学
10_命令格式_自动补全免费试学
11_查阅命令帮助信息免费试学
12_文件和目录的目标免费试学
13_ls命令说明免费试学
14_ls通配符的使用免费试学
15_切换目录免费试学
16_相对路径免费试学
17_绝对路径免费试学
18_创建文件_touch 免费试学
19_创建目录免费试学
20_删除文件和目录免费试学
21_tree命令免费试学
22_cp命令_复制免费试学
23_mv指令_移动_重命名免费试学
24_cat命令_显示小文件内容免费试学
25_less命令_查看大文件内容免费试学
26_head_tail命令_展示文档内容免费试学
27_grep_搜索文件中存在关键字的行免费试学
28_管道免费试学
29_重定向免费试学
30_双与和双或的效果免费试学
31_软链接免费试学

2-2 linux_打包压缩_vim编辑器_系统管理_用户权限

01_find命令免费试学
02_打包和解包免费试学
03_使用gzip进行压缩和解压缩_重点免费试学
04_使用bzip2进行压缩和解压缩免费试学
05_vim编辑器简介免费试学
06_vi编辑器的快速入门免费试学
07_vi编辑器的三种工作模式免费试学
08_末行模式的常用命令免费试学
09_移动光标1 免费试学
10_移动光标2_段落移动_括号切换_标记免费试学
11_可视模式_撤销_删除文本免费试学
12_复制和剪切免费试学
13_替换_缩排_重复执行免费试学
14_查找_查找并替换免费试学
15_插入命令免费试学
16_vi编辑器_练习1_练习2 免费试学
17_vi_编辑器_案例3 免费试学
18_用户_组_权限的基本概念免费试学
19_组用户管理免费试学
20_用户的增删改免费试学
21_查看用户信息免费试学
22_su_切换用户免费试学
23_sudo_临时让普通用户具有管理员免费试学
24_修改用户权限_方式1 免费试学
25_修改用户权限_方式2_方式3 免费试学
26_日期和日历命令免费试学
27_查看磁盘信息免费试学
28_进程相关内容免费试学

2-3 linux_管道_shell编程

01_学习目标
02_cut_截取文件内容
03_sort_排序
04_通过wc统计行数和字节数
05_uniq和tee命令
06_tr命令
07_split_将大文件切分成若干小文件
08_awk命令1
09_awk命令2
10_sed的查询功能
11_sed的删除功能
12_sed的修改功能
13_sed的替换功能
14_sed修改文件的原有内容
15_sed_综合练习
16_shell编程简介
17_shell编程的快速入门
18_变量
19_字符串
20_获取参数
21_算符运算符
22_if判断
23_for循环
24_while循环
25_case_分支结构
26_break_continue
27_函数
28_数组
29_加载其他文件的变量

第三章就业课(2.0)-JVM优化(上)

3-1 JVM优化1

01.今日内容_D01
02.我们为什么要对jvm做优化？
03.JVM运行参数之-参数类型以及标准参数
03.JVM运行参数之-参数类型以及标准参数
04.JVM运行参数之-server与-client
05.JVM运行参数之-Xint、-Xcomp、-Xmined
06.JVM运行参数之-XX参数
07.JVM运行参数之-Xms与-Xmx参数
08.JVM运行参数之查看jvm运行参数
09.JVM内存模型之jdk1.7与jdk1.8内存模型（很重要）
10.JVM内存模型之jstat命令的使用
11.jmap命令的使用
12.使用jhat对dump文件进行分析
13.通过MAT工具对dump文件进行分析
14.实战：内存溢出的定位与分析
15.jstack命令的使用
16.实战：死锁问题
17.VisualVM工具的使用（监控本地进程）
18.VisualVM工具的使用（监控远程进程）

第四章就业课(2.0)-JVM优化(中)

4-1 JVM优化2

01.今日内容_D02
02.什么垃圾回收？
03.垃圾回收算法之-引用计数法
04.垃圾回收算法之-标记清除法
05.标记清除算法中的应用程序暂停的问题说明
06.垃圾回收算法之-标记压缩算法
07.垃圾回收算法之-复制算法
08.垃圾回收算法之-分代算法
09.垃圾收集器之串行垃圾收集器
10.垃圾收集器之并行垃圾收集器
11.垃圾收集器之CMS垃圾收集器
12.垃圾收集器之G1垃圾收集器的原理
13.垃圾收集器之G1垃圾收集器中的YoungGC
14.垃圾收集器之G1垃圾收集器中的MixedGC
15.垃圾收集器之G1垃圾收集器中的参数以及测试
16.垃圾收集器之G1垃圾收集器的优化建议
17.可视化GC日志分析工具

第五章就业课(2.0)-JVM优化(下)

5-1 JVM优化3

01.今日内容_D03
02.Tomcat8优化之部署安装
03.Tomcat8优化之禁用AJP服务
04.Tomcat8优化之配置执行器（线程池）
05.Tomcat8优化之3种运行模式（启用nio2模式）
06.Tomcat8优化之部署web项目
07.Tomcat8优化之Apache JMeter的使用（对首页进行压力测试）
08.Tomcat8优化之禁用AJP服务的压力测试
09.Tomcat8优化之设置线程池进行压力测试
10.Tomcat8优化之设置nio2运行模式进行测试
11.Tomcat8优化之设置设置并行垃圾收集器进行测试
12.Tomcat8优化之通过GC报表进行分析
13.Tomcat8优化之设置G1垃圾收集器进行测试
14.Tomcat8优化之G1牢记收集器的测试结果以及小结
15.JVM字节码之javap的使用
16.JVM字节码之常量池、字段描述符、方法描述符
17.JVM字节码之解读方法字节码
18.JVM字节码之解读方法字节码（图解）
19.JVM字节码之研究 i++ 与 ++i 的不同
20.JVM字节码之探究字符串的拼接
21.代码优化建议

阶段二大数据 Hadoop 离线分布式系统

展开

第一章大数据 Hadoop 离线分布式系统-导学

1-1 大数据 Hadoop 离线分布式系统-导学

大数据 Hadoop 离线分布式系统-导学

第二章就业课（2.1）-大数据基础和硬件介绍

2-1 大数据预备知识

1-大数据导论免费试学
2-服务器介绍免费试学
3-存储磁盘基本介绍免费试学
4-交换机和网卡的介绍免费试学
5-局域网、机架和IDC 免费试学
6-磁盘阵列RAID 免费试学

2-2 集群Linux环境搭建和Shell脚本

7-集群Linux环境搭建-注意事项
8-集群Linux环境搭建-复制虚拟机
9-集群Linux环境搭建-配置Mac地址
10-集群Linux环境搭建-配置ip地址
11-集群Linux环境搭建-配置主机名和域名映射
12-集群Linux环境搭建-关闭防火墙和SELinux
13-集群Linux环境搭建-ssh免密登录
14-集群Linux环境搭建-时钟同步
15-集群Linux环境搭建-辅助软件-jdk安装
16-集群Linux环境搭建-辅助软件-mysql安装
17-shell脚本基础增强1
18-shell脚本基础增强2

第三章就业课（2.1）-Zookeeper组件

3-1 Zookeeper

1-zookeeper-概述免费试学
2-zookeeper-特点免费试学
3-zookeeper-架构免费试学
4-zookeeper-应用场景1 免费试学
5-zookeeper-应用场景2 免费试学
6-zookeeper-选举机制免费试学
7-zookeeper-环境搭建免费试学
8-Zookeeper的数据模型免费试学
9-Zookeeper的节点特性免费试学
10-Zookeeper的命令操作免费试学
11-Zookeeper的节点属性免费试学
12-Zookeeper的watch机制免费试学
13-Zookeeper的JavaAPI操作-创建工程和导入jar包免费试学
14-Zookeeper的JavaAPI操作-创建永久性节点免费试学
15-Zookeeper的JavaAPI操作-节点其他操作，免费试学
16-Zookeeper的JavaAPI操作-watch机制免费试学

第四章就业课（2.1）-HDFS组件

4-1 hadoop概述_架构_安装

1-hadoop的介绍
2-hadoop的版本和发行版公司介绍
3-hadoop的架构-1.x架构
4-hadoop的架构-2.x架构
5-hadoop重新编译-准备工作1
6-hadoop重新编译-准备工作2和完成编译
7-hadoop安装-上传安装包
8-hadoop安装-修改配置文件-上
9-hadoop安装-修改配置文件-下
10-hadoop安装-配置hadoop环境变量
11-hadoop安装-启动集群

4-2 Hadoop 核心-HDFS

1-hdfs的概述
2-hdfs的应用场景
3-hdfs的架构
4-hdfs的namenode和datanode
5-hdfs的副本机制和机架感知
6-hdfs的命令行操作1
6-hdfs的命令行操作2
8-hdfs的命令行操作3
9-hdfs的高级命令-文件限额配置-文件数量限额
10-hdfs的高级命令-文件限额配置-文件大小限额
11-hdfs的高级命令-安全模式
12-hdfs的高级命令-基准测试
13-hdfs的文件写入过程
14-hdfs的文件读取过程
15-hdfs的元数据管理-fsimage文件和edits文件
16-hdfs的元数据管理-SecondaryNameNode
1-HDFS的API操作-准备工作-配置windows的hadoop环境
2-HDFS的API操作-准备工作-导入maven坐标
3-HDFS的API操作-url访问方式
4-HDFS的API操作-获取FileSystem-第一种方式
5-HDFS的API操作-获取FileSystem-其他方式
6-HDFS的API操作-遍历所有文件
7-HDFS的API操作-创建文件夹
8-HDFS的API操作-文件的下载和上传
9-HDFS的API操作-hdfs的权限访问控制
10-HDFS的API操作-小文件的合并
11-HDFS的高可用机制-概述和组件
12-HDFS的高可用机制-工作原理
13-HDFS的联邦机制

第五章就业课（2.1）-MapReduce组件

5-1 MapReduce 概述_架构_编写流程

14-MapReduce-概述免费试学
15-MapReduce-设计构思免费试学
16-MapReduce-编程流程免费试学
17-MapReduce-编程流程-详解1 免费试学
18-MapReduce-编程流程-详解2 免费试学
1-MapReduce案例-WordCount-步骤分析免费试学
2-MapReduce案例-WordCount-准备工作免费试学
3-MapReduce案例-WordCount-Map代码编写免费试学
4-MapReduce案例-WordCount-Reduce代码编写免费试学
5-MapReduce案例-WordCount-主类代码编写免费试学
6-MapReduce案例-WordCount-代码测试运行免费试学
7-MapReduce案例-WordCount-问题补充免费试学
8-MapReduce分区-概念和原理免费试学
9-MapReduce分区-代码编写步骤免费试学
10-MapReduce分区-代码实现1 免费试学
11-MapReduce分区-代码实现2 免费试学
12-MapReduce分区-代码运行免费试学
13-MapReduce计数器免费试学

5-2 MapReduce-排序和序列化

1-MapReduce-排序和序列化-概述
2-MapReduce-排序和序列化-编程流程
3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现
4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码
5-MapReduce-排序和序列化-代码编写-主类代码实现
6-MapReduce-排序和序列化-测试运行
7-MapReduce-规约(Combiner)概述
8-MapReduce-规约(Combiner)-代码实现

5-3 mapreduce统计求和案例

9-MapReduce综合案例-统计求和-需求和步骤分析
10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写
11-MapReduce综合案例-统计求和-其他代码和测试运行
12-MapReduce综合案例-流量排序-FlowBean编写
13-MapReduce综合案例-流量排序-Mapper编写
14-MapReduce综合案例-流量排序-其他代码编写和运行
15-MapReduce综合案例-手机号码分区-代码编写和运行

5-4 mapreduce运行机制

1-MapReduce运行机制-MapTask的工作机制
2-MapReduce运行机制-MapTask的工作机制-细节补充
3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段

5-5 mapreduce 实现Reduce以及map端 join

4-MapReduce案例-Reduce端join操作-分析
5-MapReduce案例-Reduce端join操作-Mapper代码编写
6-MapReduce案例-Reduce端join操作-Reducer代码编写
7-MapReduce案例-Reduce端join操作-主类代码编写
8-MapReduce案例-Reduce端join操作-测试运行
9-MapReduce案例-Reduce端join操作-问题分析
10-MapReduce案例-Map端join操作-概述和步骤分析
11-MapReduce案例-Map端join操作-主类代码编写
12-MapReduce案例-Map端join操作-setup方法编写
13-MapReduce案例-Map端join操作-map方法编写
14-MapReduce案例-Map端join操作-测试运行

5-6 mapreduce 求共同好友案例

15-MapReduce案例-求共同好友-需求分析
16-MapReduce案例-求共同好友-MapReduce编程步骤
17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写
18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行
19-MapReduce案例-求共同好友-阶段2-Mapper代码编写
20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行

5-7 自定义输入和输出组件实现

1-自定义InputFormat实现小文件合并-需求分析
2-自定义InputFormat实现小文件合并-自定义inputformat步骤
3-自定义InputFormat实现小文件合并-代码实现-准备工作
4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写
5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写
6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行
7-自定义OutputFormat-步骤分析
8-自定义OutputFormat-源码分析
9-自定义OutputFormat-代码编写-上
10-自定义OutputFormat-代码编写-下

5-8 topn案例

11-自定义分组-求TopN-步骤分析
12-自定义分组-求TopN-代码编写-OrderBean
13-自定义分组-求TopN-代码编写-Mapper代码
14-自定义分组-求TopN-代码编写-自定义分区代码
15-自定义分组-求TopN-代码编写-自定义分组代码
16-自定义分组-求TopN-代码编写-Reducer代码
17-自定义分组-求TopN-代码编写-主类代码和测试运行

第六章就业课（2.1）-Yarn组件

6-1 yarn资源调度

18-yarn资源调度-yarn介绍
19-yarn资源调度-主要组件及作用
20-yarn资源调度-架构和工作流程
21-yarn资源调度-调度器
22-yarn资源调度-常用参数设置

第七章就业课（2.1）-Hive组件

7-1 hive 数据仓库

1-数据仓库-基本概念和主要特征
2-数据仓库-与数据库区别
3-数据仓库-分层架构和元数据管理
4-hive-基本简介
5-hive-分层架构
6-hive-与hadoop关系以及与数据库的对比
7-hive-安装
8-hive-交互方式
9-hive基本操作-数据库操作-上
10-hive基本操作-数据库操作-下
11-hive基本操作-数据库表操作-语法格式
12-hive基本操作-数据库表操作-建表入门
13-hive基本操作-数据库表操作-内部表基本操作
14-hive基本操作-数据库表操作-外部表基本操作-上
15-hive基本操作-数据库表操作-外部表基本操作-下
16-hive基本操作-分区表操作-概述
17-hive基本操作-分区表操作-创建表和加载表数据
18-hive基本操作-分区表操作-分区表练习

7-2 hive查询以及调优

1-hive表基本操作-分桶表操作
2-hive表基本操作-修改表结构
3-Hive表查询语法-语法分析
4-Hive表查询语法-基本查询语句1
5-Hive表查询语法-基本查询语句2
6-Hive表查询语法-分组和having语句
7-Hive表查询语法-join操作
8-Hive表查询语法-排序-上
9-Hive表查询语法-排序-sort by
10-Hive表查询语法-排序-distribute by和cluster by
11-Hive参数设置
12-Hive函数-内置函数
13-Hive函数-自定义函数
14-Hive的压缩方式
15-Hive的数据存储格式
16-Hive的数据存储格式和数据压缩结合
17-Hive的调优-Fetch抓取和本地模式
18-Hive的调优-MapJoin和GroupBy
19-Hive的调优-动态分区介绍
20-Hive的调优-动态分区案例实现
21-Hive的调优-其他

第八章就业课（2.1）-Impala组件

8-1 Impala

01--Apache Impala--概述介绍&和hive关系、异同
02--Apache Impala--架构组件&查询处理流程
03--Apache Impala--架构组件&查询处理流程--笔记总结
04--Apache Impala--安装部署--rpm包本地yum源制作
05--Apache Impala--安装部署--虚拟机新增磁盘操作（可选步骤）
06--Apache Impala--安装部署--hadoop、hive配置修改&impala配置
07--Apache Impala--安装部署--impala服务启动、关闭
08--Apache Impala--shell命令行--内外部参数
09--Apache Impala--sql语法--数据库特定语句
10--Apache Impala--sql语法--表特定语句--create、insert、desc
11--Apache Impala--sql语法--表特定语句--alter、drop、view
12--Apache Impala--sql语法--表特定语句--分组、排序、过滤
13--Apache Impala--sql语法--表数据导入方式
14--Apache Impala--jdbc 操作impala

第九章就业课（2.1）-辅助系统工具

9-1 Sqoop

01--Apache Sqoop--软件介绍
02--Apache Sqoop--安装部署
03--Apache Sqoop--导入import--全量数据导入hdfs
04--Apache Sqoop--导入import--全量数据导入hdfs--并行度设置&注意事项
05--Apache Sqoop--导入import--全量数据导入hive
06--Apache Sqoop--导入import--表子集数据导入
07--Apache Sqoop--导入import--增量导入--append模式
08--Apache Sqoop--导入import--增量导入--lastmodified模式（附加数据）
09--Apache Sqoop--导入import--增量导入--lastmodified模式（mergekey合并数据）
10--Apache Sqoop--导出export--默认模式导出（insert）
11--Apache Sqoop--导出export--默认模式导出（insert）--配置参数
12--Apache Sqoop--导出export--更新模式导出（insert）--updateonly
13--Apache Sqoop--导出export--更新模式导出（insert）--allowinsert
14--Apache Sqoop--job作业的使用--创建、查看、执行、删除
15--Apache Sqoop--job作业的使用--免密执行

9-2 Flume

01--Apache Flume--软件概述
02--Apache Flume--运行机制&运行结构图
03--Apache Flume--安装部署&简单入门
04--Apache Flume--案例--监控采集文件夹变化（sqoopdir、HDFS）
05--Apache Flume--案例--监控采集文件夹变化--执行演示&注意事项
06--Apache Flume--案例--监控文件变化（exec source)
07--Apache Flume--高阶--负载均衡功能
08--Apache Flume--高阶--容错（故障转移）功能
09--Apache Flume--静态拦截器--案例业务需求描述
10--Apache Flume--静态拦截器--功能实现
11--Apache Flume--自定义拦截器--需求描述
12--Apache Flume--自定义拦截器--代码逻辑梳理
13--Apache Flume--自定义拦截器--功能实现
14--Apache Flume--自定义source（扩展）--需求、代码逻辑梳理
15--Apache Flume--自定义source（扩展）--功能测试实现
16--Apache Flume--自定义sink（扩展）--数据写入本地

9-3 azkaban

01--工作流调度--概念、产生背景
02--azkaban--介绍、架构、部署模式
03--azkaban--安装部署--源码编译
04--azkaban--安装部署--solo server模式安装--azkaban使用初体验
05--azkaban--安装部署--two server模式安装--服务器配置上
06--azkaban--安装部署--two server模式安装--服务器配置下
07--azkaban--安装部署--multiple-executor模式&executor激活问题
08--azkaban--使用实战--shell、command调度
09--azkaban--使用实战--多job依赖调度
10--azkaban--使用实战--hadoop调度(hdfs、mapreduce)
11--azkaban--使用实战--hive调度
12--azkaban--使用实战--定时任务调度

9-4 Oozie

01--Apache Oozie--概述&架构介绍
02--Apache Oozie--节点类型（control flow、action）&工作流类型（coordinator、bundle）
03--Apache Oozie--安装部署--修改hadoop&解压拷贝依赖包
04--Apache Oozie--安装部署--配置文件修改&数据库、war包初始化
05--Apache Oozie--安装部署--服务启动&web UI
06--Apache Oozie--实战操作--修改hadoop资源分配属性
07--Apache Oozie--实战操作--调度shell脚本
08--Apache Oozie--实战操作--调度hive脚本
09--Apache Oozie--实战操作--调度mapreduce程序
10--Apache Oozie--实战操作--串联任务调度（依赖关系）
11--Apache Oozie--实战操作--定时调度任务
12--Apache Oozie--实战操作--集成hue&调度shell程序
13--Apache Oozie--实战操作--集成hue&调度hive脚本
14--Apache Oozie--实战操作--集成hue&调度mapreduce程序
15--Apache Oozie--实战操作--集成hue&定时调度配置

9-5 Hue

01--Apache Hue--介绍、功能、架构
02--Apache Hue--编译、安装部署
03--Apache Hue--集成hadoop服务（HDFS、YARN）
04--Apache Hue--集成hadoop服务--页面操作使用
05--Apache Hue--集成hive服务
06--Apache Hue--集成mysql服务
07--Apache Hue--集成oozie服务&调度shell程序
08--Apache Hue--集成oozie服务&调度hive脚本
09--Apache Hue--集成oozie服务&调度mapreduce程序
10--Apache Hue--集成oozie服务&定时调度配置
11--Apache Hue--集成oozie服务&集成hbase服务
12--Apache Hue--集成oozie服务&集成impala服务

第十章就业课（2.1）-网站流量日志分析

10-1 网站流量日志分析_架构_埋点采集

01--网站流量日志分析背景介绍--网站分析的意义
02--网站流量日志分析背景介绍--如何进行网站分析--流量分析（质量、多维细分）
03--网站流量日志分析背景介绍--如何进行网站分析--内容导航分析
04--网站流量日志分析背景介绍--如何进行网站分析--转化分析（漏斗模型）
05--整体技术流程-数据采集和数据预处理
06--整体技术流程-数据入库（ETL）
07--整体技术流程-数据分析和数据可视化
08--整体技术流程-系统架构图
09--网站流量日志分析--数据采集--使用web服务器自带日志记录采集
10--网站流量日志分析--数据采集--页面埋点JavaScript收集数据
11--网站流量日志埋点收集--原理实现雏形--如何解决js和html页面耦合问题
12--网站流量日志埋点收集--原理实现雏形--如何解决js跨域问题（伪装图片）
13--网站流量日志埋点收集--原理实现分析
14--网站流量日志埋点收集--确定收集信息和途径
15--网站流量日志埋点收集--埋点代码编写--src属性直接引入
16--网站流量日志埋点收集--埋点代码编写--匿名函数自调用创建标签引入
17--网站流量日志埋点收集--前端收集数据脚本
18--网站流量日志埋点收集--后端脚本（nginx+lua）
19--网站流量日志埋点收集--日志格式、日志切分

10-2 网站流量日志分析-数据预处理

01--网站流量日志埋点收集--系统部署架构图和采集流程梳理
02--网站流量日志埋点收集--系统部署环境搭建
03--网站流量日志埋点收集--方案一--基本功能数据采集实现
04--网站流量日志埋点收集--方案二--点击事件数据采集实现
05--网站流量日志埋点收集--方案二--中文乱码问题解决
06--网站流量日志flume收集--新组件taildir source介绍
07--网站流量日志flume收集--配置文件编写和实操
08--网站流量日志flume收集--hdfs--基于文件闲置策略滚动
09--网站流量日志分析--数据预处理--目的意义和mr编程技巧
10--网站流量日志分析--数据预处理--实现思路详解
11--网站流量日志分析--数据预处理--mr代码实现
12--网站流量日志分析--数据预处理--点击流模型概念
13--网站流量日志分析--数据预处理--点击流模型之pageviews模型
14--网站流量日志分析--数据预处理--点击流模型之visit模型
15--网站流量日志分析--数据预处理--点击流模型pageviews编程实现思路
16--网站流量日志分析--数据预处理--点击流模型pageviews代码实现
17--网站流量日志分析--数据预处理--点击流模型visit编程实现思路
18--网站流量日志分析--数据预处理--点击流模型visit代码实现

10-3 网站流量日志分析-数仓设计-模型设计-指标分析

01--网站流量日志分析--数仓设计--维度建模（事实表、维度表）&多维数据分析
02--网站流量日志分析--数仓设计--维度建模三种模式（星型、雪花、星座）
03--网站流量日志分析--数仓设计--本项目中模式设计（星型模式）
04--网站流量日志分析--数据入库--含义和ETL本质解释
05--网站流量日志分析--数据入库--ODS建表操作
06--网站流量日志分析--数据入库--ODS数据导入操作
07--网站流量日志分析--数据入库--宽表、窄表由来概述
08--网站流量日志分析--扩展--hive函数分类（udf、udtf、udaf）
09--网站流量日志分析--扩展--hive lateral view侧视图的使用
10--网站流量日志分析--数据入库--宽表具体实现1--时间拓宽
11--网站流量日志分析--数据入库--宽表具体实现2--解析url
12--网站流量日志分析--分析指标和分析模型--基础级指标
13--网站流量日志分析--分析指标和分析模型--复合级指标
14--网站流量日志分析--分析指标和分析模型--基础、来源分析模型
15--网站流量日志分析--分析指标和分析模型--受访、访客分析模型
16--网站流量日志分析--分析指标和分析模型--漏斗分析模型

10-4 网站流量日志分析-多维统计

01--网站流量日志分析--统计分析--基础指标统计分析（pv、uv）
02--网站流量日志分析--统计分析--基础指标统计分析（vv、ip）
03--网站流量日志分析--统计分析--复合指标分析--平均访问深度
04--网站流量日志分析--统计分析--复合指标分析--平均访问频度
05--网站流量日志分析--统计分析--复合指标分析--平均访问时长
06--网站流量日志分析--统计分析--复合指标分析--跳出率
07--网站流量日志分析--统计分析--多维统计分析--概念
08--网站流量日志分析--统计分析--多维统计分析--时间维度--每小时指标统计
09--网站流量日志分析--统计分析--多维统计分析--时间维度--每天pv统计
10--网站流量日志分析--统计分析--多维统计分析--时间维度--维表关联查询
11--网站流量日志分析--统计分析--多维统计分析--来访referer、时间维度
12--网站流量日志分析--统计分析--多维统计分析--来访host、时间维度
13--网站流量日志分析--统计分析--多维统计分析--终端维度--UA概述
14--网站流量日志分析--统计分析--多维统计分析--终端维度--自定义UDF解析UA
15--网站流量日志分析--统计分析--多维统计分析--了解其他维度分析
16--网站流量日志分析--统计分析--sql补充扩展--如何编写hive sql
17--网站流量日志分析--统计分析--sql补充扩展--group by语法限制解析

10-5 网站流量日志分析-窗口函数-统计分析

01--网站流量日志分析--统计分析--分组topN--业务需求
02--网站流量日志分析--统计分析--分组topN--row_number over函数使用
03--Hive高阶--分组窗口函数--常见的分组函数（rank、denserank、rownumber、ntile）
04--Hive高阶--分组窗口函数--聚合函数集成分组函数（SUM）
05--Hive高阶--分组窗口函数--序列分组函数（CUME_DIST）
06--Hive高阶--分组窗口函数--取值分组函数（ LAG,LEAD,FIRST_VALUE,LAST_VALUE）
07--Hive高阶--分组窗口函数--OLAP相关分组函数（GROUPING SETS,CUBE,ROLLUP）
08--网站流量日志分析--统计分析--受访分析热门页面topN
09--网站流量日志分析--统计分析--独立访客分析
10--网站流量日志分析--统计分析--新老访客需求剖析
11--网站流量日志分析--统计分析--新老访客实现（join语句）
12--网站流量日志分析--统计分析--回头单次访客分析
13--网站流量日志分析--统计分析--漏斗模型转化分析&hive级联求和问题
14--网站流量日志分析--统计分析--hive级联求和问题案例
15--网站流量日志分析--统计分析--漏斗模型转化分析实现

10-6 网站流量日志分析-调度-可视化

01--网站流量日志分析--数据导出--概述含义
02--网站流量日志分析--数据导出--全量数据导出详解
03--网站流量日志分析--数据导出--增量数据导出详解
04--网站流量日志分析--数据导出--定时增量数据导出详解
05--网站流量日志分析--工作流调度--概述含义
06--网站流量日志分析--工作流调度--预处理调度--程序打包job编写
07--网站流量日志分析--工作流调度--预处理调度--功能实现
08--网站流量日志分析--工作流调度--数据入库调度
09--网站流量日志分析--工作流调度--数据指标统计分析调度
10--网站流量日志分析--数据可视化--概述含义
11--网站流量日志分析--数据可视化--echarts简单入门
12--网站流量日志分析--数据可视化--后端web工程架构
13--网站流量日志分析--数据可视化--后端web工程整合搭建
14--网站流量日志分析--数据可视化--动态加载数据--数据格式、排序问题剖析
15--网站流量日志分析--数据可视化--动态加载数据--mybatis逆向工程
16--网站流量日志分析--数据可视化--动态加载数据--代码实现
17--（扩展）网站流量日志分析--数据可视化--vue版--前端项目搭建、接口规则说明
18--（扩展）网站流量日志分析--数据可视化--vue版--复杂json格式数据剖析
19--（扩展）网站流量日志分析--数据可视化--vue版--复杂json具体实现

阶段三大数据 NoSQL、Kafka和ELK技术实战

展开

第一章大数据 NoSQL、Kafka和ELK技术实战-导学

1-1 大数据 NoSQL、Kafka和ELK技术实战-导学

大数据 NoSQL、Kafka和ELK技术实战-导学

第二章大数据redis

2-1 redis

001.NoSQL数据库发展历史简介
002.Redis介绍
003.Redis安装
004.String数据类型操作
005.对常用数据结构的操作
006.对位图Bitmaps的操作
007.HyperLogLog结构操作
008.离线架构和实时架构_Redis应用
009.Redis Java操作_Redis连接
010.Jedis String操作
011.Jedis的list_hash_set的操作
012.Redis的两种持久化策略
013.Redis的事务
014.Redis的过期策略和内存淘汰策略
015.主从复制架构
016.三台服务器搭建Redis主从复制
017.哨兵介绍与环境搭建
018.Redis的sentinel模式代码开发连接
019.Redis集群与分区策略
020.Redis集群的特点与集群的规划
021.Redis集群搭建
022.问题解决&学习技术三点
023.主从切换
024.JavaAPI操作redis集群
025.Redis缓存穿透
026.Redis的击穿和雪崩
027.常见Redis高频面试题总结

第三章大数据kafka

3-1 kafka

001.Kafka简介 - 消息队列
002.Kafka简介 - 应用背景
003.消息队列的两种模型
004.Kafka集群搭建
005.Kafka生产者、消费者测试、KafkaTool工具avi
006.Kafka的基准测试
007.JavaAPI - 生产者程序开发
008.JavaAPI - 消费者程序开发
009.JavaAPI - 生产者使用异步方式生产消息
010.Kafka中的重要概念
011.消费者组演示
012.Kafka幂等性
013.Kafka生产者的分区写入策略
014.Consumer Group Rebalance机制
015.消费者的分区分配策略
016.producer的ACK机制
017.高级API（High-Level API）、低级API（Low-Level API）
018.安装Kafka egale
019.leader和follower
020.topic中的partition的ar、isr、osr
021.controller介绍与leader选举
022.leader的负载均衡
023.Kafka读写流程
024.Kafka的物理存储
025.Kafka的消息不丢失
026.数据积压
027.日志清理

第四章大数据hbase

4-1 hbase

001.Hadoop和HBase
002.HBase的应用场景
003.HBase对比mysq、对比Hive
004.HBase安装
005.参考硬件配置
006.HBase的数据模型
007.HBase_shell操作
008.计数器和简单scan扫描操作
009.使用RowFilter过滤器来进行过滤
010.使用列过滤器和组合过滤器
012.HBase计数器
013.HBase的管理命令
014.Java编程——建表操作
015.Java编程——插入数据操作
016.Java编程——根据rowkey获取数据
017.Java编程——scan + filter过滤操作
018.HBase的HMaster高可用
019.HBase的架构模型
020.昨日回顾_今日目标
021.案例介绍+环境搭建
022.名称空间
023.列蔟设计_版本设计_数据压缩
024.避免热点的关键操作
025.预分区
026.项目初始化
027.Java代码开发——随机生成一条数据
028.Java代码开发——生成rowkey
029.Java代码开发——将随机生成的数据推入到HBase
030.Java代码开发——实现getMessage数据接口
031.Apache Phoenix介绍
032.Phoenix安装
033.Phoenix的建表语法
034.Phoenix数据操作语法
035.Phoenix的分页查询
036.Phoenix预分区
037.Phoenix创建视图
038.Phoenix JDBC开发
039.Phoenix4种索引类型
040.Phoenix全局索引_覆盖索引
041.Phoenix本地索引_函数索引
042.关于Phoenix本地索引SALT_BUCKETS不支持问题
043.HBase的读流程
044.HBase的写数据流程和2.x_in_meory_compaction
045.写数据的两阶段合并
046.Region的管理
047.Master上下线
048.Bulkload和Mapper实现
049.Bulkload Driver开发和排错技巧
050.HBase协处理器
051.HBase事务
052.常见数据结构理解
053.LSM树
054.布隆过滤器BloomFilter
055.StoreFile结构

第五章大数据Elasticstack

5-1 ELASTICSEARCH

001.ElasticSearach的简介
002.使用Lucence建立索引
003.使用Lucence查询关键字
004.ES的核心概念
005.ES集群安装
006.ES集群安装head插件_IK分词器
007.VSCode开发环境与IK分词器
008.创建索引avi
009.使用REST方式演示查询、创建文档
010.使用ES的scroll分页查询解决深分页的问题
011.构建Java ES项目_初始化连接
012.JavaAPI-添加职位数据到ES中
013.JavaAPI-ES查询_删除_搜索_分页
014.JavaAPI-使用scroll分页方式查询
015.JavaAPI-高亮查询
016.架构原理-节点类型分片和副本
017.索引的写入和读取过程
018.Elasticsearch准实时索引实现
019.ES_SQL简介
020.ES_SQL基础的查询
021.ES_SQL_JDBC查询
022.FileBeat基本应用
023.FileBeat的原理架构
024.Logstash
025.Logstash写ES、Grok插件
026.使用Grok解析所有的字段
027.上午总结
028.解决索引名称日期失效的问题
029.使用Logstash配合插件写入数据到ES中
030.Kibana介绍
031.Kibana索引模式和Discovery
032.Discovery组件
033.可视化展示
034.索引生命周期管理

阶段四大数据 Spark 内存计算系统

展开

第一章大数据 Spark 内存计算系统-导学

1-1 大数据 Spark 内存计算系统-导学

大数据 Spark 内存计算系统-导学

第二章就业课（2.1）-Scala语言

2-1 scala_语法基础

01.学习目标
02.scala语言简介
03.scala开发环境安装
04.scala解释器
05.变量
06.字符串
07.数据类型与操作符
08.条件表达式
09.循环
10.break和continue
11.方法定义
12.方法参数
13.方法调用方式
14.函数
15.数组-定长数组
16.数组-变长数组
17.数组-遍历数组
18.数组-常用算法
19.元组
20.不可变列表
21.可变列表
22.列表常用操作一
23.列表常用操作二avi
24.不可变集
25.可变集
26.映射
27.iterator迭代器
28.函数式编程-foreach方法
29.函数式编程 -map方法
30.函数式编程-flatMap方法
31.函数式编程-filter方法
32.函数式编程-排序
33.函数式编程-groupBy
34.函数式编程-reduce、fold

2-2 scala_类_对象

01.学习目标免费试学
02.类和对象-创建类和对象免费试学
03.类和对象-定义成员变量免费试学
04.类和对象-使用下划线初始化成员变量免费试学
05.类和对象-定义成员方法免费试学
06.类和对象-访问修饰符免费试学
07.类和对象-主构造器免费试学
08.类和对象-辅助构造器免费试学
09.单例对象免费试学
10.单例对象-工具类案例免费试学
11.单例对象-main方法免费试学
12.伴生对象免费试学
13.伴生对象-apply方法免费试学
14.继承免费试学
15.override和super 免费试学
16.isInstanceOf和asInstanceOf.avi 免费试学
17.getClass和classOf 免费试学
18.抽象类_抽象方法免费试学
19.匿名内部类免费试学
20.特质-作为接口使用免费试学
21.特质-定义具体方法免费试学
22.特质-定义具体字段和抽象字段免费试学
23.特质-使用trait实现模板模式免费试学
24.特质-对象混入trait 免费试学
25.特质-trait实现调用链模式免费试学
26.特质-trait的构造机制免费试学
27.特质-trait继承class 免费试学

2-3 scala_模式匹配_异常处理

01.课程目标
02.样例类
03.样例类-样例类生成的方法
04.样例对象
05.模式匹配-简单模式匹配
06.模式匹配-匹配类型
07.模式匹配-守卫
08.模式匹配-匹配样例类
09.模式匹配-匹配集合
10.模式匹配-变量声明中的模式匹配
11.Option类型
12.偏函数
13.正则表达式
14.异常处理-捕获异常
15.异常处理-抛出异常
16.提取器
17.泛型-定义泛型方法
18.泛型-定义泛型类
19.泛型-上下界
20.泛型-协变、逆变、非变
21.Actor并发编程-Actor介绍
22.Actor并发编程-创建Actor
23.Actor并发编程-发送接收消息
24.Actor并发编程-持续接收消息
25.Actor并发编程-发送接收自定义消息（同步方式）
26.Actor并发编程-发送接收自定义消息（异步无返回方式）
27.Actor并发编程-发送接收自定消息（异步有返回消息）
28.WordCount案例 - 思路分析
29.WordCount案例 - 获取文件列表
30.WordCount案例 - 创建WordCountActor
31.WordCount案例 - 启动Actor、发送接收消息
32.WordCount案例 - 消息统计文件单词计数
33.WordCount案例 - 封装单词计数结果返回给mainactor
34.WordCount案例 - 合并结果

2-4 scala_高阶函数

01.今日目标
02.高阶函数 - 作为值的函数
03.高阶函数 - 匿名函数
04.高阶函数 - 柯里化
05.高阶函数 - 闭包
06.隐式转换
07.自动导入隐式转换
08.隐式参数
09.Akka - Akka简介
10.Akka入门案例 - Maven项目构建
11.Akka入门案例 - 创建并加载Actor
12.Akka入门案例 - 发送接收消息
13.Akka定时任务
14.Akka进程间通信 - Worker实现
15.Akka进程间通信 - Master实现
16.简易Spark通信框架 - 实现思路
17.简易Spark通信框架 - 工程搭建
18.简易Spark通信框架 - 构建master和worker
19.简易Spark通信框架 - worker注册阶段实现
20.简易Spark通信框架 - worker定时发送心跳消息
21.简易Spark通信框架 - master定时心跳检测阶段
22.简易Spark通信框架 - 多个worker测试阶段

第三章就业课（2.1）-Spark入门以及集群搭建

3-1 Spark入门以及集群搭建

01_Spark概述_目标
02_Spark概述_Spark是什么
03_Spark概述_Spark的特点
04_Spark概述_Spark的组成
05_Spark集群搭建_Spark集群结构
06_Spark集群搭建_Spark集群结构_扩展
07_Spark环境搭建_下载和解压Spark安装包
08_Spark环境搭建_配置HistoryServer
09_Spark集群搭建_分发和启动
10_Spark集群搭建_高可用配置
11_Spark集群搭建_第一个案例
12_Spark入门_代码编写方式
13_Spark入门_SparkShell本地文件读取
14_Spark入门_执行过程
15_Spark入门_读取HDFS上的文件
16_Spark入门_独立应用编写
17_Spark入门_独立应用的运行方式
18_RDD入门_RDD是什么
19_RDD入门_SparkContext
20_RDD入门_创建RDD的三种方式
21_RDD入门_Map算子
22_RDD入门_FlatMap算子
23_RDD入门_ReduceByKey算子

第四章就业课（2.1）-spark_rdd算子

4-1 RDD_定义_转换算子

01_深入RDD_课程结构
02_深入RDD_初始案例_步骤
03_深入RDD_初始案例_代码编写
04_深入RDD_问题_如何运行在集群中
05_深入RDD_问题_分解和容错
06_深入RDD_定义_出现的背景
07_深入RDD_定义_RDD的特点
08_深入RDD_定义_什么叫做弹性分布式数据集
09_深入RDD_定义_五大属性
10_RDD算子_分类
11_RDD算子_转换_回顾
12_RDD算子_转换_mapPartitions
13_RDD算子_转换_Filter
14_RDD算子_转换_Sample
15_RDD算子_转换_mapValues
16_RDD算子_转换_集合操作
17_RDD算子_转换_groupByKey
18_RDD算子_转换_combineByKey
19_RDD算子_转换_foldByKey
20_RDD算子_转换_aggregateByKey
21_RDD算子_转换_join
22_RDD算子_转换_排序
23_RDD算子_转换_重分区
24_RDD算子_转换_总结

4-2 RDD_action算子_分区_缓存

01_RDD算子_Action_reduce
02_RDD算子_Action_foreach
03_RDD算子_Action_countByKey
04_RDD算子_Action_take
05_RDD算子_Action_总结
06_RDD算子_KV类型的支持
07_RDD算子_数字型的支持
08_阶段练习_需求介绍和明确步骤
09_阶段练习_代码编写
10_阶段练习_总结
11_RDD的分区和Shuffle_介绍
12_RDD的分区和Shuffle_查看分区
13_RDD的分区和Shuffle_创建RDD时指定分区数
14_RDD的分区和Shuffle_通过算子重分区
15_RDD的分区和Shuffle_通过其他算子指定分区数
16_RDD的分区和Shuffle_Shuffle过程扫盲
17_RDD的缓存_缓存的意义_案例介绍
18_RDD的缓存_缓存的意义_过程代码
19_RDD的缓存_缓存的意义_结论
20_RDD的缓存_缓存的API
21_RDD的缓存_缓存级别
22_Checkpoint_意义
23_Checkpoint_使用

第五章就业课（2.1）-Spark原理_运行过程_高级特性

5-1 Spark原理_运行过程_高级特性

01_Spark原理_概述和思路
02_Spark原理_总体介绍_概要
03_Spark原理_总结介绍_案例编写
04_Spark原理_总体介绍_集群环境
05_Spark原理_总体介绍_逻辑执行图
06_Spark原理_总体介绍_物理执行图
07_Spark原理_逻辑图_HadoopRDD的生成
08_Spark原理_逻辑图_MapPartitionsRDD
09_Spark原理_逻辑图_小结
10_Spark原理_逻辑图_RDD之间的关系_一对一
11_Spark原理_逻辑图_RDD之间的关系_多对一
12_Spark原理_逻辑图_窄依赖_案例
13_Spark原理_逻辑图_窄依赖_分析
14_Spark原理_逻辑图_宽依赖_分析
15_Spark原理_逻辑图_宽窄依赖判断
16_Spark原理_逻辑图_窄依赖的分类_看源码
17_Spark原理_逻辑图_窄依赖的分类_分析
18_Spark原理_逻辑图_总结
19_Spark原理_物理图_介绍
20_Spark原理_物理图_Task设计
21_Spark原理_物理图_Stage划分
22_Spark原理_物理图_案例总结
23_Spark原理_运行过程_概念介绍
24_Spark原理_运行过程_Job和Stage的关系
25_Spark原理_运行过程_Stage和Task的关系
26_Spark原理_运行过程_总结和流程
27_高级特性_闭包_概念
28_高级特性_闭包_Spark闭包分发
29_高级特性_累加器
30_高级特性_广播

第六章就业课（2.1）-sparksql

6-1 SparkSQL_使用场景_优化器_Dataset

01_SparkSQL是什么_命令式和声明式的区别免费试学
02_SparkSQL是什么_历史和重要性免费试学
03_SparkSQL是什么_适用场景免费试学
04_SparkSQL初体验_命令式案例免费试学
05_SparkSQL初体验_Dataset和DataFrame 免费试学
06_SparkSQL初体验_SQL案例免费试学
07_扩展_Catalyst优化器_SparkSQL和RDD的区别免费试学
08_扩展_Catalyst优化器_优化过程免费试学
09_扩展_Catalyst优化器_查看计划免费试学
10_Dataset介绍_Dataset是什么免费试学
11_Dataset介绍_Dataset底层类型免费试学
12_Dataset介绍_将Dataset转为同泛型的RDD 免费试学
13_DataFrame介绍_DataFrame是什么免费试学
14_DataFrame介绍_创建_toDF 免费试学
15_DataFrame介绍_创建_read 免费试学
16_DataFrame介绍_操作免费试学
17_Dataset和DataFrame的区别_区别免费试学
18_Dataset和DataFrame的区别_Row对象免费试学

6-2 SparkSQL读写_hive_mysql_案例

01_SparkSQL读写_介绍
02_SparkSQL读写_Reader
03_SparkSQL读写_Writer
04_SparkSQL读写_Parquet
05_SparkSQL读写_分区
06_SparkSQL读写_JSON
07_SparkSQL读写_JSON小技巧
08_SparkSQL读写_Hive_整合
09_SparkSQL读写_Hive_创建Hive表
10_SparkSQL读写_Hive_读取Hive表
11_SparkSQL读写_Hive_SparkSQL创建Hive表
12_SparkSQL读写_Hive_写入数据_配置
13_SparkSQL读写_Hive_写入数据_编码和运行
14_SparkSQL读写_JDBC_MySQL环境准备
15_SparkSQL读写_JDBC_写入数据

6-3 Dataset (DataFrame) 的基础操作

01_有类型转换_map
02_有类型转换_transform_
03_有类型转换_as
04_有类型转换_filter
05_有类型转换_groupByKey
06_有类型转换_split_
07_有类型转换_orderBy
08_有类型转换_去重
09_有类型转换_集合操作
10_无类型转换_选择
11_无类型转换_列操作
12_无类型转换_groupBy
13_Column对象_创建1
14_Column对象_创建_有绑定
15_Column对象_操作_别名和类型
16_Column对象_操作_API
17_缺失值处理_什么是缺失值
18_缺失值处理_null&NaN_读取文件
19_缺失值处理_null&NaN_处理
20_缺失值处理_字符串缺失值

6-4 SparkSQL_聚合操作_连接操作

01_聚合操作_groupBy_数据读取
02_聚合操作_groupBy_聚合操作
03_聚合操作_多维聚合_需求介绍
04_聚合操作_多维聚合_编写代码
05_聚合操作_多维聚合_rollup
06_聚合操作_多维聚合_rollup案例
07_聚合操作_多维聚合_cube
08_聚合操作_多维聚合_cubeSQL
09_聚合操作_多维聚合_GroupedDataset
10_连接操作_入门_介绍
11_连接操作_入门_案例
12_连接操作_连接类型_cross
13_连接操作_连接类型_inner
14_连接操作_连接类型_fullouter
15_连接操作_连接类型_left
16_连接操作_连接类型_semi&anti
17_函数_UDF
18_函数_窗口1
19_函数_窗口2

6-5 SparkSQL_出租车利用率分析案例

01_项目分析_业务场景
02_项目分析_流程分析
03_工程搭建_创建
04_工程搭建_读取数据
05_数据清洗_思路和步骤
06_数据清洗_创建Trip类
07_数据清洗_包装Row处理空值
08_数据清洗_数据转换
09_数据清洗_异常处理_Either
10_数据清洗_异常处理_完成逻辑
11_数据清洗_转换完成
12_数据清洗_剪除反常数据_统计分布
13_数据清洗_剪除反常数据
14_行政区信息_介绍
15_行政区信息_JSON解析
16_行政区信息_GeoJSON介绍
17_行政区信息_JSON解析实现
18_行政区信息_Geometry实现
19_行政区统计_功能实现
20_会话统计_得出结果

第七章就业课（2.1）-SparkStreaming原理_运行过程_高级特性

7-1 SparkStreaming_原理_案例

01_SparkStreaming介绍_场景
02_SparkStreaming介绍_流计算和批计算的区别
03_SparkStreaming介绍_架构
04_SparkStreaming介绍_特点
05_SparkStreaming案例_Socket回顾
06_SparkStreaming案例_Netcat
07_SparkStreaming案例_创建工程
08_SparkStreaming案例_代码编写
09_SparkStreaming案例_运行
10_SparkStreaming案例_解释说明
11_SparkStreaming原理_问题提出
12_SparkStreaming原理_DStream的有向无环图
13_SparkStreaming原理_DStream的静态和动态
14_SparkStreaming原理_Receiver
15_SparkStreaming原理_容错

第八章就业课（2.1）-Structured Streaming_介绍_案例

8-1 Structured Streaming_介绍_案例

01_Structured_介绍_历史更迭
02_Structured_介绍_序列化更迭
03_Structured_介绍_对比
04_Structured_案例_介绍
05_Structured_案例_代码编写
06_Structured_案例_运行和总结
07_Structured_体系结构_无限扩展的表
08_Structured_体系结构
09_Structured_Source_HDFS_案例介绍
10_Structured_Source_HDFS_生成并上传文件到HDFS
11_Structured_Source_HDFS_Spark代码
12_Structured_Source_Kafka_回顾
13_Structured_Source_Kafka_整合
14_Structured_Source_Kafka_需求
15_Structured_Source_Kafka_连接
16_Structured_Sink_HDFS
17_Structured_Sink_Kafka
18_Structured_Sink_Foreach
19_Structured_Sink_Trigger
20_Structured_Sink_容错语义

阶段五大数据 Spark 项目实战

展开

第一章大数据 Spark 项目实战-导学

1-1 大数据 Spark 项目实战-导学

大数据 Spark 项目实战-导学

第二章就业课（2.1）-Kudu入门_项目介绍_ CDH搭建

2-1 Kudu入门_原理_ CDH搭建

01_Kudu入门_应用场景_项目介绍免费试学
02_Kudu入门_应用场景_方案一免费试学
03_Kudu入门_应用场景_方案二免费试学
04_Kudu入门_应用场景_方案三免费试学
05_Kudu入门_应用场景_Kudu 免费试学
06_Kudu入门_对比_OLAP和OLTP 免费试学
07_Kudu入门_对比_列式和行式免费试学
08_Kudu入门_对比免费试学
09_Kudu原理_Kudu是什么免费试学
10_Kudu原理_总体设计免费试学
11_Kudu原理_各个角色的作用免费试学
12_Kudu原理_存储原理免费试学
13_CDH搭建_创建虚拟机免费试学
14_CDH搭建_安装CentOS 免费试学
15_CDH搭建_网络配置免费试学
16_CDH搭建_时间同步免费试学
17_CDH搭建_主机名修改免费试学
18_CDH搭建_关闭SELinux 免费试学
19_CDH搭建_关闭防火墙免费试学
20_CDH搭建_免密登录免费试学
21_CDH搭建_安装Java 免费试学
22_CDH搭建_仓库搭建_仓库下载免费试学
23_CDH搭建_仓库搭建_配置仓库服务器和源免费试学

第三章就业课（2.1）-Kudu_javaApi使用_Spark整合

3-1 Kudu_javaapi使用_Spark整合

01_CDH搭建_Zookeeper(1)
02_CDH搭建_Hadoop_安装包
03_CDH搭建_Hadoop_HDFS_主节点
04_CDH搭建_Hadoop_HDFS_从节点和总结
05_CDH搭建_Hadoop_Yarn搭建
06_CDH搭建_Hadoop_MySQL
07_CDH搭建_Hive_安装和创建用户
08_CDH搭建_Hive_搭建完成
09_CDH搭建_Kudu
10_CDH搭建_Impala
11_CDH搭建_Hue
12_Kudu使用_创建工程
13_Kudu使用_JavaAPI_创建表
14_Kudu使用_JavaAPI_插入数据
15_Kudu使用_JavaAPI_扫描
16_KuduSpark_DDL
17_KuduSpark_CRUD
18_KuduSpark_DF优势
19_KuduSpark_DF读写Kudu表
20_KuduSpark_Impala访问Kudu

第四章就业课（2.1）-DMP项目_业务介绍_框架搭建

4-1 DMP项目_业务介绍_框架搭建

01_业务介绍_概念
02_业务介绍_AdNetwork
03_业务介绍_AdExchange
04_业务介绍_RTB
05_业务介绍_DMP介绍
06_方案_技术方案
07_方案_我们能学到什么
08_方案_数据集介绍
09_框架搭建_创建工程
10_框架搭建_需求介绍
11_框架搭建_配置文件加载
12_框架搭建_配置文件工具类思路介绍
13_框架搭建_配置文件工具类编写
14_框架搭建_Kudu工具类_介绍
15_框架搭建_Kudu工具类_隐式转换
16_框架搭建_Kudu工具类_创建表
17_框架搭建_Kudu工具类_读取表
18_框架搭建_Kudu工具类_写入数据

第五章就业课（2.1）-DMP项目_IP转换_报表统计

5-1 DMP项目_IP转换_报表统计

01_IP转换_IP2Region
02_IP转换_GeoLite
03_IP转换_框架设计
04_IP转换_环境准备
05_IP转换_思路梳理
06_IP转换_功能实现
07_IP转换_数据落地
08_报表统计_数据的区域分布_环境准备
09_报表统计_数据的区域分布_代码开发
10_报表统计_执行框架_设计
11_报表统计_执行框架_框架编写
12_报表统计_执行框架_旧模块改造
13_报表统计_广告投放统计_需求介绍
14_报表统计_广告投放统计_代码实现

第六章就业课（2.1）-DMP项目_实现商圈库功能

6-1 DMP项目_实现商圈库功能

01_商圈库_思路梳理
02_商圈库_Http_TCP
03_商圈库_Http_协议
04_商圈库_Http_请求方式
05_商圈库_Http_Http工具
06_商圈库_Http_Okhttp使用和封装
07_商圈库_Json_介绍
08_商圈库_Json_JSON4S
09_商圈库_Json_工具类
10_商圈库_功能_环境代码编写
11_商圈库_功能_思路
12_商圈库_功能_UDF实现功能
13_商圈库_功能_求差获取商圈
14_商圈库_功能_完成

第七章就业课（2.1）-DMP项目_统一识别

7-1 DMP项目_统一识别

01_打标签_环境准备
02_打标签_生成标签
03_打标签_完成
04_统一识别_图计算
05_统一识别_定义类型
06_统一识别_图计算
07_统一识别_标签聚合
08_统一识别_完成

阶段六大数据 Flink 实时计算系统

展开

第一章大数据 Flink 实时计算系统-导学

1-1 大数据 Flink 实时计算系统-导学

大数据 Flink 实时计算系统-导学

第二章就业课（2.1）-Flink基础

2-1 Flink基础介绍

01_学习目标免费试学
02_Flink介绍_Flink引入免费试学
03_Flink介绍_什么是Flink 免费试学
04_Flink介绍_性能比较免费试学
05_Flink和阿里巴巴免费试学
06_Flink部署_伪集群模式安装免费试学
07_Flink部署_StandAlone集群模式安装免费试学
08_Flink部署_StandAlone集群HA模式安装免费试学
09_Flink部署_Yarn集群环境免费试学
10_Flink部署_Yarn-session介绍_会话模式免费试学
11_Flink部署_分离模式免费试学
12_Flink基石介绍免费试学
13_Flink组件栈免费试学
14_Flink编程模型免费试学
15_Flink程序结构免费试学
16_Flink并行数据流免费试学
17_任务调度与执行免费试学
18_Flink统一的流处理与批处理免费试学
19_Flink的应用场景免费试学

2-2 Flink批处理开发

01_学习目标
02_批处理环境搭建
03_加载本地数据源
04_加载文件数据源
05_Transformation简介
06_转换操作_map
07_转换操作_flatmap
08_转换操作_mapPartition
09_转换操作_filter
10_转换操作_reduce
11_转换操作_reduceGruop
12_转换操作_aggregate
13_转换操作_distinct
14_转换操作_union
15_转换操作_rebalance
16_转换操作_PartitionByHash
17_转换操作_sortPartition
18_落地操作_本地集合
19_落地操作_本地文件
20_Flink本地执行环境
21_Flink集群执行环境
22_广播变量
23_Flink的累加器
24_分布式缓存

2-3 Flink流处理开发

01_学习目标
02_数据源_集合
03_数据源_基于文件
04_数据源_基于网络套接字
05_数据源_自定义source
06_数据源_Kafka
07_数据源_MySQL
08_转换操作_keyBy
09_转换操作_Connect
10_转换操作_Split和select
11_数据落地_Kafka
12_数据落地_MySql
13_Window操作_什么是Window
14_Window操作_时间窗口介绍
15_Window操作_TumblingTimeWindow
16_Window操作_SlidingTimeWindow
17_Window操作_CountWindow
18_Window操作_ apply
19_水印机制_时间类型
20_水印机制_介绍
21_水印机制_代码实现

第三章就业课（2.1）-Flink 高级进阶

3-1 Flink高级开发

01_学习目标
02_State介绍
03_Keyed State介绍
04_Operate State介绍
05_CheckPoint介绍
06_Barrier介绍
07_Checkpoint持久化方案
08_CheckPoint案例介绍
09_CheckPoint案例开发-自定义数据源
10_CheckPoint案例开发-自定义状态
11_CheckPoint案例开发-自定义Window和检查点
12_CheckPoint案例开发-主业务
13_FlinkSql_介绍
14_Table API和SQL程序的结构
15_FlinkSql_入门案例_DataStream或DataSet转换为表格
16_FlinkSql_入门案例_表转换为DataStream
17_FlinkSql_入门案例_表转换为DataSet
18_FlinkSql_批处理案例1
19_FlinkSql_批处理案例2
20_FlinkSql_流处理案例

阶段七大数据 Flink 项目实战

展开

第一章大数据 Flink 项目实战-导学

1-1 大数据 Flink 项目实战-导学

大数据 Flink 项目实战-导学

第二章就业课（2.1）-Flink电商指标分析项目

2-1 项目简介以及上报服务系统开发

01_项目简介免费试学
02_项目流程介绍免费试学
03_项目的技术选型免费试学
04_IDEA工程搭建免费试学
05_SpringBoot简介免费试学
06_SpringBoot入门案例免费试学
07_Kafka-Manager安装免费试学
08_KafkaTemplate创建免费试学
09_KafkaTemplate测试免费试学
10_自定义分区免费试学
11_上报服务模块编写免费试学
12_消息模拟器免费试学

2-2 Flink整合kafka开发

13_实时分析系统介绍
14_ConfigFactory使用
15_初始化Flink流式环境
16_添加checkpoint的支持
17_整合Kafka
18_消息转换为元组
19_消息转换为样例类ClickLog
20_消息转换为样例类Message
21_添加水印支持

2-3 HBaseUtil工具类开发

01_HBase工具类介绍
02_HBaseUtil基本设置
03_HBaseUtil之getTable编写
04_HBaseUtil之putData
05_HBaseUtil之getData
06_HBaseUtil之putMapData
07_HBaseUtil之getMapData
08_HBaseUtil之deleteData

2-4 实时数据业务分析开发

09_业务开发流程介绍
10_实时数据预处理_创建宽表样例类
11_实时数据预处理_扩宽地域时间
12_实时数据预处理_扩宽isNew
13_实时数据预处理_扩宽isHourNew_isDayNew_isMonthNew
14_业务分析_实时频道热点
15_业务分析_实时频道热点_落地HBase
16_业务分析_频道小时维度PVUV
17_业务分析_频道天月维度PVUV
18_业务分析_用户新鲜度
19_业务分析_用户新鲜度_落地HBase
1_业务分析_模板方法抽取BaseTask
2_业务分析_重构新鲜度分析
3_业务分析_频道地域
4_业务分析_频道地域落地HBase
5_业务分析_运营商分析
6_业务分析_运营商分析_落地HBase
7_业务分析_浏览器分析

2-5 实时数据同步系统开发

8_实时同步系统介绍
9_采集方案_LogStash介绍
10_采集方案_Canal介绍
11_数据库采集系统介绍
12_MySql离线安装
13_MySql开启binlog
14_MySql主从复制介绍
15_Cananl原理介绍
16_Canal安装
17_Canal采集程序搭建【废弃待重录】
01_binlog说明
02_Flink实时同步应用开发介绍
03_项目初始化
04_Flink初始化
05_Flink整合Kafka
06_消息转换为Canal样例类
07_添加水印
08_HBaseOperation样例类
09_Canal转HBaseOperation介绍
10_PreprocessTask开发
11_Canal数据存储到HBase

2-6 Flink离线分析系统开发

12_离线分析系统简介
13_初始化Flink批处理环境
14_导入测试数据
15_整合HBase
16_测试读取HBase表数据_解决版本冲突
17_JSON转换为样例类
18_数据预处理_拓宽时间字段
19_业务分析_不同支付方式
20_业务分析_不同商家
21_项目总结

阶段八大数据新技术实战详解

展开

第一章大数据新技术实战详解-导学

1-1 大数据新技术实战详解-导学

大数据新技术实战详解-导学

第二章就业课（2.1）-druid

2-1 druid_集群搭建_架构

1-druid介绍免费试学
2-druid单机版安装免费试学
3-druid单机版加载&查询数据免费试学
4-druid重要概念roll-up 免费试学
5-druid重要概念-列式存储免费试学
6-druid中的datasource与segment概念介绍免费试学
7-segment的存储结构免费试学
8-druid中的位图索引免费试学
9-druid架构及原理介绍免费试学
10druid集群搭建-historical配置免费试学
11druid集群搭建-middlemanager配置免费试学
12-druid集群搭建-broker节点配置免费试学
13-druid集群搭建coordinator&overlord 免费试学
14-druid集群搭建启动验证免费试学
15-druid离线-本地索引方式加载数据免费试学
16-druid离线-hadoopdruidindexer方式摄取数据免费试学
17-druid-实时摄取数据-kafkaindexingservice 免费试学

2-2 druid_数据查询_广告点击项目案例开发

01-druid数据查询-filter-selector
2-正则过滤器（regexfilter)
03-druid数据查询-(logical expression filter)
04-druid数据查询-filter-in过滤器
05-druid数据查询(boundfilter)
06-granularity-simple
07-granularity(duration&period)
08-aggregator之countAggregator&sumAggregator
09-aggregator-Min&MaxAggregator
10-aggregator-去重聚合器datasketch-aggregator
11-postAggregator-点击率
12-时间序列查询
13-topN查询
14-groupBy查询
15-druid项目介绍
16-druid项目日志模拟程序
17-模拟程序发送日志数据到kafka
18-项目案例预处理
19-flink生产消息到kafka
20-druid从kafka实时摄取数据
21-项目案例可视化

阶段九大项目实战一企业级360°全方位用户画像

展开

第一章用户画像项目-项目介绍

1-1 项目介绍

001-项目介绍-课程体系
002-项目介绍-什么是用户画像-应用场景-精细化运营
003-项目介绍-什么是用户画像-应用场景-推荐系统
004-项目介绍-什么是用户画像-概念

1-2 计算框架选型

005-项目介绍-计算框架选型-离线数仓
006-项目介绍-计算框架选型-实时数仓
007-项目介绍-计算框架选型-离线画像
008-项目介绍-计算框架选型-实时画像

1-3 项目结构

009-项目介绍-项目结构-项目功能
010-项目介绍-项目结构-项目架构
011-项目介绍-项目结构-项目情况

第二章用户画像项目-集群搭建

2-1 集群介绍

012_集群搭建_设计集群_资源预估
013_集群搭建_设计集群_完成
014_集群搭建_部署和管理集群的工具_介绍
015_集群搭建_部署和管理集群的工具_三种部署方式

2-2 自动化部署

016_集群搭建_自动创建虚拟机_介绍Vagrant
017_集群搭建_自动创建虚拟机_初体验
018_集群搭建_自动创建虚拟机_Provision
019_集群搭建_自动创建虚拟机_创建集群
020_集群搭建_自动化部署_Ansible介绍
021_集群搭建_自动化部署_脚本结构
022_集群搭建_自动化部署_部署完成

第三章用户画像项目-数据抽取

3-1 数据抽取介绍

023_数据抽取_BulkLoad介绍
024_数据抽取_ToHive
025_数据抽取_ToHBase_工程创建
026_数据抽取_ToHBase_思路梳理

3-2 数据抽取实现

027_数据抽取_ToHBase_SaveAsHFile
028_数据抽取_ToHBase_BulkLoad
029_数据抽取_ToHBase_任务执行

第四章用户画像项目-调度平台介绍

4-1 调度平台

030_调度平台_项目结构
031_调度平台_Oozie介绍
032_调度平台_Oozie组件
033_调度平台_访问流程
034_调度平台_调用Oozie的流程

第五章用户画像项目-匹配型标签

5-1 SHC 介绍

035_匹配型标签_SHC读取
036_匹配型标签_SHC写入
037_匹配型标签_SHC使用JSON的Catalog

5-2 性别标签

038_匹配型标签_性别标签_标签处理流程
039_匹配型标签_性别标签_读取四级标签数据
040_匹配型标签_性别标签_标签转对象和读取五级标签
041_匹配型标签_性别标签_读取元数据
042_匹配型标签_性别标签_元数据分类
043_匹配型标签_性别标签_源数据读取
044_匹配型标签_性别标签_标签匹配
045_匹配型标签_性别标签_存入画像表
046_匹配型标签_优化点_SHC工具类

5-3 职业标签

047_匹配型标签_职业标签_上线流程
048_匹配型标签_职业标签_读取标签
049_匹配型标签_职业标签_读取数据源
050_匹配型标签_职业标签_计算保存

5-4 其它标签

051_匹配型标签_基类抽取_完成
052_匹配型标签_国籍标签
053_匹配型标签_政治面貌
054_匹配型标签_调度执行

第六章用户画像项目-存储选型

6-1 MySQL

055-项目介绍-存储选型-访问特点
056-项目介绍-存储选型-MySQL-查找二叉树
057-项目介绍-存储选型-MySQL-B树
058-项目介绍-存储选型-MySQL-B树-插入
059-项目介绍-存储选型-MySQL-B+树-问题1(950剪辑)
060-项目介绍-存储选型-MySQL-B+树-问题2
061-项目介绍-存储选型-MySQL-总结

6-2 Hbase

062-项目介绍-存储选型-HBase-LSM
063-项目介绍-存储选型-HBase-特点-回顾
064-项目介绍-存储选型-HBase-特点-优化1
065-项目介绍-存储选型-HBase-特点-优化2
066-项目介绍-存储选型-HBase-总结
067-项目介绍-存储选型-总结

第七章用户画像项目-统计型标签

7-1 统计型标签

068_统计型标签_年龄段
069_统计型标签_支付方式_统计数量
070_统计型标签_支付方式_分组的迷思
071_统计型标签_支付方式_完成
072_统计型标签_支付方式_最近
073_统计型标签_消费周期

第八章用户画像项目-机器学习入门

8-1 机器学习介绍

074_机器学习入门_什么是学习型算法
075_机器学习入门_概念

8-2 Zeppelin

076_机器学习入门_Zeppelin_安装
077_机器学习入门_Zeppelin_介绍
078_机器学习入门_Zeppelin_基础使用

8-3 房价案例

079_机器学习入门_房价预测_绘制价格直方图
080_机器学习入门_房价预测_绘制特征关系
081_机器学习入门_房价预测_算法选择
082_机器学习入门_房价预测_空值处理
083_机器学习入门_房价预测_顺序特征编码
084_机器学习入门_房价预测_组合特征
085_机器学习入门_房价预测_特征编码_查看特征
086_机器学习入门_房价预测_特征编码_Indexer
087_机器学习入门_房价预测_OneHot
088_机器学习入门_房价预测_生成特征列
089_机器学习入门_房价预测_模型建立

第九章用户画像项目-挖掘型标签

9-1 RFM

090_挖掘型标签_用户价值模型_需求
091_挖掘型标签_用户价值模型_RFM
092_挖掘型标签_用户价值模型_实现步骤
093_挖掘型标签_用户价值模型_求得RFM
094_挖掘型标签_用户价值模型_打分
095_挖掘型标签_用户价值模型_训练
095_挖掘型标签_用户价值模型_预测
096_挖掘型标签_用户价值模型_生成标签
097_挖掘型标签_用户活跃度模型

9-2 PSM

098_挖掘型标签_价格敏感度_PSM求值思路
099_挖掘型标签_价格敏感度_PSM打分
100_挖掘型标签_价格敏感度_肘部法则

9-3 购物性别

101_挖掘型标签_购物性别_决策树
102_挖掘型标签_购物性别_创建多源基类
103_挖掘型标签_购物性别_数据处理
104_挖掘型标签_购物性别_训练预测
105_挖掘型标签_购物性别_完结

阶段十大项目实战二千亿级数据仓库

展开

第一章千亿级电商数仓项目-离线部分-数仓概述及kettle框架学习

1-1 项目概述

01-课程目标
02-电商行业与电商系统介绍
03-数仓项目整体技术架构介绍
04-数仓项目架构-kylin补充
05-数仓具体技术介绍与项目环境介绍

1-2 kettle安装及使用

06-kettle的介绍与安装
07-kettle的入门案例
08-kettle输入组件之json输入与表输入
09-kettle输入组件之生成记录组件
10-kettle输出组件之文本文件输出
11-kettle输出组件之表输出插入更新删除组件

1-3 kettle整合大数据框架

12-kettle整合hadoop
13-kettle-hadoopfileinput组件
14-kettle-hadoopfileoutput组件
15-kettle整合hive
16-kettle-hive表输入组件
17-kettle-hive表输出组件
18-kettle执行hivesql组件

1-4 kettle转换组件

19-kettle转换组件之值映射增加序列字段选择

1-5 kettle流程控件

20-kettle流程控件-switchcase组件
21-kettle流程控件-过滤记录组件

1-6 kettle连接组件

22-kettle连接组件

1-7 kettle作业及linux部署

23-kettle的作业介绍
24-kettle-转换命名参数
25-linux部署kettle
26-pansh执行转换任务
27-kitchensh执行转换任务

第二章千亿级电商数仓项目-离线部分-数仓分层设计及业务数据采集

2-1 数仓理论

01-课程目标与课程内容介绍
02-数仓维度建模设计
03-数仓为什么分层
04-数仓分层思想和作用
05-数仓中表的分类和同步策略
06-数仓中表字段介绍以及表关系梳理

2-2 项目环境初始化

07-项目环境初始化

2-3 缓慢变化维

08-缓慢变化维问题以及常见解决方案
09-商品案例-每日全量采集方案
10-每日全量案例实现

2-4 拉链表技术

11-拉链表技术介绍
12-拉链表技术实现-第一次导入数据到拉链表
13-拉链表技术实现--历史数据更新
14-拉链表技术实现-新增数据插入以及合并

2-5 数据采集

15-商品维度数据第一次全量导入拉链表
16-商品维度数据第二次增量导入
17-周期性事实表同步操作
18-其余表增量抽取

第三章千亿级数仓-离线部分-订单业务指标实现

3-1 订单时间维度指标实现

01-今日课程内容和课程目标
02-订单时间维度指标需求分析
03-使用kettle生成日期维度数据
04-订单指标时间维度分析--每个季度
05-订单指标时间维度-每个月-每个周-休息日节假日工作日

3-2 订单指标区域维度商品分类维度实现

06-订单指标区域维度和分类维度需求分析
07-店铺区域维度数据拉宽
08-商品分类表维度数据拉宽
09-事实表维度数据拉宽操作
10-全国无商品分类维度指标统计
11-全国一级商品分类维度指标开发
12-大区二级商品分类维度指标统计

3-3 用户订单行为指标

13-用户订单行为指标需求分析
14-ETL处理-订单时间标志宽表处理
15-用户订单行为指标开发一
16-指标开发第二部分
17-指标开发第四部分
18-创建ads层指标表存储数据

第四章千亿级电商数仓项目-离线部分-日志数据采集及ETL处理

4-1 数据采集-flume0

01-今日课程目标与课程内容介绍
02-网站流量日志获取方式介绍
03-埋点js自定义采集原理分析
04-网站流量日志-flume采集
05-flume采集核心配置介绍
06-flume采集程序启动验证
07-flume采集输出hdfs目录分析
08-flume自定义拦截器代码编写- (1)
08-flume自定义拦截器代码编写- (2)

4-2 ETL处理-点击流模型

10-ETL处理pageview-visit模型介绍及实现思路
11-ETL处理-创建hive表接收ETL处理后数据
12-ETL处理代码-普通版本-数据清洗过滤实现
13-ETL处理代码-普通版本-pageview模型实现
14-ETL处理代码-visit模型以及程序运行验证
15-ETL处理代码-数据倾斜解决思路
16-ETL处理代码-数据倾斜版本-rangepartitioner均匀分区实现
17-ETL处理代码-数据倾斜版本-第一次生成sessionid
18-ETL处理代码-数据倾斜版本-使用累加器修复分区边界
19-ETL处理代码-数据倾斜版本-边界修复验证
20-ETL处理代码-数据倾斜版本-最终实现以及验证

第五章千亿级电商数仓项目-离线部分-流量指标开发

5-1 流量指标开发

01-今日课程目标与课程内容介绍
02-生成明细表数据
03-流量分析常见指标-基础级-复合级指标
04-常见流量分析模型
05-基础级指标统计
06-基础级指标多维统计分析
07-复合指标统计
08-分组topn问题-开窗函数
09-受访分析
10-访客分析
11-访客visit分析
12-数据导出

5-2 工作流调度

13-工作流调度和实现方式
14-数据导出脚本编写-第一部分
15-数据导出脚本编写-第二部分
16-增量抽取数据脚本编写
17-flume启动停止脚本与数据预处理脚本
18-ETL以及指标计算脚本编写
19-azkaban定时调度job编写

第六章千亿级电商数仓项目-离线部分-Apache kylin

6-1 kylin介绍与入门

01今日课程目标与课程内容介绍
02-kylin简介以及应用场景
03-kylin的优势以及数据流程图
04-kylin的安装
05-kylin入门案例
06-kylin入门案例结果验证
07-kylin入门案例-多张表
08-kylin入门案例-一张事实表多张维度表

6-2 kylin工作原理

09-kylin维度和度量以及cube与cuboid
10-kylin工作原理-技术架构

6-3 kylin增量构建与碎片管理

11-kylin全量构建与增量构建介绍
12-增量构建model准备
13-kylin中cube增量构建演示
14-kylin增量构建restapi方式
15-kylin碎片管理-手动合并
16-kylin碎片管理-手动删除segment
17-kylin碎片管理自动合并策略及案例
18-kylin自动保留策略以及案例
19-jdbc方式查询kylin

第七章千亿级电商数仓项目-离线部分-Apache superset

7-1 kylin优化

01-kylincube优化-确定cuboid数量与cubesize
02-cube优化-衍生维度
03-cube优化-聚合组
04-cube调优案例

7-2 数仓指标-kylin实现

05-kylin接入数仓开发

7-3 Apache superset

06-apache superset简介
07-superset的安装
08-superset入门案例
09-superset菜单功能介绍
10-superset订单案例实战
11-superset dashboard实战
12-superset的权限控制
13-superset业务开发

第八章千亿级电商数仓项目-实时部分-项目介绍及环境搭建

8-1 实时计算应用场景及技术选型

01.【实时数仓-day01】课程目标
02.【实时数仓-day01】实时计算应用场景和技术选型
03.【实时数仓-day01】项目实施环境

8-2 项目背景及架构

04.【实时数仓-day01】需求分析介绍
05.【实时数仓-day01】常见的软件工程模型
06.【实时数仓-day01】实施方案
07.【实时数仓-day01】实时数仓的整体架构

8-3 canal的介绍及安装部署

08.【实时数仓-day01】canal的介绍
09.【实时数仓-day01】canal的安装部署
10.【实时数仓-day01】canal的客户端代码编写
11.【实时数仓-day01】canal的客户端测试

8-4 protobuf介绍及使用

12.【实时数仓-day01】potobuf数据格式化的引入
13.【实时数仓-day01】protobuf的介绍及环境初始化
14.【实时数仓-day01】protobuf的使用
15.【实时数仓-day01】protobuf整合canalClient

8-5 canal架构及原理

16.【实时数仓-day01】mysql的主备原理
17.【实时数仓-day01】canal的工作原理及架构
18.【实数数仓-day01】canal的工作原理-客户端和服务端交互协议以及组件介绍
19.【实时数仓-day01】canal的工作原理EventStore
20.【实时数仓-day01】canal的工作原理Eventparser

第九章千亿级电商数仓项目-实时部分-canal客户端开发

9-1 canal的高可用部署

01.【实时数仓-day02】课程目标
02.【实时数仓-day02】canal服务端的ha设置及演示
03.【实时数仓-day02】canal客户端的ha配置

9-2 canal客户端模块开发

04.【实时数仓-day02】项目开发-环境初始化
05.【实时数仓-day02】项目开发-canal客户端-环境初始化
06.【实时数仓-day02】项目开发-canal客户端-核心代码编写
07.【实时数仓-day02】项目开发-canal客户端-自定义序列化
08.【实时数仓-day02】项目开发-canal客户端-binlog的protobuf序列化实现
09.【实时数仓-day02】项目开发-canal客户端-将binlog日志使用protobuf序列化后写入kafka集群

9-3 实时ETL模块开发环境初始化

10.【实时数仓-day02】项目开发-实时ETL-环境初始化
11.【实时数仓-day02】项目开发-实时ETL-Flink流式计算程序的初始化
12.【实时数仓-day02】项目开发-实时ETL-根据数据来源封装ETL基类

第十章千亿级电商数仓项目-实时部分-维度数据处理及logpasing框架使用

10-1 实时ETL模块维度数据处理

01.【实时数仓-day03】课程目标
02.【实时数仓-day03】实时ETL-Flink程序解析Kafka中的ProtoBuf
03.【实时数仓-day03】实时ETL-维度数据的样例类定义
04.【实时数仓-day03】实时ETL-维度数据的全量装载
05.【实时数仓-day03】实时ETL-维度数据的增量更新

10-2 实时ETL模块-logparsing框架使用

06.【实时数仓-day03】实时ETL-点击流日志ETL引入logparsing框架介绍
07.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing官方案例介绍
08.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing入门案例
09.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing框架应用到点击流日志样例类中

第十一章千亿级电商数仓项目-实时部分-点击流及订单业务数据开发

11-1 实时ETL模块-点击流数据开发

01.【实时数仓-day04】课程目标
02.【实时数仓-day04】实时ETL-点击流ETL-定义拉宽后的点击流对象样例类
03.【实时数仓-day04】实时ETL-点击流ETL-实时拉宽实现方案
04.【实时数仓-day04】实时ETL-点击流ETL-点击流日志转换成对象
05.【实时数仓-day04】实时ETL-点击流ETL-将点击流对象转换成拉宽后的点击流对象
06.【实时数仓-day04】实时ETL-点击流ETL-将拉宽后的点击流对象写入到kafka集群
07.【实时数仓-day04】实时ETL-点击流ETL-阶段总结

11-2 实时ETL模块-订单明细数据开发

08.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL需求分析
08.【实时数仓-day04】实时ETL-订单ETL-订单实时ETL业务开发
09.【实时数仓-day04】实时ETL-订单明细ETL-订单明细样例类定义
10.【实时数仓-day04】实时ETL-订单明细ETL-订单明细异步请求关联维度表数据
11.【实时数仓-day04】实时ETL-订单明细ETL-异步IO的原理
12.【实时数仓-day04】实时ETL-订单明细ETL-将订单明细数据写入到kafka集群
13.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL到hbase并测试
14.【实时数仓-day04】实时ETL-商品数据ETL-商品表数据实时拉宽写入到kafka集群

11-3 实时ETL模块-商品购物车评论数据开发

15.【实时数仓-day04】实时ETL-购物车数据ETL-购物车数据实时拉宽写入到kafka集群
16.【实时数仓-day04】实时ETL-评论数据ETL-评论数据实时拉宽写入到kafka集群
17.【实时数仓-day04】实时ETL-导入数据模拟生成器

第十二章千亿级电商数仓项目-实时部分-Phoenix及Druid部署

12-1 Phoenix的安装部署及使用

01.【实时数仓-day05】课程目标
02.【实时数仓-day05】Phoenix的介绍
03.【实时数仓-day05】Phoenix的安装部署
04.【实时数仓-day05】Phoenix的入门案例
05.【实时数仓-day05】Phoenix创建与Hbase的映射
06.【实时数仓-day05】使用Phoenix构建二级索引加快查询效率
07.【实时数仓-day05】Phoenix-使用订单明细创建Phoenix映射表并jdbc连接Phoenix

12-2 Flink的程序优化

08.【实时数仓-day05】Flink的程序优化

12-3 Druid安装部署及使用

09.【实时数仓-day05】Druid的介绍
10.【实时数仓-day05】Druid的安装和部署
11.【实时数仓-day05】Druid-Druid的入门案例
12.【实时数仓-day05】Druid-Druid的摄取本地文件案例
13.【实时数仓-day05】Druid-Druid的摄取HDFS文件案例
14.【实时数仓-day05】Druid-Druid的摄取Kafka流式数据案例
15.【实时数仓-day05】Druid-Druid的摄取配置文件格式说明
16.【实时数仓-day05】Druid-Druid的数据查询

第十三章千亿级电商数仓项目-实时部分-Druid进行OLAP分析及superset可视化

13-1 使用Druid进行OLAP分析

01.【实时数仓-day06】课程目标
02.【实时数仓-day06】Druid-jdbc操作Druid
03.【实时数仓-day06】Druid-点击流日志指标分析
04.【实时数仓-day06】Druid-订单数指标分析

13-2 数仓可视化模块介绍

05.【实时数仓-day06】导入数据可视化项目模块

13-3 Druid的架构及原理

06.【实时数仓-day06】Druid的架构和原理-索引服务介绍
07.【实时数仓-day06】Druid的架构和原理-存储服务和查询服务节点介绍
08.【实时数仓-day06】Druid的架构和原理-Druid数据存储

13-4 Superset安装部署及使用

09.【实时数仓-day06】superset的介绍
10.【实时数仓-day06】superset的安装部署
11.【实时数仓-day06】superset的入门案例
12.【实时数仓-day06】Mysql订单分析案例
13.【实时数仓-day06】superset的权限介绍
14.【实时数仓-day06】superset的自定义角色

阶段十一机器学习 (拓展课程)

展开

第一章就业课(2.0)-机器学习入门

1-1 机器学习概念入门

01-机器学习基础-课程设置及大数据和机器学习区别
02-机器学习基础-大数据时代究竟改变了什么
03-机器学习基础-大数据架构体系和机器学习在大数据架构位置
04-机器学习基础-以推荐系统为例
05-机器学习基础-人工智能应用场景
06-机器学习基础-人工智能各概念的区别和联系
07-机器学习基础-什么是机器学习问题
08-机器学习基础-基于规则的学习和基于模型的学习
09-机器学习基础-机器学习各概念详解
10-机器学习基础-机器学习概念补充及分类浅析
11-机器学习基础-监督学习详解
12-机器学习基础-无监督学习详解
13-机器学习基础-半监督学习详解
14-机器学习基础-强化学习和迁移学习
15-机器学习基础-机器学习三要素理解
16-机器学习基础-机器学习模型选择
17-机器学习基础-进入机器学习最佳时机

1-2 机器学习数学基础

01-高中基础
02-sigmod函数求导
03-tanh函数
04-凸函数
05-机器学习高数必备

第二章就业课(2.0)-机器学习语言基础之Python语言

2-1 机器学习语言基础之Python语言(上)

01.课前小序免费试学
02-机器学习语言基础-昨日回顾免费试学
03-机器学习语言基础-昨日回顾(2) 免费试学
04-机器学习语言基础-昨日补充免费试学
05-机器学习语言基础-Python基础介绍免费试学
06-机器学习语言基础-Python安装及第三方库使用免费试学
07-机器学习语言基础-安装Anaconda及组件介绍免费试学
08-机器学习语言基础-jupyter详解免费试学
09-机器学习语言基础-Pycharm和Anaconda整合免费试学
10-机器学习语言基础-Python3编码和解码原理免费试学
11-机器学习语言基础-包的导入多种形式免费试学
12-机器学习语言基础-Python数据类型免费试学
13-机器学习语言基础-Python随机数和常变量表示免费试学
14-机器学习语言基础-Python输入详解免费试学
15-机器学习语言基础-Python格式化输出免费试学
16.机器学习语言-Python快捷键详解免费试学

2-2 机器学习语言基础之Python语言(下)

01-机器学习基础-昨日回顾
02-机器学习基础-四大数据结构详解
03-机器学习基础-list集合
04-机器学习基础-list函数详解
05-机器学习基础-tuple函数详解
06-机器学习基础-dict数据结构详解
07-机器学习基础-dict函数详解
08-机器学习基础-集合的内容
09-机器学习基础-列表表达式
10-机器学习基础-元祖和生成器推导式
11-机器学习语言基础-函数类型详解
12-机器学习语言基础-函数参数类型
13-机器学习语言基础-lambda和reduce含糊
14-机器学习语言基础-条件控制语句
15-机器学习语言基础-文件读写异常信息
16-机器学习语言基础-面向对象过程
17-机器学习语言基础-GUI程序设计

第三章就业课(2.0)-Python数据分析库实战

3-1 Python数据分析库实战(上)

1-机器学习基础-昨日回顾及作业1
2-机器学习基础-卷积操作实践1
3-机器学习基础-卷积操作实践2
4-机器学习基础-随机数创建方式
5-机器学习基础-array创建方式
6-机器学习基础-矩阵的其他创建方式
8-机器学习基础-矩阵的分析方法
9-机器学习基础-矩阵的运算及分解实战详解
10-机器学习基础-Series
11-机器学习基础-DataFrame的详解
12-机器学习基础-Pandas统计计算实践
13-机器学习基础-Pandas的读取文件操作

3-2 Python数据分析库实战(下)

01-机器学习语言基础-昨日回顾及今日重点
02-机器学习语言基础-矩阵基础知识详解
03-机器学习语言基础-了解其他矩阵
04-机器学习语言基础-矩阵分解
05-机器学习语言基础-特征降维及PCA引入
06-机器学习语言基础-新坐标基的表示
07-机器学习语言基础-PCA算法思想及步骤
08-机器学习语言基础-PCA算法举例
09-机器学习语言基础-PCA实践
10-机器学习语言基础-matplotlib绘图基础
11-机器学习语言基础-Matlotlib绘制不同图形
12-机器学习语言基础-Grid和legend实战
13-机器学习语言基础-基础方式绘制图形
14-机器学习语言-面相对象方式绘制及总结

第四章就业课(2.0)-用户标签预测项目实战

4-1 用户画像标签预测实战

01-机器学习应用-昨日回顾与今日重点
02-机器学习应用-用户画像基础回顾
03-机器学习应用-理解用户画像数据
04-机器学习应用-应用标签系统
05-机器学习应用-用户画像建模基础
06-机器学习应用-决策时引入
07-机器学习应用-基于规则建树
08-机器学习应用-构建决策树三要素及熵定义
09-机器学习应用-ID3算法及改进
10-机器学习应用-剪枝
11-机器学习应用-如何计算信息增益举例
12-机器学习应用-相亲数据集实战
13-机器学习应用-相亲数据集实践改进
14-机器学习应用-iris鸢尾花识别
15-机器学习应用-手写体识别数据

4-2 集成学习算法

01-数据挖掘实战-昨日回顾1
02-数据挖掘实战-昨日回顾2
03-数据挖掘实战-Gini系数详解
04-数据挖掘实战-Cart树举例
05-数据挖掘实战-Gini系数演变过程
06-数据挖掘实战-集成学习分类
07.数据挖掘实战-随机森林原理详解
08-数据挖掘实战-Bagging算法
09-数据挖掘实战-模型偏差和方差理解
10-数据挖掘实战-Adaboost算法详解
11-Adaboost算法数学原理
12-数据挖掘实战-Adaboost算法原理举例
13-数据挖掘实战-Adaboost算法推广到多分类
14-数据挖掘实战-GBDT算法了解
15-数据挖掘实战-实战

4-3 数据挖掘项目:构建人才(用户)流失模型

01-数据挖掘项目-昨日回顾
02-数据挖掘项目-昨日回顾2
03-数据挖掘项目-项目需求说明及架构
04-数据挖掘项目-数据导入及分析
05-数据挖掘项目-数据展现
06-数据挖掘项目-不同类型数据的处理及数据切分
07-数据挖掘项目-类别型数据处理
08-数据挖掘项目-类别型数据的DictVec处理
09-数据挖掘项目-特征组合以及建模
10-数据挖掘项目-不平衡数据处理

第五章就业课(2.0)-推荐系统

5-1 推荐系统入门

01-推荐系统-昨日回顾及总结
02-推荐系统-模型保存
03-推荐系统-交叉验证方法
04-推荐系统-网格搜索
05-推荐系统-管道pipeline
06-推荐系统-什么是推荐系统及了解推荐引擎
07-推荐系统-推荐系统算法简介
08-推荐系统-用户的相似度和物品相似度度量
09-推荐系统-相似度计算
10-推荐系统-UserCF
11-推荐系统-itemCF
12-推荐系统-UserCF和ItemCF区别和联系
13-推荐系统-代码讲解
14-推荐系统-UserCF代码实战
15-推荐系统-ItemCF
16-推荐系统-架构设计

5-2 推荐案例实战(上)

01-推荐系统-昨日回顾及重点
02-推荐系统-基于KNN推荐详解
03-推荐系统-基于surprise库API实践
04-推荐系统-基于surprise电影推荐
05-推荐系统-基于SVD分解
06-推荐系统-音乐推荐
07-推荐系统-SaprkMllib简介
08-推荐系统-SparkMLLIB的Vec
09-推荐系统-SparkMLLIB基本数据类型及统计量实现
10-推荐系统-SparkMLLIB特征处理
11-推荐系统-SparkMLLIB随机森林及GBDT
12-推荐系统-LFM隐因子分解理论基础
13-推荐系统-SparkALS推荐
14-推荐系统-SparkALS代码实战
15-推荐系统-电商数据推荐案例实战

5-3 推荐案例实战(下)

01-推荐算法-昨日回顾
02-推荐算法-基于知识的推荐简介
03-推荐算法-使用关联挖掘算法的基础概念
04-推荐算法-Apriori算法
05-推荐算法-候选项集产生其他方法
06-推荐算法-Apriori算法举例
07-推荐算法-Aprori算法和FPGrowth算法总结
08-推荐算法-FPGrowth算法Spark实现详解
09-推荐算法-FPGrowth实战推荐算法项目
10-推荐算法-基于内容的推荐简介
11-推荐算法-朴素贝叶斯算法及推荐适应
12-推荐算法-图数据库

第六章就业课(2.0)-CTR点击率预估实战

6-1 CTR点击率预估实战

01-推荐算法-昨日回顾
02-推荐系统-Ctr业务描述
02-推荐系统-混合推荐算法(架构)
03-推荐系统-推荐系统评测方法
04-推荐系统-推荐项目实例简介
05-推荐系统-天池比赛
06-推荐系统-LR基础
07-推荐系统-LR原理详解
08-推荐系统-各大平台使用Ctr技术架构
09-推荐系统-Ctr的前沿技术

第七章就业课(2.0)-机器学习面试必备

7-1 机器学习面试必备

10-推荐系统-简历写法及注意事项

阶段十二云计算 (拓展课程)

展开

第一章虚拟化

1-1 kvm虚拟化部署实践（上）

01_虚拟化技术学习目标
02_虚拟化技术分类-资源提供角度
03_虚拟化技术分类-虚拟化实现方式角度
04_传统虚拟机与容器对比
05_hypervisor管理类工具介绍
06_QEMU介绍
07_KVM介绍
08_QEMU-KVM介绍
09_libvirt介绍
10_kvm虚拟机管理工具部署环境检查
11_kvm虚拟机使用环境检查
12_前段内容回顾
13_虚拟机安装前配置
14_虚拟机安装自定义配置
15_安装windows虚拟机(全虚拟化驱动)
16_安装windows虚拟机(磁盘半虚拟化驱动)
17_安装windows虚拟机(网卡及pci驱动)
18_virt-install安装linux虚拟机
19_virt-install安装虚拟机案例说明
20_查看虚拟机及虚拟机组成文件介绍
21_设置虚拟机开启自启动
22_网络配置文件
23_存储池配置文件
24_CPU热添加
25_内存气球

1-2 kvm虚拟化部署实践（下）

01_kvm虚拟机网络技术-vm连接网络方法
02_kvm是否使用半虚拟化驱动查看方法
03_kvm虚拟机添加网卡
04_设置虚拟机网卡驱动
05_通过xml删除网卡
06_virt-manager创建网络
07_测试新添加网络可用性
08_生成新网络配置文件
09_通过网络配置文件创建网络
10_通过virt-manager及virsh命令创建网桥
11_删除桥接方法
12_虚拟机使用桥接的方式
13_通过virt-manager添加硬盘
14_通过virsh命令添加硬盘
15_硬盘持久化添加
16_本地存储池添加
17_网络存储池添加
18_网络与存储总结
19_镜像格式介绍
20_磁盘镜像创建
21_查看磁盘镜像信息
22_磁盘镜像格式转换
23_后备镜像及前端镜像介绍
24_基于前端镜像创建虚拟机
25_guestfish使用
26_虚拟机管理
27_kvm模板机准备
28_获取磁盘镜像模板
29_获取配置文件模板
30_通过模板文件创建虚拟机的思路
31_编写kvm虚拟机批量管理脚本
32_kvm虚拟化管理平台介绍

第二章阿里云

2-1 01_ECS

01_阿里云介绍及注册
02_阿里云控制台介绍
03_阿里云管理控制台介绍
04_阿里云专有网络介绍及创建
05_阿里云安全组介绍及创建
06_阿里云ECS购买
07_阿里云ECS使用

2-2 02_RDS

01_阿里云RDS购买
02_阿里云RDS使用

2-3 03_NAS

01_阿里云NAS

2-4 04_OSS

01_存储类型介绍
02_阿里云对象存储-bucket创建
03_阿里云对象存储-accesskey创建
04_阿里云对象存储-oss挂载
05_阿里云对象存储-验证

2-5 05_SLB

01_阿里云SLB购买
02_阿里云SLB使用

2-6 06_CDN

01_CDN加速器介绍
02_CDN设置

第三章私有云

3-1 OpenStack私有云企业级实战

01_主机使用情况_为什么使用云计算_云计算历史
02_云计算是什么
03_云计算技术实现的分类
04_云计算分类
05_云计算基本架构
06_云计算基本架构几点思考
07_虚拟化与云计算之间的关系
08_openstack历史
09_openstack官方介绍
10_openstack核心服务及其它介绍
11_openstack逻辑图
12_openstack架构图及概念图
13_openstack组件介绍
14_openstack网络介绍及实现环境说明
15_openstack手动部署-主机规划
16_openstack手动部署-controller系统准备
17_openstack手动部署-computer系统准备
18_openstack手动部署-cinder系统准备
19_openstack手动部署-主机IP准备
20_openstack手动部署-基础环境准备
21_openstack手动部署-YUM源准备
22_openstack手动部署-openstack客户端软件准备
23_openstack手动部署-mariadb数据库准备
24_openstack手动部署-rabbitmq基础配置
25_openstack手动部署-rabbitmq web页面管理配置
26_openstack手动部署-memcached安装并配置
27_openstack手动部署-keystone功能
28_openstack手动部署-keystone核心概念
29_openstack手动部署-keystone-数据库配置
30_openstack手动部署-keystone-软件安装
31_openstack手动部署-keystone-配置文件修改
32_openstack手动部署-keystone-初始化信息-同步数据库信息
33_openstack手动部署-keystone-初始化信息-keystone认证信息
34_openstack手动部署-keystone-初始化信息-openstack管理员admin账户初始化
35_openstack手动部署-keystone-httpd服务启动
36_openstack手动部署-keystone-在命令行添加变量用于操作云平台
37_openstack手动部署-keystone-创建service项目
38_openstack手动部署-keystone-创建demo项目
39_openstack手动部署-keystone-创建demo用户
40_openstack手动部署-keystone-创建user角色
41_openstack手动部署-keystone-添加demo用户到user角色
42_openstack手动部署-keystone-验证keystone可用性
43_openstack手动部署-glance组件介绍-
44_openstack手动部署-glance镜像介绍
45_openstack手动部署-glance数据库创建
46_openstack手动部署-glance安装
47_openstack手动部署-glance-api配置文件修改
48_openstack手动部署-glance-registry配置文件修改
49_openstack手动部署-glance数据库同步
50_openstack手动部署-glance权限配置
51_openstack手动部署-glance服务启动及上传镜像
52_前段内容总结
53_openstack手动部署-nova-组件介绍
53_openstack手动部署-nova-调度策略
54_openstack手动部署-nova-数据库准备
55_openstack手动部署-nova-controller软件安装
56_openstack手动部署-nova-nova.conf配置文件修改
57_openstack手动部署-nova-placement-api配置文件修改
58_openstack手动部署-nova-同步数据库信息
59_openstack手动部署-nova-添加nova用户-compute server-endpoint
59_openstack手动部署-nova-添加placement用户及服务及端点
60_openstack手动部署-nova-controller节点启动服务
61_openstack手动部署-nova-computer节点配置nova
62_openstack手动部署-nova-computer节点配置启动nova服务
63_openstack手动部署-nova-controller节点验证计算节点并添加到数据库
64_openstack手动部署-neutron-概念
65_openstack手动部署-neutron-组件
66_openstack手动部署-neutron-数据库准备
67_openstack手动部署-neutron-软件安装
68_openstack手动部署-neutron-权限配置
69_openstack手动部署-neutron-ml2配置文件修改
69_openstack手动部署-neutron-neutron配置文件修改
71_openstack手动部署-neutron-linuxbridge配置文件修改
72_openstack手动部署-neutron-dhcp配置文件修改
72_openstack手动部署-neutron-l3配置文件修改
72_openstack手动部署-neutron-metadata配置文件修改
73_openstack手动部署-neutron-nova配置文件修改
73_openstack手动部署-neutron-同步数据库及服务启动
74_openstack手动部署-neutron-computer节点neutron配置
75_openstack手动部署-neutron-controller节点验证
76_openstack手动部署-nova总结
77_openstack手动部署-neutron总结
78_openstack手动部署-nova-排错过程
79_openstack手动部署-neutron-排错过程
80_openstack手动部署-dashboard-horizon介绍
81_openstack手动部署-dashboard-local_settings配置文件修改
82_openstack手动部署-dashboard-启动及登录
83_openstack手动部署-dashboard-dashboard介绍
84_openstack手动部署-cinder-cinder介绍
85_openstack手动部署-cinder-cinder组件介绍
86_openstack手动部署-cinder-cinder数据库
87_openstack手动部署-cinder-cinder配置文件修改
88_openstack手动部署-cinder-配置nova使用cinder
89_openstack手动部署-cinder-权限配置
90_openstack手动部署-cinder-启动服务并验证
91_openstack手动部署-cinder-cinder后端lvm配置
92_openstack手动部署-cinder-cinder配置文件修改
93_openstack手动部署-cinder-cinder使用验证
94_openstack手动部署-云平台使用-创建网络
95_openstack手动部署-云平台使用-创建云主机并验证连网功能
96_openstack手动部署-前段总结-3
97_openstack总结

第四章容器

4-1 企业级容器实战之Docker

01_虚拟化技术回顾
02_主机虚拟化与容器虚拟化区别及优缺点
03_云平台技术实现方式
04_容器涉及的内核技术-NameSpace
05_容器涉及的内核技术-CGroups
06_Cgroup九大子系统介绍
07_Cgroup限制进程对CPU使用案例
08_Cgroup限制进程对memory使用案例
09_容器技术发展历史及容器管理工具介绍
10_docker版本介绍
11-docker部署YUM源获取
12_docker-ce安装及服务启动
13_容器镜像获取
14_运行一个容器
15_docker_daemon配置远程及本地管理
16_docker命令行命令介绍
17_docker获取镜像
18_docker容器镜像传输
19_docker容器运行bash命令
20_docker容器运行httpd服务
21_把正在运行的容器打包后导入为容器镜像
22_查看容器IP地址方法
23_停止一个或多个正在运行的容器
24_启动一个已停止的容器及删除一个已停止容器
25_容器端口映射
26_数据持久化存储
27_容器时间同步
28_在容器外执行容器内命令
29_容器之间使用link连接
30_容器镜像介绍
31_基础镜像制作
32_应用镜像制作-commit
33_docker build使用Dockerfile创建应用镜像介绍
33_docker build使用Dockerfile创建应用镜像过程分析
34_docker build使用Dockerfile创建应用镜像案例
35_docker build使用Dockerfile创建应用镜像案例-替代原网站内容
36_docker build使用Dockerfile创建nginx应用镜像案例
37_容器镜像—容器本身存储数据的位置及方法
38_overlay及overlay2工作原理
39_overlay2存储容器数据方法验证
40_容器公有仓库注册及登录
41_公有仓库容器镜像上传及下载
42_docker中国镜像加速器介绍及应用
43_阿里云镜像加速器介绍及应用
44_创建本地非安全镜像仓库
45_创建本地非安全镜像仓库-其它主机中验证是否可用
46_准备pip-docker-compose-harbor
47_harbor部署及镜像上传
48_下载harbor仓库中容器镜像并应用
49_docker网络介绍-四种网络
50_docker跨主机容器间通信网络介绍
51_docker跨主机容器间通信网络-环境准备
52_docker跨主机容器间通信网络-配置etcd及flannel
53_docker跨主机容器间通信网络-node1验证
54_docker跨主机容器间通信网络-node2验证
55_容器编排部署介绍
56_容器编排部署工具介绍
57_docker-compose编排工具介绍
58_docker-compose编排应用案例-haproxy
59_docker-compose编排应用案例-flask-redis
60_docker-compose编排应用案例-wordpress
61_docker_swarm是什么
62_docker_swarm架构
63_docker_swarm集群环境准备
64_docker_swarm初始化
65_docker_swarm发布服务前镜像准备
66_docker_swarm发布服务
67_docker_swarm多服务发布
68_docker_swarm发布服务挂载本地卷
69_docker_swarm网络存储卷-nfs准备
70_docker_swarm网络存储卷-存储卷创建
71_docker_swarm网络存储卷-手动创建service使用卷
72_docker_swarm网络存储卷-编排部署service使用卷
73_代码自动发布系统介绍-流程及工具
74_代码自动发布系统介绍-主机规划
75_代码自动发布系统介绍-主机准备
76_代码自动发布系统介绍-jenkins-server安装jdk-jenkins
77_代码自动发布系统介绍-开发人员主机及gitlab主机安装软件
78_代码自动发布系统介绍-jenkins-server安装maven-git-docker
79_代码自动发布系统介绍-harbor-server安装harbor-docker
80_代码自动发布系统介绍-web-server安装docker
81_代码自动发布系统介绍-添加开发者密钥至gitlab
82_代码自动发布系统介绍-添加jenkins密钥至gitlab及添加jenkins-server访问gitlab-server凭据
83_代码自动发布系统介绍-添加jenkins用户到docker用户组
84_代码自动发布系统介绍-jenkins-server添加插件
85_代码自动发布系统介绍-jenkins全局工具配置
86_代码自动发布系统介绍-jenkins系统配置-ssh配置
87_代码自动发布系统介绍-项目代码获取及数据库配置
88_代码自动发布系统介绍-项目代码上传至gitlab-server
89_代码自动发布系统介绍-准备项目发布基础应用镜像-tomcat镜像
90_代码自动发布系统介绍-jenkins任务创建
91_代码自动发布系统介绍-项目发布过程

第五章容器编排k8s

5-1 Kubernetes/K8S容器编排工具（上）

2-docker三剑客名词介绍
3-docker-machine与docker-compose介绍
4-docker-compose使用的三步
5-docker-compose语法讲解1
6-docker-compose语法讲解2avi
7-docker-compose案例1
8-docker-compose案例2
9-docker-compose案例3
10-docker-swarm简介与集群环境准备
11-docker-swarm集群搭建
12-harbor准备两个版本的nginx镜像
13-发布服务-路由网格
14-负载均衡-扩展与裁减
15-版本更新-版本回退-滚动间隔更新
16-本地存储卷与网络存储卷
17-服务互联与服务发现
18-小结
1-容器认识1
2-容器认识2
3-docker介绍-版本
4-docker容器使用的内核技术介绍
5-docker安装
6-docker客户端与服务端分离
7-远程docker操作演示-还原环境
8-镜像-容器-仓库概念
9-查找镜像-下载镜像-删除镜像
10-配置镜像加速器
11-镜像导出与导入方法
12-镜像仓库分类-公网仓库创建与操作演示
13-harbor介绍-harbor安装过程1
14-harbor安装过程2
15-harbor上传下载
16-镜像小结avi
17-容器常见操作1
18-容器常见操作2
1-docker命令回顾-commit提交镜像
2-docker-exec操作
3-docker常见操作总结(重点)
4-写时复制和用时分配技术讲解
5-联合文件系统介绍-autfs介绍
6-aufs过渡到overlay
7-通过操作来理解overlay
8-docker存储驱动小结
9-容器跑httpd案例1
10-自定义httpd容器并提交为镜像-docker-run启动应用详解
11-docker数据卷
12-docker数据卷小结-官方httpd镜像运行容器
13-docker跑mariadb或mysql应用
14-docker跑应用补充与小结
1-dockerfile介绍-参数讲解1
2-dockerfile参数讲解2
3-dockerfile构建httpd镜像
4-dockerfile构建httpd镜像2
5-dockerfile构建tomcat镜像
6-dockerfile构建tomcat多种方法之间的比较
7-dockerfile构建mariadb镜像
8-docker构建mariadb镜像2-小结
9-docker单宿主机容器互联
10-docker本地网络-bridge模式
11-docker本地网络-host-none-container模式
12-跨docker_host网络方案flannel介绍
13-flanned网络搭建过程
14-flanned网络测试与网络小结
15-docker的web管理平台-小结
5-kubernetes介绍
6-kubernetes架构介绍1
7-k8s附件介绍
8-k8s核心概念
9-k8s核心概念2
10-微服务架构
11-k8s部署前准备
12-k8s基础环境准备过程
13-k8s软件包安装-初始化1
14-k8s初始化2-启动集群-安装flannel网络-加入node节点

5-2 Kubernetes/K8S容器编排工具（中）

1-k8s环境恢复与kubectl命令说明
2-k8s节点基础操作-node标签
3-node相关操作小结
4-namespace命名空间
5-工作负载-pod介绍与pod的YAML格式说明
6-编排并创建自主式pod
7-pod节点选择器-pod限制资源
8-pod内包含多个容器-吃饭pod里的容器进行操作
9-pod的生命周期说明
10-pod的liveness-exec健康检查
11-pod的liveness-httpget健康检查
12-pod的liveness-tcp健康检查
13-pod的readiness健康检查-readiness+liveness综合应用
14-post-start与pre-stop
15-pod调度与约束方法

5-3 Kubernetes/K8S容器编排工具（下）

2-控制器分类与介绍avi
3-命令方式与YAML方式创建depolyment
4-pod与rs分开的讨论(拓展)
5-删除与访问deployment-通过rs实现pod的高可用测试
6-pod版本升级与回退
7-关于deployment标签的错误更正说明
8-deployment扩容-裁减-滚动更新
9-deployment和replicaset小结
10-daemonset控制器
11- service作用与底层实现原理
11-job控制器
12-cronjob控制器
13-命令创建clusterIP类型service并验证
14-YAML编排创建ClusterIP类型service并修改算法验证
15-修改service调度算法由iptables变为ipvs
16-headless-service无头服务(了解)
17-NodePort类型service与loadbalancer类型service
18-ingress与externalName类型服务简介
19-rancher简单演示

阶段十三大数据-就业指导技巧

展开

第一章工作篇

1-1 工作篇

工作篇

第二章大数据市场篇

2-1 大数据-市场篇

大数据市场篇

第三章求职篇

3-1 求职篇

求职篇1简历制作
求职篇2简历投递技巧
应聘渠道使用技巧

第四章面试篇

4-1 面试篇

面试篇1
面试篇2

第五章试用期篇

5-1 试用期

试用期篇1
试用期篇2

阶段一 大数据基础增强

第一章 大数据基础增强阶段-导学

第二章 就业课（2.1）-Linux实战

第三章 就业课(2.0)-JVM优化(上)

第四章 就业课(2.0)-JVM优化(中)

第五章 就业课(2.0)-JVM优化(下)

阶段二 大数据 Hadoop 离线分布式系统

第一章 大数据 Hadoop 离线分布式系统-导学

第二章 就业课（2.1）-大数据基础和 硬件介绍

第三章 就业课（2.1）-Zookeeper组件

第四章 就业课（2.1）-HDFS组件

第五章 就业课（2.1）-MapReduce组件

第六章 就业课（2.1）-Yarn组件

第七章 就业课（2.1）-Hive组件

第八章 就业课（2.1）-Impala组件

第九章 就业课（2.1）-辅助系统工具

第十章 就业课（2.1）-网站流量日志分析

阶段三 大数据 NoSQL、Kafka和ELK技术实战

第一章 大数据 NoSQL、Kafka和ELK技术实战-导学

第二章 大数据redis

第三章 大数据kafka

第四章 大数据hbase

第五章 大数据Elasticstack

阶段四 大数据 Spark 内存计算系统

第一章 大数据 Spark 内存计算系统-导学

第二章 就业课（2.1）-Scala语言

第三章 就业课（2.1）-Spark入门以及集群搭建

第四章 就业课（2.1）-spark_rdd算子

第五章 就业课（2.1）-Spark原理_运行过程_高级特性

第六章 就业课（2.1）-sparksql

第七章 就业课（2.1）-SparkStreaming原理_运行过程_高级特性

第八章 就业课（2.1）-Structured Streaming_介绍_案例

阶段五 大数据 Spark 项目实战

第一章 大数据 Spark 项目实战-导学

第二章 就业课（2.1）-Kudu入门_项目介绍_ CDH搭建

第三章 就业课（2.1）-Kudu_javaApi使用_Spark整合

第四章 就业课（2.1）-DMP项目_业务介绍_框架搭建

第五章 就业课（2.1）-DMP项目_IP转换_报表统计

第六章 就业课（2.1）-DMP项目_实现商圈库功能

第七章 就业课（2.1）-DMP项目_统一识别

阶段六 大数据 Flink 实时计算系统

第一章 大数据 Flink 实时计算系统-导学

第二章 就业课（2.1）-Flink基础

第三章 就业课（2.1）-Flink 高级进阶

阶段七 大数据 Flink 项目实战

第一章 大数据 Flink 项目实战-导学

第二章 就业课（2.1）-Flink电商指标分析项目

阶段八 大数据新技术实战详解

第一章 大数据新技术实战详解-导学

第二章 就业课（2.1）-druid

阶段九 大项目实战一 企业级360°全方位用户画像

第一章 用户画像项目-项目介绍

第二章 用户画像项目-集群搭建

第三章 用户画像项目-数据抽取

第四章 用户画像项目-调度平台介绍

第五章 用户画像项目-匹配型标签

第六章 用户画像项目-存储选型

第七章 用户画像项目-统计型标签

第八章 用户画像项目-机器学习入门

第九章 用户画像项目-挖掘型标签

阶段十 大项目实战二 千亿级数据仓库

第一章 千亿级电商数仓项目-离线部分-数仓概述及kettle框架学习

第二章 千亿级电商数仓项目-离线部分-数仓分层设计及业务数据采集

第三章 千亿级数仓-离线部分-订单业务指标实现

第四章 千亿级电商数仓项目-离线部分-日志数据采集及ETL处理

第五章 千亿级电商数仓项目-离线部分-流量指标开发

第六章 千亿级电商数仓项目-离线部分-Apache kylin

第七章 千亿级电商数仓项目-离线部分-Apache superset

第八章 千亿级电商数仓项目-实时部分-项目介绍及环境搭建

第九章 千亿级电商数仓项目-实时部分-canal客户端开发

第十章 千亿级电商数仓项目-实时部分-维度数据处理及logpasing框架使用

第十一章 千亿级电商数仓项目-实时部分-点击流及订单业务数据开发

第十二章 千亿级电商数仓项目-实时部分-Phoenix及Druid部署

第十三章 千亿级电商数仓项目-实时部分-Druid进行OLAP分析及superset可视化

阶段十一 机器学习 (拓展课程)

第一章 就业课(2.0)-机器学习入门

第二章 就业课(2.0)-机器学习语言基础之Python语言

第三章 就业课(2.0)-Python数据分析库实战

第四章 就业课(2.0)-用户标签预测项目实战

第五章 就业课(2.0)-推荐系统