阶段一 大数据开发基础(SQL+Kettle+FineBI)
展开第一章 SQL

1-1 数据库基础

- 02-(了解)MySQL基础学习目标
- 03-(了解)数据库介绍
- 04-(掌握)MySQL概述与软件下载
- 05-(了解)MySQL8.0下载
- 06-(了解)Windows版本MySQL安装
- 07-(重点)小皮面板与DataGrip软件安装与连接操作
- 08-(重点)DataGrip软件配置
1-2 DDL

- 09-(理解)SQL语言概述与SQL通用写法
- 10-(重点)DDL之数据库管理
- 11-(重点)DDL之数据表创建过程
- 12-(案例)数据表创建案例
- 13-(重点)DDL之数据表查看
- 14-(答疑)反撇号与引号区别
- 15-(重点)DDL之数据表修改(字段添加)
- 16-(重点)DDL之数据表修改(字段名称与类型修改)
- 17-(重点)DDL之数据表修改(字段删除)
- 18-(重点)DDL之数据表修改(数据表重命名)
- 19-(重点)DDL之数据表删除
- 20-(小结)数据表的增删改查
1-3 DML

- 21-(重点)数值类型(整数与浮点类型)
- 22-(重点)日期时间与文本类型
- 01-(回顾)昨日回顾
- 02-(重点)DML之数据插入操作
- 03-(重点)DML之数据更新操作
- 04-(重点)DML之数据删除操作
1-4 SQL约束

- 05-(重点)五大约束之主键约束
- 06-(重点)主键约束的添加与删除操作
- 07-(扩展)自动增长序列
- 08-(补充)如何移除带有自动增长的主键
- 09-(重点)五大约束之非空约束
- 10-(重点)五大约束之唯一约束
- 11-(回顾)上午知识点小结
- 12-(重点)五大约束之默认值约束
- 13-(重点)五大约束之外键约束
- 14-(小结)五大约束
1-5 SQL条件查询

- 15-(重点)简单查询
- 16-(重点)五子句之where子句与比较查询
- 17-(重点)五子句之where子句与范围查询
- 18-(重点)五子句之where子句与逻辑查询
- 19-(重点)五子句之where模糊查询
- 20-(重点)五子句之where非空查询
1-6 SQL聚合函数

- 21-(重点)聚合函数
- 22-(理解)聚合函数不统计空值
- 23-(重点)五子句之group by分组子句
- 24-(扩展)回溯统计
- 25-(重点)五子句之having子句
- 01-(回顾)昨日回顾
- 02-(重点)五子句之order by排序子句
- 03-(重点)五子句之limit子句限制查询数量
- 04-(重点)五子句之limit分页查询子句
- 05-(小结)五子句查询小结
- 06-(重点)distinct针对某列进行去重操作
1-7 SQL多表查询

- 07-(数据)多表数据集准备
- 08-(理解)多表查询之交叉连接查询
- 09-(重点)多表查询之内连接查询
- 10-(重点)多表查询之书写规则
- 11-(回顾)上午知识点小结
- 12-(重点)多表查询之内连接查询的另外一种写法
- 13-(重点)多表查询之外连接查询
- 14-(小结)内连接查询与外连接查询区别
- 15-(了解)自连接查询与数据集准备
- 16-(重点)多表查询之自连接查询代码实现
1-8 SQL外键约束

- 17-(理解)表与表之间关系
- 18-(扩展)外键约束
- 19-(扩展)引擎概念与外键关系
1-9 SQL子查询

- 20-(重点)子查询概念与案例演示
- 21-(重点)子查询案例2
- 22-(重点)子查询案例3
- 01-(回顾)昨日回顾
1-10 窗口函数

- 02-(重点)窗口函数学习目标
- 03-(重点)窗口函数概述
- 04-(案例)聚合函数与窗口函数比较
- 05-(重点)数据集准备
- 06-(重点)窗口函数基本语法与使用案例
- 07-(重点)窗口函数案例
- 08-(重点)窗口函数案例
- 09-(重点)把over()计算结果进行进一步计算
- 10-(重点)窗口函数基本概念
- 11-(理解)数据集介绍
- 12-(重点)rank()排名函数
- 13-(重点)dense_rank()排名函数
- 14-(重点)row_number()排名函数
第二章 Kettle

2-1 Kettle入门

- 15-(回顾)上午知识点小结
- 16-(了解)可视化ETL工具之Kettle
- 17-(重点)JDK环境配置
- 18-(重点)Kettle软件安装与启动
- 19-(重点)Kettle快速入门
- 20-(重点)程序小姐姐的烦恼(上)
- 21-(重点)程序小姐姐的烦恼(下)
2-2 Kettle使用

- 22-(重点)数据库连接共享
- 23-(重点)抽取MySQL数据装载到MySQL数据库中
- 01-(回顾)昨日回顾
- 02-(重点)数据表转换加载到数据表中
- 03-(重点)插入更新组件
- 04-(问题)常见问题汇总
- 05-(重点)switch-case组件
- 06-(重点)SQL脚本组件
- 07-(重点)执行带有参数的SQL脚本
- 08-(重点)Job计划任务
第三章 FineBI

3-1 FineBI

- 09-(了解)BI系统概述
- 10-(了解)FineBI概述
- 11-(重点)FineBI安装以及试用
- 12-(回顾)上午知识点小结
3-2 FineBI综合案例

- 13-(重点)各学科学员数量分析
- 14-(重点)某集团各省份销售额与利润额分析
- 15-(案例)数据集准备(宽表来源)
- 16-(案例)每月销售额与毛利额信息展现
- 17-(案例)销售额环比数据与毛利额环比数据分析
- 18-(案例)全国各省份城市毛利率
- 19-(案例)全国各门店毛利率
- 20-(案例)全国各门店商品类别销售情况分析
- 21-(案例)全国各门店商品销售额与毛利率象限图
阶段二 Python基础编程
展开第一章 Python基础语法

1-1 Python概述

- 00-课程阶段及注意事项
- 01-Python概述
1-2 Pyhton解释器与Pycharm安装配置

- 02-Python解释器及pycharm安装
- 03-pycharm配置
1-3 Python变量与注释

- 04-注释
- 05-变量
- 06-上午知识回顾
1-4 变量使用与debug工具

- 07-标识符命名规范
- 08-变量的使用
- 09-变量类型
- 10-常见bug及调试工具使用
1-5 Python格式化输出

- 11-输出
- 12-格式化输出
- 13-今日总结
- 00-反馈及复习
1-6 输入与类型转化

- 01-转译字符
- 02-f-string
- 03-习题讲解1
- 04-input输入
- 05-数据类型转换
1-7 Python运算符

- 06-算数运算符
- 07-算数运算符优先级
- 08-赋值运算符
- 09-上午知识点复习
- 10-复合赋值运算符
- 11-比较运算符
- 12-逻辑运算符
- 13-短路运算
- 14-世界杯案例
1-8 Python分支语句

- 15-分支语句语法
- 16-分支语句注意事项
- 17-练习讲解2
- 18-if嵌套
- 19-猜拳游戏
- 20-三目运算符
1-9 分支总结与复习

- 21-今日总结
- 00-反馈和复习
1-10 while循环

- 01-循环介绍
- 02-while循环体验
- 03-while循环案例
- 04-break和continue
- 05-死循环
1-11 while循环嵌套

- 06-循环嵌套
- 07-break和continue只能控制当前循环
- 08-上午练习讲解
- 09-while嵌套案例
1-12 for循环

- 10-for循环入门
- 11-range
- 12-for循环小案例
- 13-for循环中的break和continue
- 14-for循环嵌套案例
- 15-今日总结
1-13 循环else

- 00-复习及反馈
- 01-while...else
- 02-for...else
- 03-报数游戏案例
1-14 字符串定义、切片

- 04-字符串定义
- 05-输入和输出
- 06-字符串索引
- 07-字符串切片
- 08-上午知识点复习
1-15 字符串查找、替换、合并

- 09-字符串查找方法
- 10-字符串替换
- 11-字符串拆分和合并
- 12-字符串转换
1-16 字符串删除、判断

- 13-字符串两侧内容删除
- 14-字符串对其
- 15-习题讲解
- 16-字符串判断
1-17 列表定义

- 17-列表定义
- 18-今日总结
- 01-列表的定义
1-18 列表的操作使用

- 02-列表的查询
- 03-列表的增加
- 04-列表的删除
- 05-列表的修改
- 06-列表的遍历
- 07-练习讲解及上午知识总结
- 08-列表嵌套
1-19 元组定义使用

- 09-元组的定义
- 10-元组的相关操作
1-20 字典定义使用

- 11-字典的定义
- 12-字典的增加
- 13-update补充
- 14-字典的删除
- 15-字典的修改
- 16-字典的查询
- 17-字典循环遍历
1-21 集合定义使用

- 18-集合的定义
- 19-集合的相关操作
- 00-复习及反馈
1-22 公共方法与推导式

- 01-公共方法之加法
- 02-公共方法之乘法
- 03-公共方法之in和not in
- 04-公共方法之切片
- 05-公共函数
- 06-推导式
- 07-上午知识总结
1-23 函数基本使用

- 08-函数定义及调用
- 09-函数的调用顺序
- 10-函数参数
- 11-函数的返回值
- 12-函数说明文档
- 13-函数的其嵌套
- 14-函数案例
1-24 函数作用域

- 15-局部变量和全局变量
- 16-global
- 17-函数参数进阶
1-25 总结复习

- 18-今日总结
- 00-复习和反馈
1-26 不定长参数与组包拆包

- 01-位置不定长参数
- 02-关键字不定长参数
- 03-参数的排布顺序
- 04-组包和拆包
1-27 引用类型

- 05-引用
- 06-可变和不可变类型
- 07-上午知识总结
- 08-引用当做参数传递
1-28 案例-学员管理系统

- 09-学生管理系统框架
- 10-添加学员
- 11-删除学员
- 12-修改学员
- 13-查询学员
- 14-展示所有学员
- 15-结束程序
1-29 递归与复习

- 16-递归
- 18-lambda函数
- 00-复习和反馈
1-30 文件基本操作

- 01-文件读写操作体验
- 02-文件的读取操作
- 03-文件的其他读取方式
- 04-文件的写入操作
- 05-文件的追加操作
- 06-文件的读写模式扩展
1-31 文件操作案例

- 07-文件备份案例
- 08-上午知识总结
- 09-文件操作
- 10-文件夹操作
- 11-批量修改文件名案例
第二章 Python面向对象编程

2-1 类定义与初始化

- 12-面向对象编程思想
- 13-类和对象
- 14-类的定义和实例化
- 15-self
2-2 总结与复习

- 16-今日总结
- 00-复习和反馈
2-3 示例属性操作

- 01-在类的外部添加和获取实例属性
- 02-在类的内部添加和获取实例属性
2-4 魔法方法

- 03-魔术方法介绍
- 04-__init__()方法
- 05-带参数的__init__()方法
- 06-__str__()方法
- 07-__del__()方法
2-5 面向对象案例

- 08-上午知识回顾
- 09-面向对象案例
2-6 面向对象封装与继承

- 10-封装
- 11-私有属性和私有方法
- 12-继承介绍
- 13-单继承
- 14-多继承
2-7 面向对象多态

- 15-子类中重写父类方法
- 16-今日总结
- 00-复习与反馈
- 01-子类对象调用父类方法
- 02-多态
2-8 类属性方法

- 03-类属性
- 04-类方法
- 05-静态方法
- 06-面向对象案例
2-9 Python异常处理

- 07-异常捕获
- 08-捕获指定类型的异常
- 09-上午知识点复习
- 10-else和finally
- 11-异常捕获案例
- 12-抛出自定义异常
2-10 Python模块与包

- 13-Python中的模块
- 14-自定义模块
- 15-模块的定位顺序
- 16-__all__的作用
- 17-包的导入
2-11 学员管理系统-面向对象版本

- 18-学员管理系统框架搭建
- 19-学员信息的增删改
- 20-学员管理系统的存储和提取
阶段三 Python进阶编程
展开第一章 多任务编程-进程

1-1 多任务的介绍

- 1-课程介绍
- 2-多任务介绍
- 3-多任务动画演示
1-2 多进程的使用

- 4-进程介绍
- 5-进程基本使用(掌握)
- 6-进程错误说明
1-3 进程执行带有参数的任务

- 7-进程传参
- 8-进程名称指定
- 9-获取进程编号
1-4 进程的注意点

- 10-进程的注意点
- 11-上午回顾
第二章 多任务编程-线程

2-1 多线程的使用
免费试学

- 12-线程的介绍
- 13-线程的基本使用(掌握)
- 14-线程参数传递
2-2 多进程的使用
免费试学

- 15-线程名字命名
2-3 线程的注意点

- 16-1-主线程和子线程关系说明
- 16-2-线程和进程运行流程说名
- 17-线程间数据共享
- 18-线程间数据共享问题
- 19-进程间通讯
2-4 进程和线程对比

- 20-进程和线程区别
- 21-ip地址和端口
- 22-tcp协议和socket
- 1-线程字段抢占回顾
- 2-作业说明
- 3-作业编程1的流程说明
第三章 网络编程

3-1 socket的介绍

- 4-客户端和服务端开发流程(理解)
- 5-服务端开发工具说明
- 6-网络调试助手使用
- 7-客户端开发演示
3-2 TCP客户端程序开发

- 8-服务端开发演示(掌握)
- 9-上午回顾
- 10-服务端代码优化--循环处理客户端请求
- 11-客户端和服务端交互流程说明
3-3 多任务版TCP服务端程序开发

- 12-服务端代码优化--多任务实现客户端数据处理
- 13-客户端和服务端的注意点
第四章 HTTP协议和静态Web服务器

4-1 HTTP协议

- 14-HTTP协议介绍
- 15-url网址介绍
4-2 查看HTTP协议的通信过程

- 16-浏览器调试工具介绍
- 17-请求报文介绍
- 1-回顾
- 2-响应报文结构说明
4-3 搭建Python自带静态Web服务器

- 3-python自带静态服务器演示
- 4-使用浏览器复制前端页面代码
- 5-http服务器搭建
- 6-python环境变量
- 7-返回前端文件数据
- 8-返回指定页面数据的逻辑分析
- 9-返回指定页面数据的代码实现
4-4 静态Web服务器-面向对象开发

- 10-多任务版静态服务实现
- 11-代码运行错误处理
- 12-面向对象版静态服务
第五章 html+css基础

5-1 html的介绍

- 13-前端介绍
- 14-html介绍
- 15-vscode安装
5-2 初识常用的html标签

- 16-html的基本使用
- 17-html标签的基本使用
- 18-回顾
5-3 资源路径

- 1-面向对象回顾
- 2-昨天回顾
- 3-标签路径指定
- 4-排序展示数据
5-4 css的介绍

- 5-css介绍
- 6-css行内和内嵌使用
- 7-css外链使用
5-5 css选择器

- 8-css类选择器使用
- 9-cssid选择器使用
- 10-css层级选择器
- 11-布局样式控制
- 12-字体样式控制
- 13-回顾
第六章 JavaScript

6-1 JavaScript的介绍

- 14-js介绍
- 15-行内使用js
- 16-内嵌和外链式使用js
6-2 变量和数据类型

- 17-js的变量
6-3 函数定义和调用

- 18-函数的基本使用
- 19-全局和局部变量
6-4 条件语句

- 20-条件判断的基本使用
- 21-条件判断的与或非
6-5 数组及操作方法

- 22-数组的基本使用
- 23-数组删除
6-6 循环语句

- 24-for循环使用
- 25-while循环使用
6-7 字符串拼接

- 26-字符串拼接
- 27-jquery介绍
- 28-jquery基本使用
- 1-回顾
第七章 jQuery

7-1 jQuery的介绍

- 2-jquery的引入
- 3-jquery引入的简写形式
7-2 jQuery选择器

- 4-jquery类选择的使用
- 5-jquery的id和层级选择
7-3 选择集过滤

- 6-jquery过滤选择
7-4 获取和设置元素内容

- 7-jquery的标签数据写入
- 8-juqery的标签属性值操作
7-5 jQuery事件

- 9-jquery的事件处理
- 10-输入框数据获取
7-6 JavaScript对象

- 11-javascript的数据对象
7-7 json

- 12-json数据形式
- 13-聚合数据网站的注册
7-8 ajax

- 14-ajax的作用
- 15-ajax的使用
- 16-数据的解析
7-9 综合案例

- 17-对比python的数据解析
- 18-数据的写入
- 20-小结
第八章 闭包和装饰器

8-1 闭包

- 21-闭包的介绍
- 22-闭包的定义
- 23-闭包传参
- 24-闭包的参数使用
8-2 装饰器

- 25-装饰器的使用
- 26-回顾
- 27-产品说明
- 1-闭包回顾
8-3 装饰器的使用

- 2-函数穿参回顾
- 3-装饰器回顾
- 4-装饰器传参
- 5-装饰器不定长参数
- 6-不定长参数的拆包解压
8-4 通用装饰器的使用

- 7-通用装饰器的使用
- 8-通用装饰器日志操作
- 9-装饰器的数据返回
第九章 正则表达式

9-1 with语句

- 10-内容介绍
- 11-with文件操作
9-2 深拷贝和浅拷贝

- 12-不可变类型深浅拷贝
- 13-可变类型深浅拷贝
- 14-深浅拷贝的流程图
- 15-深拷贝的使用场景
- 16-深浅拷贝使用场景
9-3 re的模块介绍

- 17-re模块介绍
- 18-正则的基本使用
9-4 匹配单个字符

- 19-匹配任意字符
- 20-匹配字符范围指定
- 21-匹配数字和非数字
- 22-匹配空格和非空格
- 23-匹配数字字母和非数字字母
9-5 匹配多个字符

- 24-匹配多个字符
- 25-匹配指定字符个数
- 26-小结回顾
第十章 mini-Web

10-1 Web应用概述

- 27-miniweb介绍
- 28-miniweb改造
- 1-服务端开发回顾
- 2-面向对象版服务器开发回顾
- 3-业务代码拆分封装回顾
- 4-json数据使用回顾
- 5-服务器代码梳理
10-2 应用程序开发

- 6-数据库创建
- 7-数据库连接导入数据
- 8-pymysql安装
- 9-pymysql基本使用
- 10-pymysql数据更新
- 11-上午回顾
10-3 路由列表功能开发

- 12-返回所有图书数据
- 13-获取一个图书数据的路径匹配
- 14-切割路径数据
- 15-获取一个图书数据的业务实现
- 16-封装路径匹配方法
- 17-封装查询数据库方法
- 18-路由列表的使用
- 19-拓展--框架使用
- 20-前端和后端服务交互
10-4 logging日志

- 21-日志的使用
- 22-代码拆分封装回顾
第十一章 数据埋点

11-1 埋点形式

- 23-数据埋点介绍
- 24-埋点形式介绍
11-2 埋点方案

- 25-埋点位置说明
- 26-埋点流程介绍
- 27-埋点方案制定两个大问题说明
- 28-埋点字段选取分析
11-3 埋点实践

- 29-埋点位置说明
- 30-代码开发
- 31-流程总结
阶段四 SQL
展开第一章 窗口函数

1-1 窗口函数简介与基本用法

- 01-(重点)MySQL8.0软件安装与部署
- 02-(重点)使用Navicat连接MySQL数据库
- 03-(了解)数据前期准备
- 04-(了解)SQL中注释
- 05-(重点)SQL查询五子句
- 06-(重点)回顾where子句应用(上)
- 07-(重点)回顾like模糊查询语句
- 08-(重点)回顾范围查询
- 09-(易错点)回顾NULL空值判断
- 10-(重点)回顾order by排序规则(重点理解NULL值排序)
- 11-(重点)回顾limit子句(限制查询数量)
- 12-(重点)回顾常见的5个聚合函数
- 13-(扩展)ifnull函数(空值判断与处理)
- 14-(重点)回顾group by分组子句
- 15-(重点)回顾having子句(重点掌握where-groupby-having执行顺序)
- 16-(了解)学习目标
- 17-(准备)窗口函数数据准备
1-2 OVER(PARTITION BY)

- 18-(入门)窗口函数语法与快速入门
- 19-(小结)窗口函数的优点
- 20-(案例)求员工表中所有员工的平均工资
- 21-(案例)SUM与AVG与窗口函数的结合应用
- 22-(案例)使用窗口函数求某列占总金额的百分比(百分比要乘100)
- 23-(扩展)concat函数与round函数
- 24-(案例)把窗口函数与count结合使用
- 25-(案例)在一条SQL语句中出现多个窗口函数(注意别名出现关键字的解决方案)
1-3 排序函数

- 01-(踩坑)WHERE子句与窗口函数的执行顺序
- 02-(说明)火车时刻表数据集解析
- 03-(重点)窗口函数分组案例
- 04-(重点)partition by传入多列
- 05-(案例)partition by练习题
- 06-(重点)rank()排序函数
- 07-(对比)rank()函数dense_rank()函数与row_number()函数的区别
- 08-(踩坑)order by子句是在rank()窗口函数后执行
- 09-(案例)窗口函数与order by应用案例(如果两者结合,窗口函数排序后,在使用order by,顺序会被打乱)
- 10-(重点)ntile函数-rank函数与with语句相结合
- 11-(注意)编写SQL语句常见的三种错误
- 12-(案例)求安装包最小的游戏信息
- 13-(小结)排序函数
1-4 window frames 自定义窗口

- 14-(难点)window frames窗口大小定义
- 15-(重点)从当前行到下方所有行的窗体
- 16-(易错点)windows frames窗体简写形式(只针对preceding)
- 课程回顾
- 01-(重点)rows与range的区别(根据行号定窗口与根据字段值定窗口)
- 02-(简化)rows和range的区别
- 03-(重点)over窗口函数与order by的关系
- 04-(重点)分析函数中的lead与lag(超前与落后)
- 05-(扩展)lead函数的参数(1个参数-2个参数-3个参数)
1-5 分析函数

- 06-(重点)分析函数中lead与lag(超前与落后)
- 07-(重点)first_value取窗体中的第一个值
- 08-(易错点)last_value与order by之间的关系
- 09-(重点)nth_value(获取某个字段第N个值,注意窗口范围)
- 10-(小结)分析函数小结
1-6 PARTITION BY 与 ORDER BY

- 11-(回顾)partition by分组应用
- 12-(重点)partition by与order by结合rank()与ntile()函数应用
- 13-(重点延伸)使用partition by order by求topN问题
- 14-(作业)使用partition by order by与window frame和lead-lag想结合
1-7 窗口函数避坑指南

- 15-(踩坑)不能在where子句中使用窗口(一定要使用,则必须使用子查询)
- 16-(踩坑)不能在having子句中使用窗口函数
- 17-(踩坑)不能在group by子句中使用窗口函数
- 18-(踩坑)可以在order by子句中使用窗口函数(ntile分组时不能使用别名)
- 19-(踩坑)窗口函数与group by一起使用(唯一场景聚合函数嵌套)
- 20-(踩坑)rank时使用聚合函数(一般要结合group by一起使用)
- 21-(工作)使用group by结合窗口函数计算环比(两个相邻数据的差值)
- 22-(工作)在group by的基础上使用partition by进行二次分组
- 23-窗口总结
- 课程回顾
第二章 数据报表

2-1 数据介绍

- 01-(回顾)交叉查询与内连接查询
- 02-(回顾)回顾外连接查询(重点掌握左外连接)
- 03-(前言)SQL报表的学习目标
- 04-(重要)SQL报表数据集介绍
- 05-(重点)多表查询练习题5则(重点掌握后面2个)
- 06-(入门)报表的入门三步走(关联-条件-字段)
2-2 使用SQL进行数据汇总

- 07-(重点)使用报表三步走实现案例二则
- 08-(重点)关于报表的计算(求订单的总金额)
- 09-(重点)计算多个订单的总金额(与group by相结合)
- 10-(易错点)多表连接分组时一定要考虑是否有重名情况
- 11-(回顾)显示部分数据与count()函数回顾(重点对比count()与count(列名)区别)
- 12-(易错)计数统计与left join应用(上)
- 13-(易错)计数统计与left join应用(下)
- 14-(小结)使用SQL进行数据汇总
2-3 使用CASE WHEN和GROUP BY将数据分组

- 15-(重点)自定义分组的基本语法
- 16-(重点)引入case when以及else语句
- 17-(重点)在group by中使用case when自定义分组
- 18-(重点)在case...when语句中使用count聚合函数
- 课程回顾
- 01-(重点)在group by中使用case when与case when结合sum进行简单计数与复杂运算
2-4 使用WITH (Common Table Expressions)公用表表达式

- 02-(小结)case...when语句与group by结合应用
- 03-(重点)with查询语句(重点掌握with编写二步走)
- 04-(了解)with查询语句的另外一种写法
- 05-(复杂)多层聚合
- 06-(案例)多层聚合案例演示
- 07-(重点)with语句+group by+case when实现自定义分组聚合
- 08-(难点)三层聚合(重点一定要分析出先求哪一个在求哪一个)
- 09-(小结)with多级聚合总结
- 10-(注意)with语句使用过程中的注意事项
2-5 计算多个指标

- 11-(重点)在一条SQL中计算多个指标
- 12-(重点)自定义指标(case when语句)
- 13-(重点)求某个指标的百分比
- 14-(案例)分组+业务指标的百分比
- 15-(小结)计算多个指标
2-6 分组对比

- 16-(重点)按行比较与按列比较核心思想
- 17-(重点)按多列进行比较(多余的列要出现在group by语句中)
- 18-(重点)按占比比较与分组对比小结
- 课程回顾
阶段五 Python数据处理与分析实战
展开第一章 Python 数据分析简介

1-1 Python 数据分析环境搭建

- 03-Anaconda简介和软件安装
- 04-什么是虚拟环境
- 05-Anaconda管理虚拟环境
- 06-Anaconda安装python扩展包
- 07-jupyter notebook启动的两种方式
- 08-jupyter notebook功能扩展配置
- 09-jupyter notebook文件创建和菜单介绍
- 10-jupyter notebook常用快捷键
- 11-jupyter notebook使用markdown
1-2 Python 数据分析简介

- 00-今日课程内容简介
- 01-为什么使用Python进行数据分析
- 02-Python数据分析常用开源库
第二章 Pandas快速入门

2-1 Pandas快速入门

- 12-pandas快速入门-DataFrame和Series简介
- 13-pandas快速入门-加载csv和tsv数据集
- 14-pandas快速入门-DataFrame的行列标签和行列位置编号
- 15-pandas快速入门-loc函数获取指定行列数据
- 16-pandas快速入门-iloc函数获取指定行列数据
- 17-pandas快速入门-loc和iloc函数的切片操作
- 18-pandas快速入门-[]语法获取指定行列数据
- 19-总结回顾-上午课程内容小结
2-2 Series 和 Dataframe

- 20-Series详解-创建Series数据
- 21-Series详解-常用属性和方法
- 22-Series详解-常用统计方法
- 23-Series详解-bool索引
- 24-Series详解-Series运算
- 25-DataFrame详解-创建DataFrame数据
- 26-DataFrame详解-常用属性和方法
- 27-DataFrame详解-常用统计方法
- 28-DataFrame详解-bool索引
- 29-DataFrame详解-DataFrame运算
- 30-DataFrame详解-行标签和列表签操作
2-3 Dataframe 增删改

- 31-DataFrame增删改-行操作
- 32-DataFrame增删改-列操作
- 33-DataFrame 数据导出和导入
2-4 Dataframe 查询

- 34-DataFrame 条件查询操作
- 35-DataFrame 分组聚合操作
- 36-DataFrame 排序操作
- 37-总结回顾-今日课程内容总结
- 00-昨日课程内容回顾
- 01-nlargest和msmallest函数使用
- 02-pandas基本绘图操作
2-5 租房数据分析示例

- 03-租房数据分析示例-数据加载和查看
第三章 pandas数据清洗

3-1 数据组合-concat

- 04-租房数据分析示例-简单分析-01
- 04-租房数据分析示例-简单分析-02
- 05-concat数据拼接-行拼接
- 06-concat数据拼接-列拼接
- 07-concat数据拼接-join参数
3-2 数据组合-merge

- 08-merge关联数据-方法简介
- 09-merge关联数据-数据集加载和查看
- 10-merge关联数据-关联示例
- 11-join关联数据-方法简介
- 12-join关联数据-关联示例
- 13-总结回顾-上午课程内容小结
3-3 缺失值处理

- 14-缺失值处理-pandas缺失值简介
- 15-缺失值处理-加载包含缺失值的数据
- 16-缺失值处理-缺失值处理简介
- 17-缺失值处理-加载数据并查看缺失情况
- 18-缺失值处理-Missingno库数据缺失可视化
- 19-缺失值处理-删除缺失值
- 20-缺失值处理-填充缺失值
- 21-缺失值处理-时序数据缺失值处理
3-4 数据整理

- 22-melt整理数据-简单使用
- 23-melt整理数据示例-需求和过程简介
- 24-melt整理数据示例-详细过程实现
- 25-melt整理数据示例-不同数据存储形式内存查看
- 26-stack整理数据-stack和unstack方法简介
- 27-stack整理数据-stack和unstack功能演示
- 28-总结回顾-今日课程内容总结
- 00-昨日课程内容回顾
- 01-wide_to_long 整理数据-加载数据
- 02-wide_to_long 整理数据-具体使用
3-5 Pandas 数据类型

- 03-数据类型-Numpy简介
- 04-数据类型-Numpy的ndarray
- 05-数据类型-pandas数据类型
- 06-类型转换-astype函数基本使用
- 07-类型转换-to_numeric函数使用
- 08-数据类型-category数据类型
第四章 pandas数据处理

4-1 Apply自定义函数

- 09-apply函数-Series的apply方法
- 10-apply函数-DataFrame的apply方法
- 11-apply函数-使用案例
- 12-总结回顾-上午课程内容小结
- 13-函数向量化
- 14-lambda 函数
4-2 数据分组操作

- 15-分组聚合-方法使用和内置聚合函数
- 16-分组聚合-示例操作
- 17-分组transform-基本使用
- 18-分组transform-填充缺失值
- 19-分组transform-减肥比赛案例
4-3 数据分组操作-透视

- 20-分组过滤-示例操作
- 21-分组对象-基本操作
- 22-分组对象-遍历分组
- 23-分组对象-多列分组
- 24-数据透视表-pivot_table基本使用
- 25-总结回顾-今日课程内容总结
4-4 数据分组操作-会员数据分析 1

- 00-昨日课程内容回顾
- 01-会员数据分析-业务背景和需求简介
- 02-会员数据分析-会员增量存量分析
- 03-会员数据分析-会员增量等级分布
- 04-会员数据分析-会员增量等级占比
- 05-会员数据分析-整体会员等级占比
- 06-会员数据分析-线上线下会员增量分析
- 07-会员数据分析-地区店均会员数量
4-5 数据分组操作-会员数据分析 2

- 08-会员数据分析-会销比(会员消费比例)
- 09-会员数据分析-连带率(会员订单平均消费数量)
- 10-会员数据分析-复购率(复购人数占消费总人数比例)-简介
- 11-会员数据分析-复购率(复购人数占消费总人数比例)-实现
- 12-会员数据分析-复购率(复购人数占消费总人数比例)-封装
4-6 Dataframe 数据类型

- 13-日期数据类型-python中的datetime对象
- 14-日期数据类型-pandas数据转换为datetime类型
- 15-日期数据类型-提取 datetime 的各个部分
- 16-日期数据类型-日期运算和Timedelta
- 17-日期数据类型-银行数据分析
4-7 Dataframe 数据类型案例

- 18-日期数据类型-DatetimeIndex和TimedeltaIndex
- 19-日期数据类型-data_range方法的使用
- 20-日期数据类型-丹佛报警记录分析-日期数据筛选
- 21-总结回顾-今日课程内容总结
- 00-昨日课程内容回顾
- 01-日期数据类型-丹佛报警记录分析
第五章 Python数据可视化

5-1 Matplotlib 绘图

- 02-数据可视化-python常见可视化库简介
- 03-Matplotlib-绘图的基本套路
- 04-Matplotlib-绘图的两种方式
- 05-Matplotlib-数据可视化的重要性
- 06-Matplotlib-单变量绘图(直方图)
- 07-Matplotlib-双变量绘图(散点图)
- 08-Matplotlib-多变量绘图(颜色和点大小)
5-2 Pandas 绘图

- 09-Pandas绘图-单变量绘图(柱状图)
- 10-Pandas绘图-单变量绘图(折线图-直方图-饼图等)
- 11-Pandas绘图-双变量绘图(散点图-蜂巢图等)
- 12-Seaborn绘图-seaborn模块简介
- 13-总结回顾-上午课程内容小结
5-3 Seaborn 绘图

- 14-Seaborn绘图-单变量绘图
- 15-Seaborn绘图-双变量绘图-01
- 16-Seaborn绘图-双变量绘图-02
- 17-Seaborn绘图-多变量绘图-颜色和形状
- 18-Seaborn绘图-多变量绘图-分面
- 19-Seaborn绘图-设置样式
5-4 Pyecharts 绘图

- 20-Pyecharts绘图-柱状图绘制
- 21-Pyecharts绘图-词云图绘制
- 22-Pyecharts绘图-气泡图绘制
- 23-Pyecharts绘图-柱状图绘制
- 24-总结回顾-今日课程内容总结
- 00-昨日课程内容回顾
第六章 pandas综合案例

6-1 案例1 : Appstore 数据分析

- 01-Appstore数据分析-背景和分析需求说明
- 02-Appstore数据分析-数据加载和概况分析
- 03-Appstore数据分析-app价格不同维度分析
- 04-Appstore数据分析-数据可视化分析
- 05-Appstore数据分析-业务需求分析
6-2 案例2: 优衣库销售数据分析

- 06-优衣库销售数据分析-需求和数据加载
- 07-优衣库销售数据分析-不同种类产品的销售情况
- 08-优衣库销售数据分析-用户的消费方式(线上线下)
- 09-优衣库销售数据分析-用户的消费习惯(周间周末)-01
- 09-优衣库销售数据分析-用户的消费习惯(周间周末)-02
- 10-优衣库销售数据分析-销售额和成本的关系
6-3 案例3: RFM 用户分群1

- 11-RFM用户模型分析-RFM用户价值模型简介
- 12-RFM用户模型分析-EXCEL RFM用户分析
- 13-RFM用户模型分析-业务背景和分析需求说明
- 14-RFM用户模型分析-数据加载和基本信息查看
- 15-RFM用户模型分析-数据预处理和RFM初始值计算
- 16-RFM用户模型分析-RFM区间划分和分值计算
- 17-RFM用户模型分析-RFM计算结果保存
- 18-RFM用户模型分析-RFM计算结果可视化
- 19-RFM用户模型分析-RFM计算结果的分析
- 20-RFM用户模型分析-RFM模型分析的注意点
- 21-总结回顾-今日课程内容总结
阶段六 Hadoop生态体系
展开第一章 linux

1-1 linux环境搭建

- 00--今日课程目标与大纲
- 01--操作系统的概述
- 02--Linux操作系统介绍与发展
- 03--VMware虚拟机--了解计算机硬件
- 04--VMware虚拟机--了解3种网络模式
- 05--VMware虚拟机--使用nat模式安装centsos(详解)
- 06--ssh协议-CRT远程加密访问Linux
- 07--linux文件上传下载--sftp、lrzsz
- 08--了解虚拟机快照的使用
1-2 linux文件系统

- 09--Linux文件系统--目录树结构与基本概念
- 10--Linux文件系统--常见操作命令--ls、pwd、cd
- 11--Linux文件系统--常见操作命令--cd、mkdir、touch、cp、mv
- 12--Linux文件系统--常见操作命令--文件查看命令(cat head tail)
- 13--Linux文件系统--常见操作命令--echo、管道、重定向、软链接
- 14--Linux文件系统--常见搜索命令--find、grep、which
- 15--Linux文件系统--解压缩操作
1-3 vi编辑器

- 16--vi编辑器--功能介绍与新建打开文件、异常处理
- 17--vi编辑器--常用的基础命令(复制粘贴、删除、撤销、搜索替换)
- 18--vi编辑器--常用的基础命令--如何进入插入编辑模式
- 19--使用nodepad++插件远程操作linux文件
1-4 linux用户与权限

- 00--课程内容回顾总结
- 01--今日课程内容大纲与学习目标
- 02--Linux用户与权限--用户、用户组、权限管理概述
- 03--Linux用户与权限--用户、用户组管理命令
- 04--Linux用户与权限--su、sudo权限管理
- 05--Linux用户与权限--权限的修改操作(chmod)
- 06--Linux系统信息查看
1-5 大数据集群环境搭建

- 07--大数据集群环境搭建--分布式、集群概念初识
- 08--大数据集群环境搭建--集群常见的架构(主从、主备)
- 09--大数据集群环境搭建--虚拟机克隆、Linux修改主机名和IP
- 10--大数据集群环境搭建--主机名IP的hosts映射
- 11--大数据集群环境搭建--防火墙服务关闭
- 12--大数据集群环境搭建--配置ssh免密登录
- 13--大数据集群环境搭建--了解什么是跳板机
- 14--大数据集群环境搭建--scp远程复制
- 15--大数据集群环境搭建--集群时间同步(ntpdate)
1-6 linux软件安装方式

- 16--Linux软件安装方式--rpm、yum机制
- 17--Linux软件安装方式--使用rpm安装mysql5.7版本
- 18--Linux软件安装方式--JDK的安装
1-7 shell

- 19--了解shell
第二章 Zookeeper

2-1 大数据导论

- 00--课程内容回顾总结
- 01--Linux文件系统中--读写执行的真正含义
- 02--今日课程学习目标与内容大纲
- 03--大数据导论--数据与数据分析
- 04--大数据导论--数据分析的作用--离线、实时ML
- 05--大数据导论--数据分析基本步骤--明确分析目的和思路
- 06--大数据导论--数据分析基本步骤--收集、预处理、分析、应用
- 07--大数据导论--数据分析基本步骤梳理
- 08--大数据导论--大数据时代(5V特征、应用场景)
- 09--大数据导论--分布式技术
2-2 Zookeeper

- 10--Apache Zookeeper--概述与本质
- 11--Apache Zookeeper--全局数据一致性
- 12--Apache Zookeeper--集群角色职责
- 13--Apache Zookeeper--集群安装、配置讲解
- 14--Apache Zookeeper--集群启动与关闭
- 15--Apache Zookeeper--数据模型--znode是什么
- 16--Apache Zookeeper--数据模型--znode类型
- 17--Apache Zookeeper--shell客户端、创建节点操作
- 18--Apache Zookeeper--shell客户端、查看、更新、删除节点
- 19--Apache Zookeeper--监听机制watch
- 20--Apache Zookeeper--典型应用
第三章 Hadoop

3-1 hadoop简介

- 00--课程内容回顾总结
- 01--今日课程内容大纲
- 02--Apache Hadoop--软件介绍(广义、狭义)
- 03--Apache Hadoop--起源发展(谷歌3篇论文)
- 04--Apache Hadoop--特性优点--重点理解通用性
- 05--Apache Hadoop--发行版本介绍
3-2 hadoop环境搭建

- 06--Apache Hadoop--hadoop集群角色介绍
- 07--Apache Hadoop--Hadoop部署模式、集群规划
- 08--Apache Hadoop--Hadoop安装包与源码编译
- 09--Apache Hadoop--集群安装--服务器基础环境准备、安装包目录
- 10--Apache Hadoop--集群安装--配置文件详解
- 11--Apache Hadoop--集群安装--namenode format初始化操作
- 12--Apache Hadoop--集群启动与关闭
- 13--Apache Hadoop--启动错误如何排错
- 14--Apache Hadoop--初体验、WebUI页面
- 15--Apache Hadoop--jobhistory历史记录服务配置使用
- 16--Apache Hadoop--垃圾桶机制
3-3 Hadoop_HDFS

- 00--课程内容回顾总结
- 01--课程学习目标与内容大纲
- 02--Hadoop HDFS--概述、如何模拟实现分布式文件系统
- 03--Hadoop HDFS--核心特性的作用(分布式、分块、备份、元数据记录)
- 04--Hadoop HDFS--设计目标
- 05--Hadoop HDFS--重要特性梳理与解释
- 06--Hadoop HDFS--shell command操作
- 07--Hadoop HDFS--工作机制--上传文件流程(写流程)
- 08--Hadoop HDFS--工作机制--下载文件流程(读流程)
- 09--Hadoop HDFS--工作机制--nn、dn职责概述总结
- 10--Hadoop HDFS--安全模式
- 11--Hadoop HDFS--namenode元数据管理机制、snn是什么
- 12--Hadoop HDFS--namenode元数据相关的目录和文件
- 13--Hadoop HDFS--secondarynamenode checkpoint机制
- 14--Hadoop HDFS--辅助工具--distcp远程拷贝
- 15--Hadoop HDFS--辅助工具--archive归档工具
3-4 Hadoop_MapReduce

- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
- 02--Hadoop MapReduce--理解分而治之的思想(先分再合)
- 03--Hadoop MapReduce--设计构思
- 04--Hadoop MapReduce--官方示例(圆周率pi评估--如何提交mr程序
- 05--Hadoop MapReduce--官方示例--Wordcount需求与实现思路剖析
- 06--Hadoop MapReduce--官方示例--Wordcount--java代码梳理与程序提交
- 07--Hadoop MapReduce--Python实现Wordcount、Hadoop Streaing提交脚本
- 08--Hadoop MapReduce--Centsos7如何安装Python3
- 09--Hadoop MapReduce--输入输出路径注意事项
- 10--Hadoop MapReduce--工作机制--map阶段执行流程(含逻辑切片机制)
- 11--Hadoop MapReduce--工作机制--reduce阶段执行流程
- 12--Hadoop MapReduce--工作机制--shuffle机制
3-5 Hadoop_YARN

- 13--Hadoop YARN--功能职责概述(通用资源管理、任务调度)
- 14--Hadoop YARN--3大组件、mr程序提交yarn流程
- 15--Hadoop YARN--scheduler调度策略
- 16--Hadoop YARN--capacity配置示例说明
3-6 Hadoop_HA

- 17--Hadoop HA集群--什么是高可用、实现高可用注意事项
- 18--Hadoop HA集群--HDFS HA--QJM实现原理
- 19--Hadoop HA集群--YARN HA
第四章 Hive

4-1 数据仓库介绍

- 00--课程内容回顾总结
- 01--今日课程内容大纲和学习目标
- 02--数据仓库--数仓基本概念、由来起源
- 03--数据仓库--数仓的主要特征
- 04--数据仓库--数仓和数据库的区别(OLTP、OLAP系统区别)
- 05--数据仓库--经典3层架构(ODS、DW、DA)
- 06--数据仓库--美团酒旅数仓建设实战
- 07--数据仓库--ETL、ELT
4-2 Hive介绍和安装

- 08--Apache Hive--介绍概述、如何模拟实现Hive功能
- 09--Apache Hive--架构组件
- 10--Apache Hive--和MySQL的对比
- 11--Apache Hive--metadata、metastore区别
- 12--Apache Hive--metastore3种部署方式及区分
- 13--Apache Hive--远程部署模式安装配置详解
- 14--Apache Hive--metastore服务启动方式
- 15--Apache Hive--两代客户端使用、HS2服务的启动
- 16--Apache Hive--初体验Hive
4-3 Hive_DDL语法

- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
- 02--Apache Hive--DDL--概述、建表语法树剖析
- 03--Apache Hive--DDL--建表--表存在异常忽略
- 04--Apache Hive--DDL--建表--数据类型
- 05--Apache Hive--DDL--建表--SerDe机制、delimited分隔符指定语法
- 06--Apache Hive--DDL--建表--默认分隔符
- 07--Apache Hive--DDL--建表--内部表、外部表
- 08--Apache Hive--DDL--建表--数据存储路径location
- 09--Apache Hive--DDL--建表--分区表--背景引入、分区表创建
- 10--Apache Hive--DDL--建表--分区表--静态分区加载数据
- 11--Apache Hive--DDL--建表--分区表--动态分区加载数据
- 12--Apache Hive--DDL--建表--分区表--多重分区、注意事项
- 13--Apache Hive--DDL--建表--分桶表--语法解读、创建、加载
- 14--Apache Hive--DDL--建表--分桶表--分桶表减少join笛卡尔积数量
- 15--Apache Hive--DDL--了解其他操作(修改、删除)
- 16--Apache Hive--常见的show语法
4-4 Hive_DML语法

- 17--Apache Hive--DML--load加载数据
- 18--Apache Hive--DML--insert--hive中如何使用
- 19--Apache Hive--DML--insert--多重插入、动态分区插入、导出操作
4-5 Hive_DQL语法

- 00--课程内容回顾总结
- 01--今日课程内容大纲和学习目标
- 02--PyCharm等工具如何连接HiveServer2
- 03--Apache Hive--DQL--select基础查询语法及注意事项
- 04--Apache Hive--DQL--select分桶查询(cluster、distribute by、sort by)
- 05--Apache Hive--DQL--union联合查询
- 06--Apache Hive--DQL--CTE表达式使用(with as)
- 07--Apache Hive--DQL--join查询
4-6 Hive其他功能介绍

- 08--Apache Hive--shell命令行3种功能、如何调用sql脚本
- 09--Apache Hive--参数配置方式
- 10--Apache Hive--内置运算符
- 11--Apache Hive--函数的分类(UDF、UDAF、UDTF)
- 12--Apache Hive--常见的内置函数梳理
4-7 Hive函数高阶应用

- 00--课程内容回顾总结
- 01--课程内容大纲与学习目标
- 02--Apache Hive--函数高阶应用--explode函数的功能
- 03--Apache Hive--函数高阶应用--UDTF函数使用限制、lateral View侧视图功能
- 04--Apache Hive--函数高阶应用--行列转换--多行转单列(collect、concat_ws)
- 05--Apache Hive--函数高阶应用--行列转换--单列转多行(explode+lateral view)
- 06--Apache Hive--函数高阶应用--json格式数据处理
4-8 Hive窗口函数

- 07--Apache Hive--窗口函数--如何快速理解感受窗口函数
- 08--Apache Hive--窗口函数--窗口聚合函数的使用(sum+over)
- 09--Apache Hive--窗口函数--窗口排序函数(row_number、rank)
- 10--Apache Hive--窗口函数--窗口偏移函数(lag lead)
4-9 Hive调优

- 11--Apache Hive--数据压缩概念与设置使用(snappy)
- 12--Apache Hive--数据存储格式(orc、Parquet)
- 13--Apache Hive--通用调优--fetch抓取机制、mr本地模式
- 14--Apache Hive--通用调优--join优化
- 15--Apache Hive--通用调优--group by数据倾斜(负载均衡)
- 16--Apache Hive--通用调优--MR Task并行度调整
- 17--Apache Hive--通用调优--其他优化机制
阶段七 离线数仓项目-知行教育
展开第一章 知行教育大数据平台

1-1 知行教育数仓项目介绍
免费试学

- 01-教育项目的基本介绍
- 02-教育项目的业务流程
- 01-课前回顾和今日内容
- 02-教育项目的架构流程说明
1-2 项目环境搭建
免费试学

- 03-cloudera manager的基本介绍
- 04-cloudera manager的架构以及功能描述
- 05-教育项目的环境初始化工作
- 06-教育项目的环境搭建_如何连接以及基本操作
- 07-教育项目的环境注意事项
- 08-教育项目_数据仓库的基本概念
- 09-上午内容的总结
1-3 数据仓库
免费试学

- 10-数据仓库和数据集市基本介绍
- 11-维度分析基本介绍_维度和指标的介绍以及分类
- 12-维度分析基本介绍_分层分级以及下钻和上卷
- 13-数仓建模的基本介绍
- 14-事实表和维度表的基本介绍
- 15-事实表和维度表的分类介绍
- 16-维度建模的三种模型(星型,雪花和星座)基本概念
- 17-维度建模的三种数仓发展模型图解
- 18-维度建模_缓慢渐变维基本介绍
- 19-今日总结
- 01-课前回顾和今日内容
- 02-教育项目的数仓分层架构说明
1-4 Hue操作HDFS,Hive

- 03-HUE相关的操作_HDFS和HIVE
1-5 oozie基本使用

- 04-oozie的基本介绍
- 05-oozie的基本使用操作
1-6 sqoop相关操作

- 06-sqoop的基本介绍
- 07-sqoop的相关的操作_基本操作
- 08-上午内容的总结
- 09-sqoop的相关的操作_全量导入到HDFS操作
- 10-sqoop的相关的操作_全量导入到hive的操作
- 11-sqoop的相关的操作_条件导入到HDFS和hive操作
- 12-sqoop的相关的操作_数据导出操作以及相关参数
1-7 访问咨询主题看板_需求分析

- 13-访问咨询主题看板_需求分析(前四个)
- 14-访问咨询主题看板_需求分析(后四个)
- 15-访问咨询主题看板_需求分析总结
1-8 访问咨询主题看板_建模

- 16-访问咨询主题看板_业务数据准备工作
- 17-访问咨询主题看板_建模分析(前三层)
- 18-访问咨询主题看板_建模分析(后三层)
- 01-课前回顾和今日内容
- 02-访问咨询主题看板_建模操作(前置说明)
- 03-访问咨询主题看板_建模操作
1-9 访问咨询主题看板_hive优化

- 04-访问咨询主题看板_hive基础优化(上)
- 04-访问咨询主题看板_hive基础优化(下)
- 05-上午内容的总结
1-10 访问咨询主题看板_数据清洗

- 06-访问咨询主题看板_数据采集操作以及hiveserver2服务异常
- 07-访问咨询主题看板_数据清洗转换操作(SQL实现,未解决转换)
- 08-访问咨询主题看板_数据清洗转换(转换解决)
- 09-访问咨询主题看板_数据清洗转换操作(最终实现)
1-11 访问咨询主题看板_数据分析

- 10-访问咨询主题看板_数据分析(总访问量统计)
- 11-访问咨询主题看板_数据分析(统计各个受访页面)
- 12-访问咨询主题看板_数据分析(咨询量统计)
1-12 访问咨询主题看板_数据导出

- 13-访问咨询主题看板_数据导出操作(咨询量导出)
- 14-访问咨询主题看板_数据导出操作(访问量)
- 15-今日总结
- 01-课前回顾和今日内容
1-13 访问咨询主题看板_增量数据采集清洗

- 02-访问咨询主题看板_新增数据模拟
- 03- 访问咨询主题看板_增量数据采集操作(sqoop脚本编写以及shell讲解)
- 04-访问咨询主题看板_增量数据采集的shell脚本的编写
- 05-访问咨询主题看板_增量数据采集shell脚本测试操作
- 06-访问咨询主题看板_增量数据采集操作(oozie配置)
- 07-访问咨询主题看板_增量数据清洗转换操作
1-14 访问咨询主题看板_增量数据分析

- 08-访问咨询主题_增量数据统计分析(SQL实现以及思考点)(上)
- 09-上午内容的总结
- 10-访问咨询主题看板_增量统计分析操作(问题解决)
- 11-访问咨询主题看板_增量统计分析(shell脚本编写和测试)
- 12-访问咨询主题看板_增量数据导出操作
1-15 意向用户主题看板_需求分析

- 13-意向用户主题看板_需求分析(前三个)
- 14-意向用户主题看板_需求分析(后三个)
- 15-意向用户主题看板_需求分析总结
- 16-意向用户主题看板_业务数据准备
- 17-今日总结
- 01-课前回顾和今日内容
1-16 意向用户主题看板_建模分析

- 02-意向用户主题看板_建模分析操作(ODS,DIM,DWD)
- 03-意向用户主题看板_建模分析(后三层)
1-17 分桶表

- 04-分桶表的基本介绍以及作用说明
- 05-分桶表的作用_抽样函数的说明
- 06-分桶表的作用_提升查询效率(多表)_map join
- 07-分桶表的作用_提升查询的效率(多表)_bucket map join
- 08-上午内容总结
- 09-分桶表的作用_提升查询的效率(多表)SMB join操作
1-18 意向用户主题看板_数据采集清洗

- 10-意向用户主题看板_建模操作
- 11-意向用户主题看板_数据采集(DIM)
- 12-意向用户主题看板_数据采集(ODS层)
- 13-意向用户主题看板_数据清洗转换操作(涵盖采样以及查看执行计划)
1-19 意向用户主题看板_DWM层数据处理

- 14-意向用户主题看板_DWM层数据生成(SQL实现)
- 15-意向用户主题看板_DWM层数据生成(优化的效率测试)
- 16-意向用户主题看板_DWM层数据生产(最终实现)
- 17-意向用户主题看板_DWS层数据生成操作
- 18-意向用户主题看板_DWS层数据导出操作
- 01-课前回顾和今日内容
1-20 拉链表

- 02-拉链表的实现流程分析(上)
- 03-拉链表的实现流程分析(下)
- 04-拉链表的实现流程_项目增量流程说明
1-21 hive索引

- 05-索引的基本介绍
- 06-hive索引的分类_原始索引和行组索引
- 07-hive的所有分类_布隆过滤索引
- 01-今日内容说明
1-22 hive优化项目数据

- 02-hive的函数补充说明
- 03-hive的相关优化_并行优化(并行编译和并行执行)
- 04-hive的相关的优化_小文件合并操作
- 05-hive的相关优化_矢量化查询和读取零拷贝
- 06-hive的数据倾斜优化_group by 倾斜
- 07-hive的数据倾斜优化_join的数据倾斜
- 08-hive的数据倾斜优化_如何感知倾斜以及union优化
- 09-hive的优化的总结说明
- 10-上午内容的总结
1-23 学生出勤主题看板_需求分析

- 11-学生出勤主题看板_需求分析(前四个)
- 12-学生出勤主题看板_需求分析(后四个)
- 13-学生出勤主题看板_需求分析总结
- 14-学生出勤主题看板_业务数据准备工作
1-24 学生出勤主题看板_建模

- 15-学生出勤主题看板_建模分析操作
- 16-学生出勤主题看板_建模操作
- 17-学生出勤主题看板_数据采集操作
- 18-今日总结
- 01-课前回顾和今日内容
1-25 学生出勤看板_DWM层数据处理

- 02-学生出勤主题看板_DWM层(学生出勤信息表处理)_上
- 03-学生出勤主题看板_DWM层(学生出勤状态信息表)_中
- 04-学生出勤主题看板_DWM层(学生出勤状态信息表)_下
- 05-学生出勤主题看板_DWM层(学生出勤状态信息表)_完整实现以及总结
- 06-学生出勤主题看板_DWM层(班级出勤人数表)_整体实现
- 07-学生出勤主题看板_DWM层(请假人数信息表)_上
- 08-上午内容的总结
- 09-学生出勤主题看板_DWM层(请假人数表)_中
- 10-学生出勤主题看板_DWM层(学生请假人数表)_下
- 11-学生出勤主题看板_DWM层(请假人数表)_最终实现操作
- 12-学生出勤主题看板_DWM层(班级旷课人数表)_实现操作
- 13-学生出勤主题看板_DWM层(汇总表)_实现
- 14-学生出勤主题看板_DWS层实现操作
1-26 finebi基本使用

- 15-商业BI基本介绍
- 16-finebi的安装操作
- 17-finebi的数据源以及数据准备工作
- 18-finebi的图表展示操作_仪表盘构建
- 19-finebi实现图表展示操作_上
- 20-finebi实现图表展示操作_下
- 21-今日总结
1-27 Git应用

- 01-git的历史和SVN对比说明
- 02-GIT的工作流程
- 03-GIT的安装操作
- 04-git如何构建版本库
- 05-git基本操作_自己玩的流程
- 06-git案例_如何提交代码(如何设置忽略)
- 07-git远程仓库的基本介绍
- 08-git的远程仓库操作_如何配置免密以及如何推送到远端(命令)
- 09-git的远程仓库操作_基于图形化界面方式推送数据到远端
- 10-git的远程仓库操作_如何拉取代码及其协作开发
- 11-git的分支管理_基本概念介绍
- 12-git的分支的管理_相关的操作
- 13-git如何在IDEA中使用操作
阶段八 大数据Spark技术栈
展开第一章 PySpark

1-1 Spark概述

- 1-课程安排
- 2-大数据架构梳理
- 3-大数据知识体系
- 4-如何学习Spark及Spark有哪些组件
- 5-Spark前导知识
- 6-Spark前导知识
- 7-Spark框架概述
- 8-Soark的特点
- 9-Spark和Hadoop对比了解
1-2 Spark简介

- 10-Spark框架的了解
- 11-Spark部署模式
- 12-Spark的local模式部署
- 13-上午回顾
- 14-PySpark的简介
1-3 pyspark安装

- 15-linux的anaconda的安装
- 16-安装pyspark
1-4 spark-standalone环境搭建

- 17-Spark的监控界面初步了解
- 18-Sparksubmit提交本地任务
- 19-解析蒙特卡洛方法
- 20-standalone的安装过程
- 21-SparkShell的standalone环境测试
- 01-回顾1
- 02-回顾2
- 03-Jupyter环境补充
- 4-SparkBase总结
- 5-SparkStandalone的提交任务执行
- 6-Spark的应用架构
1-5 Spark的StandaloneHA环境搭建

- 7-Spark的StandaloneHA模式
- 8-Spark的StandaloneHA补充
- 9-上午回顾
1-6 Spark单词统计

- 10-准备PySpark的Win环境
- 11-单词统计计数流程
- 12-Spark的wordcount案例实战
- 13-Spark的wordcount总结
- 14-wordcount的排序操作
- 15-从HDFS读取文件
- 16-提交任务执行
- 17-提交远程服务器上跑任务
- 18-Standalone提交任务
- 19-必须做的事
- 01-回顾
- 02-反馈解决
1-7 SparkOnYarn

- 03-SparkOnYarn的详解
- 04-SparkOnYarn的具体部署安装
- 05-SparkOnYarn的小结
- 06-Spark的Deploy-mode模式
- 07-Spark的Deploy-mode的cluster模式
- 08-上午回顾
- 09-Yarn的client模式执行job
- 10-Yarn的client模式的原理
- 11-Yarn
- 12-Yanr的Cluster模式原理
1-8 Spark关键概念

- 13-SPark集群角色
- 14-Spark的参数补充
- 15-Spark的main函数执行
1-9 RDD详解

- 16-PySpark的架构了解
- 17-RDD的简介
- 18-RDD的五大属性
- 01-回顾
- 02-RDD的wordcount的基本回顾
1-10 RDD创建

- 03-RDD的创建的两种方法
- 04-读取小文件的wholeTextFile方式
- 05-Spark的RDD分区确定
1-11 RDD算子

- 06-RDD的算子分类
- 07-RDD的单Value类型算子
- 08-双value类型算子
- 09-key-value算子的操作
- 10-RDD的action操作
- 11-RDD的补充操作
- 12-RDD的重分区函数操作
- 13-RDD的Action算子聚合算子
- 14-reduceBykey和groupByKey算子演示
- 15-wordcount的几种实现
- 16-combineByKey操作实战[了解]
1-12 Spark综合案例1

- 17-搜狗案例需求分析
- 18-jiebe分词
- 19-搜狗的第一个统计需求
- 20-搜狗案例的第二个和第三个统计
- 21-总结及作业
- 01-回顾总结
- 02-网站点击流统计
1-13 Spark缓存机制

- 03-Join算子操作
- 04-Spark的缓存机制
- 05-Spark缓存的问题
- 06-checkpoint使用技巧
- 07-Spark容错
- 08-Spark的检查点机制原理详解
1-14 Spark案例-IP地址查询

- 09-Ip地址查询安案例的讲解
- 10-上午回顾及需求确认
- 11-Ip地址查询案例代码实战
1-15 Spark累加器和广播变量

- 12-累加器
- 13-广播变量
- 14-广播变量和累加器的综合演示
- 15-共享变量解决问题
1-16 Spark内核调度

- 16-RDD的依赖关系
- 17-DAG和Stage
- 18-Spark的Job调度
- 01-回顾
- 02-Shuffle基础了解
- 03-Shuffle
- 04-Spark的内存模型
- 05-Spark的关键概念总结
1-17 SparkSQL简介

- 06-SparkSQL简介
- 07-SparkSQL的简介
- 08-SparkSQL的数据结构
- 09-SparkSQL的两大数据结构的转化思考
1-18 SparkSQL实操

- 10-rdd转化为SparkSQL的方式1
- 11-StructType和Field方式创建DataFrame
- 12-SparkSQL的DSL和SQL初步
- 13-SparkSQL的读取外部数据源
- 14-Pandas转化为DataFrame
- 15-DataFrame的花式查询操作
- 16-DSL和SQL的wordcount的代码
- 17-作业
- 01-回顾基础
- 02-SparkSQL回顾
- 03-Iris数据集分析
- 04-movies数据集的读取
- 05-Spark清洗工作-数据去重
- 06-Spark清洗工作-数据填充
- 07-SparkSQL的案例实战1
- 08-SparkSQL的案例实战2
- 09-SparkSQL的案例结果写入
- 10-SparkSQL的外部数据源(MySQL为例)
1-19 SparkHive

- 11-Spark和HIve整合步骤
- 12-Spark和HIve整合测试
- 13-Pycharm的SparkSQL整合HIve
1-20 SparkSQL底层执行原理

- 14-SparkSQL的窗口函数
- 15-Spark底层解析执行计划
- 16-总结
- 01-回顾总结
- 02-逻辑物理计划补充
- 03-SparkSQL的分布式引擎
- 04-SparkSQL的Catalyst执行引擎回顾
- 05-Spark
- 06-Spark的ApacheArrow的基础用法
1-21 Spark自定义函数

- 07-Spark的UDF的基础使用方法1
- 08-Spark的UDF装饰器和原生方法
- 09-UDF使用Arraytype
- 10-Spark的udf自定义类型
- 11-Spark的UDF的案例实战(装饰器和UDF)
- 12-Spark的pandas的udf类型
- 13-Pandas_udf函数的类型1
- 14-yield表达式
- 15-pandas_udf函数类型2和3
- 16-pandas_udf函数的4部分
- 17-pandas_udf案例实战1
- 18-pandas_udf案例实战2
1-22 Spark综合案例2

- 19-综合案例-数据清洗
- 20-综合案例统计分析
- 21-综合案例统计分析3
- 22-教育项目案例统计分析1
- 23-教育项目案例统计分析2
阶段九 Spark综合项目
展开第一章 一站式制造

1-1 项目介绍

- 知识点01:课程目标
- 知识点02:项目背景
- 知识点03:项目需求
- 知识点04:业务流程
- 知识点05:技术选型
1-2 项目中docker使用

- 知识点06:Docker的介绍
- 知识点07:Docker的网络
- 知识点08:Docker的使用
1-3 项目环境搭建

- 知识点09:Oracle的介绍
- 知识点10:集群软件规划
- 知识点11:项目环境导入
- 知识点12:项目环境配置
- 知识点13:项目环境测试:Oracle
- 知识点14:项目环境测试:MySQL
- 知识点15:项目环境测试:Hadoop
- 知识点16:项目环境测试:Hive
- 知识点17:项目环境测试:Spark
- 知识点18:项目环境测试:Sqoop
1-4 项目数仓分层

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:数仓设计回顾
- 知识点04:分层整体设计
- 知识点05:分层具体功能
1-5 项目业务分析

- 知识点06:业务系统结构
- 知识点07:业务系统数据
- 知识点08:全量与增量分析
1-6 sqoop数据采集

- 知识点09:Sqoop命令回顾
- 知识点10:YARN资源调度及配置
- 知识点11:MR的Uber模式
- 知识点12:Sqoop采集数据格式问题
- 知识点13:问题解决:Avro格式
- 知识点14:Sqoop增量采集方案回顾
- 知识点15:脚本开发思路
- 知识点16:全量及增量采集脚本运行
- 知识点17:Schema备份及上传
1-7 python数据采集

- 知识点18:Python脚本
1-8 项目ODS层创建

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:数仓分层回顾
- 知识点04:Hive建表语法
- 知识点05:Avro建表语法
- 知识点06:ODS层构建:需求分析
- 知识点07:ODS层构建:创建项目环境
- 知识点08:ODS层构建:代码导入
- 知识点09:ODS层构建:代码结构及修改
- 知识点10:ODS层构建:连接代码及测试
- 知识点11:ODS层构建:建库代码及测试
- 知识点12:ODS层构建:建表代码及测试
- 知识点13:ODS层构建:申明分区代码及测试
1-9 DWD层构建

- 知识点14:ODS层与DWD层区别
- 知识点15:DWD层构建:需求分析
- 知识点16:DWD层构建:建库实现测试
- 知识点17:DWD层构建:建表实现测试
- 知识点18:DWD层构建:数据抽取分析&知识点19:DWD层构建:数据抽取测试
1-10 DWS层构建

- 知识点20:整体代码重难点回顾
- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:维度建模回顾:建模流程
- 知识点04:维度建模回顾:维度设计
- 知识点05:维度建模回顾:维度模型
- 知识点06:一站制造业务主题划分
- 知识点07:一站制造业务维度设计
- 知识点08:一站制造业务主题维度矩阵
- 知识点09:行政地区维度设计
- 知识点10:行政地区维度构建
- 知识点11:日期时间维度设计
- 知识点12:日期时间维度构建
- 知识点13:服务网点维度设计
- 知识点14:服务网点维度构建
- 知识点15:油站维度设计
- 知识点16:油站维度构建
- 知识点17:其他维度:组织机构
- 知识点18:其他维度:仓库、物流
1-11 项目回顾(一)

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:分层回顾
1-12 DWB层构建

- 知识点04:DWB层的设计
- 知识点05:事实主题指标划分
- 知识点06:呼叫中心事实指标需求分析
- 知识点07:呼叫中心事实指标构建
- 知识点08:油站事实指标需求分析
- 知识点09:油站事实指标构建
- 知识点10:工单事实指标需求分析
- 知识点11:工单事实指标构建
- 知识点12:安装事实指标需求分析
- 知识点13:安装事实指标构建
- 知识点14:维修事实指标需求分析
- 知识点15:维修事实指标构建
- 知识点16:客户回访事实指标需求分析
- 知识点17:客户回访事实指标
- 知识点18:费用事实指标分析及实现(上)
- 知识点18:费用事实指标分析及实现(下)
- 知识点19:差旅事实指标分析及实现
- 知识点20:网点物料事实指标分析及实现
1-13 项目回顾(二)

- 附录二:一站制造项目回顾
- 附录一:在线教育项目回顾
- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:数仓分层回顾
1-14 ST层构建

- 知识点04:ST层的设计
- 知识点05:服务域:工单主题分析
- 知识点06:服务域:工单主题实现
- 知识点07:服务域:油站主题分析
- 知识点08:服务域:油站主题实现
- 知识点09:服务域:安装主题分析实现
- 知识点10:服务域:维修主题分析实现
- 知识点11:服务域:回访主题分析
- 知识点12:服务域:回访主题实现
- 知识点13:服务域:派单主题分析实现
- 知识点14:服务域:费用主题分析
- 知识点15:服务域:费用主题实现
- 知识点16:物料域:主题模型
1-15 AirFlow架构解析

- 知识点17:DM层:设计及运营部门主题
- 知识点01:课程目标
- 知识点02:任务流调度回顾
- 知识点03:AirFlow的介绍
- 知识点04:AirFlow的部署启动
- 知识点05:AirFlow的架构组件
- 知识点06:AirFlow的开发规则
1-16 AirFlow任务调度

- 知识点07:Shell调度测试
- 知识点08:依赖调度测试
- 知识点09:Python调度测试
- 知识点10:Oracle与MySQL调度方法
- 知识点11:大数据组件调度方法
- 知识点12:定时调度使用
- 知识点13:Airflow常用命令
- 知识点14:邮件告警使用
- 知识点15:一站制造中的调度
1-17 Spark核心概念回顾

- 知识点16:回顾:Spark核心概念(上)
- 知识点16:回顾:Spark核心概念(下)
1-18 Prometheus架构说明

- 知识点01:课程目标
- 知识点02:监控需求及常见工具
- 知识点03:Prometheus的介绍
- 知识点04:Prometheus的架构
- 知识点05:Prometheus的部署
1-19 监控插件安装

- 知识点06:node_exporter插件
- 知识点07:mysqld_exportor插件
1-20 Grafana使用

- 知识点08:可视化工具Grafana介绍
- 知识点09:可视化工具Grafana部署
- 知识点10:Grafana集成Prometheus
- 知识点11:Grafana集成MySQL监控
1-21 项目总结二

- 知识点12:项目总结:背景需求
- 知识点13:项目总结:数据来源
- 知识点14:项目总结:主题划分
- 知识点15:项目总结:技术架构
- 知识点16:项目总结:数仓设计
- 知识点17:项目总结:优化及新特性
- 知识点18:项目总结:问题
- 知识点19:项目总结:数据规模
- 知识点20:项目总结:简历模板
阶段十 java编程语言
展开第一章 大数据java编程

1-1 Java基础语法

- 01.JavaSE大纲介绍
- 02.今日内容介绍
- 03.Java简介
- 04.如何理解Java的跨平台
- 05.JDK和JRE的区别及下载和安装
- 06.配置Path环境变量
- 07.HelloWorld案例(Notepad++版)
- 08.开发Java程序的IDE
- 09.HelloWorld案例(IDEA版)
- 10.IDEA的基础设置
- 11.IDEA如何导入和删除项目
- 12.上午内容回顾及下午内容简介
- 13.Java基础语法之注释和关键字
- 14.Java基础语法之常量
- 15.Java基础语法之变量入门
- 16.Java中的数据类型之基本类型详解
- 17.变量的注意事项
- 18.数据类型转换详解
- 19.ASCII 码表简介
- 20.运算符详解
- 21.Scanner入门
- 22.Scanner案例_获取三个和尚的最高身高
- 23.流程控制语句之顺序结构演示
- 24.流程控制语句之分支结构
- 25.流程控制语句之循环入门
- 26.循环进阶
- 27.今日总结
1-2 面向对象

- 01.标识符详解
- 02.Math类入门
- 03.猜数字的小游戏
- 04.打印质数
- 05.今日内容介绍
- 06.数组入门
- 07.数组的常用格式
- 08.数组的内存图解释
- 09.使用数组时的两个小问题
- 10.数组案例1_遍历数组
- 11.数组案例2_获取数组的最值
- 12.方法入门
- 13.方法练习
- 14.上午内容简单回顾
- 15.方法重载详解
- 16.方法重载思考题解释
- 17.关于Java中参数传递问题详解
- 18.面向对象入门
- 19.面向对象入门案例_手机类
- 20.封装入门
- 21.关于this关键字及使用变量的原则详解
- 22.构造方法详解
- 23.继承入门
- 24.继承中的成员特点
- 25.继承之方法重写详解
- 26.多态入门
- 27.多态好处
- 28.两个关键字讲解
- 29.抽象类详解
- 30.类和接口的关系
- 31.综合案例_运动员和教练类案例
1-3 java常用API

- 01.昨日内容总结
- 02.昨日作业第一题讲解
- 03.今日内容介绍
- 04.Scanner接收字符串
- 05.Scanner的小技巧
- 06.Object类方法演示
- 07.字符串比较详解
- 08.字符串案例_模拟登陆
- 09.字符串案例_遍历字符串
- 10.字符串案例_统计每类字符的个数
- 11.字符串案例_反转字符串
- 12.StringBuilder入门
- 13.String和StringBuilder之间的相互转换
- 14.StringBuilder案例_拼接字符串
- 15.StringBuilder案例_字符串内容反转
- 16.冒泡排序详解
- 17.Arrays工具类详解
- 18.包装类入门
- 19.int和String之间相互转换
- 20.字符串内容排序
- 21.自动拆装箱
- 22.Date入门
- 23.SimpleDateFormat类的用法
- 24.Calendar的用法
- 25.异常简介
1-4 集合

- 01.昨日内容处理
- 02.昨日作业处理
- 03.今日内容简介
- 04.Junit单元测试入门
- 05.匿名内部类详解
- 06.集合入门
- 07.Collection接口中的成员方法
- 08.Collection集合存储String并遍历
- 09.Collection存储自定义对象并遍历
- 10.List集合入门及成员方法解释
- 11.List集合存储自定义对象并遍历
- 12.列表迭代器的用法
- 13.并发修改异常详解
- 14.上午内容回顾
- 15.增强for简介
- 16.数据结构之栈和队列解释
- 17.数据结构之数组和链表解释
- 18.ArrayList存储学生并遍历
- 19.Set集合入门
- 20.哈希值简介
- 21.HashSet保证元素唯一性结束
- 22.数据结构之哈希表解释
- 23.Map集合入门
- 24.Map集合的获取功能详解
- 25.Map集合的遍历方式详解
- 26.Map集合案例_存储自定义元素并遍历
- 27.Map集合案例_统计每个字符出现的次数
- 28.Collections工具类解释
- 29.可变参数解释
1-5 反射

- 30.反射入门
- 31.反射案例_反射操作构造方法
- 32.反射案例_反射操作成员变量
- 33.反射案例_反射操作成员方法
- 34.反射案例_运行指定配置文件中指定类的指定方法
1-6 lambda表达式

- 01.昨日内容回顾
- 02.昨日作业处理
- 03.今日内容简介
- 04.Lambda表达式入门
- 05.Lambda表达式案例_有参无返回值的方法练习
- 06.Lambda表达式案例_有参有返回值的方法练习
- 07.Lambda表达式的省略模式
- 08.匿名内部类和Lambda表达式的区别
1-7 io流

- 09.字节流简介
- 10.字节输出流解释
- 11.字节输出流案例_制造空文件
- 12.字节输入流一次读取一个字节
- 13.字节输入流一次读取一个字节数组
- 14.字节流拷贝文本文件(两种方式)
- 15.图片加密案例
- 16.字节高效流拷贝文件
- 17.字节流拷贝数据的四种方式相率对比
- 18.扩展知识_编解码问题
- 19.字符流拷贝数据的4种方式演示
- 20.高效的字符流独有的拷贝方式详解(重点)
- 21.关于IO流的面试题解释
1-8 网络编程

- 22.网络编程简介
- 23.网络编程三要素值IP地址详解
- 23.网络编程三要素之端口号和协议解释
- 24.TCP协议_客户端给服务器发送一句话
- 25.TCP协议_客户端给服务器端上传文件
- 26.序列化流详解
1-9 JDBC

- 01.昨日内容回顾
- 02.昨日作业处理
- 03.今日内容简介
- 04.数据库内容回顾
- 05.JDBC入门
- 06.JDBC入门案例
- 07.JDBC的API解释之DriverManager类
- 08.JDBC的API解释之Connection,Statement,ResultSet
- 09.JDBC的CURD操作
- 10.JDBCUtils工具类的定义和使用
- 11.SQL注入攻击问题演示
- 12.PreparedStatement解决SQL注入攻击
- 13.PreparedStatement接口的CURD操作
- 14.C3P0数据库连接池入门
- 15.C3P0Utils工具类的定义和使用
- 16.事务入门
- 17.JDBC操作事务代码实现
1-10 多线程

- 18.多线程入门
- 19.多线程的实现方式1_继承Thread类
- 20.多线程执行图解
- 21.多线程的实现方式2_实现Runnable接口
- 22.匿名内部类的方式实现多线程
- 23.多线程模拟卖票_入门班
- 24.多线程模拟卖票_出现问题解释
- 25.线程安全问题详解
- 26.死锁演示
- 27.多线程的生命周期
- 28.线程的优先级问题
- 29.加入线程
- 30.守护线程详解
1-11 maven

- 01.昨日内容回顾
- 02.今日内容简介
- 03.Maven入门
- 04.Maven项目结构分析及和传统项目结构对比
- 05.Maven的仓库和坐标的解释
- 06.Maven环境搭建
- 07.IDEA集成Maven
- 08.IDEA创建JavaSE工程(无骨架)
- 09.有骨架的JavaSE工程(了解)
- 10.有骨架的JavaWeb工程(了解)
- 11.无骨架的JavaWeb工程(掌握)
- 12.maven的作用2_管理项目的生命周期
- 13.Maven的作用1_常用插件及依赖范围讲解
- 14.上午内容回顾
- 15.Maven的作用3_创建聚合工程
1-12 HDFS

- 16.HDFS内容回顾
- 17.如何在windows系统中配置hadoop运行变量
- 18.如何获取文件系统对象
- 19.Java操作HDFS之遍历HDFS中所有文件
- 20.Java操作HDFS之创建文件夹
- 21.Java操作HDFS之上传和下载文件
- 22.Java操作HDFS之合并上传
- 23.Java操作HDFS之权限问题
- 24.Java操作HDFS之删除功能
1-13 MapReduce

- 25.MR内容回顾
- 26.Java操作MR程序_思路分析
- 27.WordCount案例_MapTask任务代码编写
- 28.WordCount案例_ReduceTask任务代码编写
- 29.WordCount案例_驱动类编写
- 30.WordCount案例_官方推荐的驱动类的编写
- 31.WordCount案例_在Hadoop集群中运行
- 01.昨日内容回顾
- 02.分区规则详解
- 03.分区案例_彩票案例思路分析
- 04.分区案例_业务代码实现
- 05.分区案例_驱动类实现
- 06.排序案例_数据流图分析
- 07.排序案例_排序规则详解
- 08.排序案例_自定义排序类
- 09.排序案例_代码实现
- 10.规约案例_思路分析
- 11.规约案例_不使用规约实现代码
- 12.规约案例_加入规约操作
- 13.分组案例_数据流图分析
- 14.分组案例_自定义序列化及排序代码实现
- 15.分组案例_业务代码实现
- 16.分组案例_驱动类代码实现
- 17.求共同好友_思路分析
- 18.求共同好友_求有该用户的好友都有谁
- 19.求共同好友_最终结果实现
阶段十一 NoSQL与实时计算技术
展开第一章 NoSQL-Redis

1-1 Redis的介绍与安装

- 知识点01:课程目标
- 知识点02:NoSQL与RDBMS
- 知识点03:Redis的功能与应用场景
- 知识点04:Redis的Linux版单机部署
- 知识点05:Redis的数据结构及数据类型
1-2 Redis的基本命令

- 知识点06:Redis的通用命令
- 知识点07:String类型的常用命令
- 知识点08:Hash类型的常用命令
- 知识点09:List类型的常用命令
- 知识点10:Set类型的常用命令
- 知识点11:Zset类型的常用命令
- 知识点12:BitMap类型的常用命令
- 知识点13:HyperLogLog类型的常用命令
1-3 Jedis

- 知识点14:Jedis:使用方式与Jedis依赖
- 知识点15:Jedis:构建连接
- 知识点17:Jedis:其他类型操作
1-4 数据存储设计与持久化

- 知识点18:数据存储设计
- 知识点19:Redis持久化:RDB设计
- 知识点20:Redis持久化:RDB测试
- 知识点21:Redis持久化:AOF设计
- 知识点22:Redis持久化:AOF实现
1-5 Redis架构

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:Redis架构:问题与主从复制集群设计
- 知识点04:Redis架构:哨兵集群的设计
- 知识点05:Redis架构:分片Cluster集群的设计
- 知识点06:Redis架构:分片Cluster集群的实现(上)集群搭建
- 知识点06:Redis架构:分片Cluster集群的实现(下)集群测试
1-6 Redis高级

- 知识点07:Redis的事务机制
- 知识点08:Redis过期策略与内存淘汰机制
第二章 NoSQL-kafka

2-1 消息队列

- 知识点09:传统架构面临的问题
- 知识点10:消息队列:MQ介绍
- 知识点11:消息队列:同步与异步
- 知识点12:消息队列:点对点模式
- 知识点13:消息队列:订阅发布模式
2-2 kafka简介

- 知识点14:Kafka的介绍及特点
- 知识点15:Kafka概念:Producer、Broker、Consumer
- 知识点16:Kafka概念:Topic、Partition
- 知识点17:Kafka概念:分区副本机制
- 知识点18:Kafka概念:Segment
- 知识点19:Kafka概念:Offset
- 知识点20:Kafka概念:概念总结
2-3 附录

- 附录一:Redis常见面试题
2-4 kafka环境搭建

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:Kafka集群架构
- 知识点04:Kafka分布式集群部署
2-5 kafka的基本命令

- 知识点05:Kafka启动与关闭
- 知识点06:Topic管理:创建与列举
- 知识点07:Topic管理:查看与删除
- 知识点08:生产者及消费者测试
2-6 kafka工具

- 知识点09:可视化工具Kafka Tool
- 知识点10:Kafka集群压力测试
2-7 kafka API

- 知识点11:Kafka API 的应用
- 知识点12:生产者API:生产数据到Kafka
- 知识点13:消费者API:消费Topic数据(上)
- 知识点13:消费者API:消费Topic数据(下)
- 知识点14:生产分区规则
- 知识点15:自定义开发生产分区器
- 知识点16:消费者消费过程及问题
- 知识点17:自动提交问题
- 知识点18:实现手动提交Topic的Offset
- 知识点19:手动提交Topic Offset的问题
- 知识点20:手动提交分区Offset的实现
- 知识点21:指定消费Topic分区的数据
2-8 消费分配策略

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:消费分配策略:基本规则及分配策略
- 知识点04:消费分配策略:RangeAssignor
- 知识点05:消费分配策略:RoundRobinAssignor
- 知识点06:消费分配策略:StickyAssignor
2-9 存储机制

- 知识点07:Kafka存储机制:存储结构
- 知识点08:Kafka存储机制:写入过程
- 知识点09:Kafka存储机制:Segment
- 知识点10:Kafka存储机制:读取过程
- 知识点11:Kafka存储机制:index索引设计
2-10 kafka原理

- 知识点12:Kafka数据清理规则
- 知识点13:Kafka分区副本概念:AR、ISR、OSR
- 知识点14:Kafka数据同步概念:HW、LEO
- 知识点15:Kafka分区副本Leader选举
2-11 一次性语义

- 知识点16:消息队列的一次性语义
- 知识点17:Kafka保证生产不丢失
- 知识点18:Kafka保证生产不重复
- 知识点19:Kafka保证消费一次性语义
- 知识点20:Kafka集群常用配置
2-12 kafka监测

- 知识点21:可视化工具Kafka Eagle部署及使用
- 知识点22:Kafka数据限流
第三章 NoSQL-Hbase

3-1 Hbase简介与环境部署

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:数据存储需求及HBASE诞生
- 知识点04:HBASE基本介绍
- 知识点05:HBASE设计思想
- 知识点06:HBASE中的对象概念
- 知识点07:HBASE中的存储概念
- 知识点08:HBASE集群架构
- 知识点09:HBASE集群部署
- 知识点10:HBASE开发场景
3-2 Hbase基本命令

- 知识点11:HBASE命令行:DDL:NS
- 知识点12:HBASE命令行:DDL:Table
- 知识点13:HBASE命令行:Put
- 知识点14:HBASE命令行:Get
- 知识点15:HBASE命令行:Delete
- 知识点16:HBASE命令行:Scan
- 知识点17:HBASE命令行:incr
- 知识点18:HBASE命令行:count
3-3 Hbase JavaAPI

- 知识点19:Java API:构建连接
- 知识点20:Java API:DDL
- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:Java API:DML:Table
- 知识点04:Java API:DML:Put
- 知识点05:Java API:DML:Get
- 知识点06:Java API:DML:Delete
- 知识点07:Java API:DML:Scan
- 知识点08:Java API:DML:Filter
3-4 Hbase原理

- 知识点09:存储设计:Table、Region、RS的关系
- 知识点10:存储设计:Region及数据的划分规则
- 知识点11:存储设计:Region的内部结构
- 知识点12:Hbase读写流程:基本流程
- 知识点13:Hbase读写流程:meta表
- 知识点14:Hbase读写流程:写入流程
- 知识点15:Hbase读写流程:读取流程
- 知识点16:LSM模型:Flush
- 知识点17:LSM模型:Compaction
- 知识点18:Region分裂Split设计及规则
- 知识点19:热点问题:现象及原因
- 知识点20:分布式设计:预分区
3-5 Hbase表设计

- 知识点21:Hbase表设计:Rowkey设计
- 知识点22:Hbase表设计:其他设计
3-6 BulkLoad

- 知识点23:BulkLoad的介绍
- 知识点24:BulkLoad的实现
3-7 协处理器

- 知识点25:协处理器的介绍
- 知识点26:协处理器的实现
3-8 Hbase优化

- 知识点27:Hbase优化:内存分配
- 知识点28:Hbase优化:压缩机制
- 知识点29:Hbase优化:布隆过滤
- 知识点30:Hbase优化:其他优化
3-9 Hbase与其他组件的整合

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:SQL on Hbase
- 知识点04:Hive on Hbase 介绍
- 知识点05:Hive on Hbase 配置
- 知识点06:Hive on Hbase 测试
3-10 Phoenix

- 知识点07:二级索引的设计及问题
- 知识点08:Phoenix的介绍
- 知识点09:Phoenix的安装配置
- 知识点10:Phoenix的DDL语法:NS
- 知识点11:Phoenix的DDL语法:Table
- 知识点12:Phoenix的DML语法:upsert
- 知识点13:Phoenix的DML语法:delete
- 知识点14:Phoenix的DQL语法:select
- 知识点15:Phoenix的使用:预分区
- 知识点16:Phoenix的使用:加盐salt
- 知识点17:Phoenix的使用:视图
- 知识点18:Phoenix的使用:JDBC
- 知识点19:Phoenix二级索引设计
3-11 二级索引

- 知识点20:二级索引:全局索引设计
- 知识点21:二级索引:全局索引实现
- 知识点22:二级索引:覆盖索引设计
- 知识点23:二级索引:覆盖索引实现
- 知识点24:二级索引:本地索引设计
- 知识点25:二级索引:本地索引实现
第四章 NoSQL-综合案例

4-1 综合案例介绍

- 知识点01:课程回顾
- 知识点02:课程目标
- 知识点03:案例需求
- 知识点04:数据源
- 知识点05:技术架构及技术选型
4-2 Flume数据采集

- 知识点06:Flume的回顾及安装
- 知识点07:Flume采集程序开发
4-3 离线分析

- 知识点08:离线分析:Hbase表设计及构建
- 知识点09:离线分析:Kafka消费者构建
- 知识点10:离线分析:Hbase连接构建
- 知识点11:离线分析:Rowkey的构建
- 知识点12:离线分析:Put数据列构建
- 知识点13:离线分析:存储运行测试
- 知识点14:离线分析:Hive关联测试
- 知识点15:离线分析:Phoenix关联测试
4-4 实时计算

- 知识点16:实时计算需求及技术方案
- 知识点17:Flink的基本介绍
- 知识点18:代码模块构建
- 知识点19:省份解析工具类测试
- 知识点20:Flink代码解读
- 知识点21:Flink实时计算测试
4-5 可视化

- 知识点22:FineBI配置数据集
- 知识点23:FineBI构建报表
- 知识点24:FineBI实时配置测试
阶段十二 面试强化就业加强课
展开第一章 python+大数据面试加强

1-1 面试加强

- 01-面试加强课的目标
- 02-查看公司和投递简历
- 03-公司的常见岗位要求和职责
- 04-职位的发展
- 05-简历模板和注意事项
- 06-编写项目的注意事项
- 07-面试前需要注意的事项
- 08-面试中的架构介绍
- 09-面试之后的注意问题
- 10-架构和从0到1的落地方案
- 11-其他架构的案例
- 12-人员配备和部门协作
- 13-git介绍
- 14-IDEA操作Git的上传和下载
- 01-架构图和0-1部署方案回顾
- 02-Linux常见命令
- 03-Hadoop的读写流程
- 04-Zookeeper的回顾
- 05-Flume的回顾
- 06-Kafka常见面试题
- 07-Hive数据仓库介绍
- 08-Hive的窗口函数
- 09-Hive和数据仓库
- 10-Hive优化
- 11-Hive调优和面试题
阶段十三 大数据Flink技术栈
展开第一章 Flink基础

1-1 流式计算简介

- 01.【Flink基础-day01】Flink课程介绍和课程特点
- 02.【Flink基础-day01】【了解】第一章:课程说明
- 03.【Flink基础-day01】【了解】第一章:流计算简介
1-2 Flink简介

- 04.【Flink基础-day01】【了解】第一章:Flink简介
- 05.【Flink基础-day01】【掌握】第一章:Flink的重要角色
- 06.【Flink基础-day01】【掌握】第一章:Flink编程模型及libraries支持
1-3 Flink环境部署

- 07.【Flink基础-day01】【了解】第一章:伪分布环境部署
- 08.【Flink基础-day01】【了解】第一章:完全分布式集群环境
- 09.【Flink基础-day01】【了解】第一章:完全分布式之高可用HA集群环境
- 10.【Flink基础-day01】【掌握】第一章:yarn集群环境说明
- 11.【Flink基础-day01】【掌握】第一章:flink on yarn部署方式演示
1-4 Flink入门案例

- 12.【Flink基础-day01】【掌握】第一章:flink实现批处理的单词计数
- 13.【Flink基础-day01】【掌握】第一章:flink实现流处理的单词计数
- 14.【Flink基础-day01】【掌握】第一章:flinkLambda实现流处理的单词计数
- 15.【Flink基础-day01】【掌握】第一章:使用批流一体API编程模型实现
- 16.【Flink基础-day01】【掌握】第一章:Flink程序递交部署
- 17.【Flink基础-day01】知识点总结
1-5 Flink架构体系

- 01.【Flink基础-day02】知识点回顾
- 02.【Flink基础-day02】【掌握】第一章:Flink运行时组件
- 03.【Flink基础-day02】【掌握】第一章:Flink运行时架构
第二章 Flink流批一体API开发

2-1 流处理基本概念

- 04.【Flink基础-day02】【掌握】第二章:Flink流处理相关的概念
2-2 Flink的数据源

- 05.【Flink基础-day02】【掌握】第二章:基于本地集合的source
- 06.【Flink基础-day02】【掌握】第二章:基于文件的source
- 07.【Flink基础-day02】【掌握】第二章:基于Socket的Source
- 08.【Flink基础-day02】【掌握】第二章:基于随机生成DataSource
- 09.【Flink基础-day02】【掌握】第二章:基于mysql的source操作
2-3 Flink的转换算子

- 10.【Flink基础-day02】【掌握】第二章:transformation操作-1
- 11.【Flink基础-day02】【掌握】第二章:transformation操作-2
- 12.【Flink基础-day02】【掌握】第二章:物理分区
2-4 Flink的Sink操作

- 13.【Flink基础-day02】【掌握】第二章:数据输出Data Sinks
- 14.【Flink基础-day02】【掌握】知识点总结
- 01.【Flink基础-day03】知识点回顾
- 02.【Flink基础-day03】【掌握】第二章:JDBCSink使用
2-5 Flink与其他组件的整合

- 03.【Flink基础-day03】【掌握】第二章:kafka消费者使用
- 04.【Flink基础-day03】【掌握】第二章:kafka生产者使用
- 05.【Flink基础-day03】【掌握】第二章:redis连接器使用
- 06.【Flink基础-day03】【扩展】第二章:其他批处理的API
第三章 Flink高级API开发

3-1 四大基石:Window

- 07.【Flink基础-day03】【了解】第三章:四大基石的介绍
- 08.【Flink基础-day03】【掌握】第三章:window的介绍及使用和窗口范围的划分
- 09.【Flink基础-day03】【了解】第三章:window的API操作
- 10.【Flink基础-day03】【掌握】第三章:Time Window 案例
- 11.【Flink基础-day03】【掌握】第三章:Count-Window 案例和会话窗口(Session Windows) 概念和案例
- 12.【Flink基础-day03】【掌握】第三章:窗口的增量聚合函数使用
- 13.【Flink基础-day03】【掌握】第三章:窗口的全量聚合函数使用
- 14.【Flink基础-day03】知识点总结
3-2 四大基石:time

- 01.【Flink基础-day04】知识点回顾
- 02.【Flink基础-day04】【掌握】第三章:水印的介绍
- 03.【Flink基础-day04】【掌握】第三章:水印的生成策略
- 04.【Flink基础-day04】【掌握】第三章:单调递增水印的演示(数据必须有序)
- 05.【Flink基础-day04】【掌握】第三章:固定延迟水印的演示(数据必须有序)
- 06.【Flink基础-day04】【了解】第三章:自定义水印策略开发
- 07.【Flink基础-day04】【掌握】第三章:多并行度下的水印操作
- 08.【Flink基础-day04】【掌握】第三章:flink整合kafka实现水印操作
- 09.【Flink基础-day04】【掌握】第三章:水印的延迟处理机制
3-3 四大基石:state

- 10.【Flink基础-day04】【掌握】第三章:状态的介绍
- 11.【Flink基础-day04】【掌握】第三章:状态的API介绍
- 12.【Flink基础-day04】【掌握】第三章:KeyedState的使用案例
- 13.【Flink基础-day04】【掌握】第三章:OperatorState的使用案例
- 14.【Flink基础-day04】知识点总结
- 01.【Flink基础-day05】知识点回顾
- 02.【Flink基础-day05】【掌握】State的TTL机制
- 03.【Flink基础-day05】【扩展】QueryableState的使用
- 04.【Flink基础-day05】【掌握】BroadcastState的使用
3-4 四大基石:checkpoint

- 05.【Flink基础-day05】【掌握】checkpoint的介绍
- 06.【Flink基础-day05】【掌握】checkpoint的使用
- 07.【Flink基础-day05】【掌握】checkpoint的重启策略
- 08.【Flink基础-day05】【掌握】savepoint的使用
- 09.【Flink基础-day05】【扩展】flink的任务链
- 10.【Flink基础-day05】知识点总结
第四章 Flink高级特性

4-1 异步io与两端递交

- 01.【Flink基础-day06】知识点回顾
- 02.【Flink基础-day06】flink一致性语义的介绍
- 03.【Flink基础-day06】flink基于kafka实现一次性语义的代码分析
- 04.【Flink基础-day06】flink基于kafka代码
- 05.【Flink基础-day06】flink基于mysql代码
4-2 ProcessFunction API

- 06.【Flink基础-day06】flink实现processfunction
- 07.【Flink基础-day06】flink实现具有增量聚合的processwindowfunction
4-3 双流join

- 08.【Flink基础-day06】flink的双流join介绍
- 09.【Flink基础-day06】flink的双流join代码演示
4-4 数据类型和序列化

- 10.【Flink基础-day06】flink的数据类型和自定义序列化及反序列化
- 11.【Flink基础-day06】知识点总结
第五章 FlinkSQL

5-1 FlinkSQL简介

- 01.【FlinkSQL-day07】整体概述
- 02.【FlinkSQL-day07】环境初始化和程序结构分析
- 03.【FlinkSQL-day07】将DataStream转换成Table对象演示
5-2 FlinkSQL连接外部系统

- 04.【FlinkSQL-day07】将查询结果写入到文件中
- 05.【FlinkSQL-day07】将查询结果写入到kafka中
- 06.【FlinkSQL-day07】将查询结果写入到mysql中
- 07.【FlinkSQL-day07】flinksql整合hive
5-3 SQLClient

- 08.【FlinkSQL-day07】flinksqlclient递交作业的步骤分析
- 09.【FlinkSQL-day07】flinksqlapi使用hivecatalog
- 10.【FlinkSQL-day07】flinksqlclient消费kafka数据实时写入到hive中
5-4 动态表

- 11.【FlinkSQL-day07】动态表的概念理解
- 12.【FlinkSQL-day07】flinksql使用处理时间
- 13.【FlinkSQL-day07】知识点总结
- 01.【FlinkSQL-day08】知识点回顾
- 02.【FlinkSQL-day08】flinksql使用事件时间
- 03.【FlinkSQL-day08】flinksql使用时区-1
- 04.【FlinkSQL-day08】flinksql使用时区-2
- 05.【FlinkSQL-day08】flinksql理解时态表的概念
- 06.【FlinkSQL-day08】flinksql时态表函数在批计算场景使用
- 07.【FlinkSQL-day08】flinksql时态表函数在流计算场景代码实现
- 08.【FlinkSQL-day08】flinksql时态表join操作
5-5 FlinkSQL_窗口

- 09.【FlinkSQL-day08】flinksql使用窗口的介绍
- 10.【FlinkSQL-day08】flinksql使用滚动窗口的示例
- 11.【FlinkSQL-day08】flinksql使用其他窗口的示例
- 12.【FlinkSQL-day08】知识点总结
- 01.【FlinkSQL-day09】知识点回顾
- 02.【FlinkSQL-day09】flinksql的多维数据分析
- 03.【FlinkSQL-day09】flinksql的多维数据分析-topN
- 04.【FlinkSQL-day09】flinksql的over window
- 05.【FlinkSQL-day09】flinksql的tableapi操作window
5-6 FlinkSQL_函数

- 06.【FlinkSQL-day09】flinksql的函数介绍和标量函数使用
- 07.【FlinkSQL-day09】flinksql的表函数实现
- 08.【FlinkSQL-day09】flinksql的其他函数实现
5-7 FlinkSQL连接外部系统及优化

- 09.【FlinkSQL-day09】flinksql的外部连接器(扩展)
- 10.【FlinkSQL-day09】flinksql的优化点概述
阶段十四 Flink综合项目
展开第一章 星途车联网-项目基石与前瞻

1-1 车联网行业背景介绍

- 01_项目规划和今日目标
- 02_车辆网行业背景
1-2 汽车行业和车辆类型

- 03_车辆的分类和部件
- 04_汽车后服务市场分析
- 05_新能源汽车发展现状
- 06_纯电和燃料电池汽车
1-3 车联网行业产业链

- 07_车联网行业技术特点
- 08_车联网行业国内外知名企业
- 09_车联网项目的介绍
- 10_车联网行业和电商行业的区别
- 11_需要掌握的技术和工作机会
- 12_数据来源和数据量
1-4 车联网技术选型

- 13_上午内容回顾
- 14_车联网的整体架构
- 15_车联网的技术选型
1-5 车联网项目工程搭建

- 16_车联网项目架构搭建的步骤
- 17_车联网项目环境搭建和配置文件
1-6 上报数据的格式解析

- 18_json解析的简单解析
- 19_JSON解析加强
第二章 星途车联网-原始终端数据实时ETL

2-1 数据推送到kafka

- 01_昨日回顾
- 02_Flink将数据写入到kafka集群步骤
- 03_Flink将数据写入kafka实现
2-2 解析工具类走读

- 04_Flink将数据从kafka中读取出来
- 05_创建模块并时间处理工具走读mp4
- 06_读取配置文件和字符串翻转
- 07_加载JSON对象解析工具
2-3 实时ETL

- 08_flink消费kafka数据进行ETL步骤
- 09_上午内容回顾
- 10_flink设置并行度和时间属性
- 11_flink读取参数和配置checkpoint
- 12_flink的重启策略
- 13_flink分区自动发现策略
- 14_读取kafka集群数据和解决日志冲突
2-4 数据积压与反压

- 15_Flink的反压机制原理
2-5 过滤数据

- 16_读取车辆数据的抽象类
- 17_读取数据并将数据转换成正确对象
- 18_将数据写入到HDFS的操作
第三章 星途车联网-数据落地

3-1 数据存储_hive

- 01_昨日回顾和今日目标
- 02_将hdfs上数据写入到Hive分区中
- 03_编写自动添加到指定分区的脚本
- 04_将hdfs上数据加载到hive分区操作
- 05_实现直接写入数据到Hive分区表
3-2 数据存储_Hbase

- 06_rowkey设计原则和方法
- 07_rowkey的设计方法
- 08_hbase的shell命令
- 09_将正确的数据写入到HBase中
- 10_上午内容回顾
- 11_数据写入HBase的测试
3-3 HBase调优

- 12_优化写入HBase的操作
- 13_优化写入HBase的代码测试
- 14_写入hbase设置预分区
- 15_hbase的编码方式和fast_diff编码
- 16_编解码和加密方式和内外表区别
- 17_HBase的压缩算法和操作
第四章 星途车联网-Phoenix on HBase即席查询

4-1 Phoenix简介及常用命令

- 01_今日目标
- 02_phoenix的简介
- 03_phoenix的创建和查询
- 04_phoenix表和视图的基本操作
- 05_phoenix表的全局索引
- 06_phoenix的本地局部索引
- 07_phoenix的索引参数的优化
4-2 HBase二级索引

- 08_映射HBase表并使用Datagrip查询
- 09_将车辆部分数据写入到hbase并映射到 phoenix
4-3 车联网明细数据统计

- 10_如何彻底删除kafka的主题
- 11_上午内容回顾
- 12_车辆明细数据统计
4-4 Zeppelin简介及使用

- 13_zeppelin的介绍和常用功能
- 14_zeppelin使用mysql解释器并操作
- 15_zeppelin添加解析器和数据分析展示
第五章 星途车联网-车辆驾驶行为分析

5-1 驾驶行程业务逻辑

- 01_昨日回顾和今日目标
- 02_驾驶行程业务案例
- 03_驾驶行程分析流程
- 04_会话窗口和水印机制的逻辑
- 05_驾驶行程采样分析的步骤
- 06_Flink水位线和窗口
- 07_驾驶行程数据抽取转换和窗口设置
5-2 驾驶行程指标分析

- 08_驾驶行程采样分析步骤
- 09_驾驶行程采样逻辑实现
- 10_上午内容回顾
- 11_驾驶行程采样测试()
- 12_驾驶行程分析的步骤
- 13_驾驶行程分析实现1
- 14_驾驶行程采样测试(补充)
- 15_驾驶行程分析实现2
- 16_驾驶行程采样分析phoenix表映射
- 17_补充
第六章 星途车联网-电子围栏分析

6-1 电子围栏简介

- 01_昨日回顾和今日目标
- 02_电子围栏的业务介绍
6-2 电子围栏分析步骤

- 03_电子围栏分析业务逻辑分析
- 04_电子围栏分析的步骤
6-3 电子围栏分析实现

- 05_数据预处理操作
- 06_电子围栏数据配置的读取步骤
- 07_读取数据库中电子围栏的数据
- 08_将车辆数据和电子围栏配置合并
- 09_电子围栏配置关联生成对象操作
- 10_上午内容回顾
- 11_两个点之间的球面距离的计算
- 12_电子围栏窗口计算操作
- 13_将电子围栏窗口计算结果保存到数据库
第七章 星途车联网-远程诊断实时故障分析

7-1 实时故障业务逻辑

- 01_昨日回顾和今日目标
- 02_远程诊断实时故障业务介绍
- 03_远程诊断实时故障业务逻辑
- 04_地理位置转换geohash
7-2 实时故障分析实现

- 05_远程诊断实时故障业务开发步骤
- 06_读取redis中的车辆位置数据
- 07_异步请求高德Api步骤和生成url
- 08_kafka的topic的分区设置规则
- 09_异步请求高德Api的开发步骤
- 10_异步请求http返回json对象
- 11_异步请求封装写入到redis并返回
- 12_将窗口内的数据统计告警信息返回
- 13_将故障数据和静态车辆类型数据拉宽并入库到mysql
第八章 星途车联网-项目展示和任务调度

8-1 项目展示和任务调度

- 01_FlinkCEP介绍
- 02_mysql和canal的使用
- 03_Flink的离线处理
- 04_前端可视化业务和模块导入
- 05_后台提供springboot的接口
- 06_调度平台dolphinscheduler的使用