阶段一 Python大数据开发基础

展开
第一章 大数据介绍及开发环境
1-1 大数据介绍
  • 1. 上课流程
  • 2. 大数据介绍1
  • 3.大数据应用场景
  • 4.大数据介绍
1-2 linux介绍及虚拟机网络配置
  • 5.入门知识介绍
  • 6.Linux介绍
  • 7.虚拟机的介绍
  • 8.网络配置
  • 9.网络配置2
  • 10.解决网络问题
  • 11.网络配置和连接工具
1-3 linux目录介绍
  • 12.Linux目录结构介绍
第二章 linux命令
2-1 linux命令(一)
  • 13. Linux命令之ls
  • 14.linux命令之pwd
  • 15.Linux命令之cd
  • 16.Linux命令之mkdir
  • 1. 反馈
  • 2.回顾
  • 3.Linux命令之rm
  • 4.linux命令之touch
  • 5.Linux命令之mv
  • 6.linux 命令之cat
  • 7.linux命令之more
  • 8.Linux命令之cp
  • 9.回顾
  • 10.Linux命令之ps
  • 11.linux命令之kill
  • 12.Linux命令之ifconfig
  • 13.Linux命令之清屏
  • 14.Linux系统关机命令
  • 15.Linux命令之hostname
  • 16.Linux命令之tar
  • 17.linux 命令之grep
  • 18.linux命令之管道
  • 19.linux命令之which
2-2 vim编辑器的使用
  • 20.vi编辑器
2-3 linux命令(二)
  • 21.总结
  • 2.回顾
  • 3.Linux命令之useradd
  • 4.linux命令之权限
第三章 MySQL数据库
3-1 mysql和datagrip的介绍
  • 5.数据库介绍
  • 6.mysql安装和datagrip安装
  • 7.datagrip连接mysql
  • 8.回顾
  • 9. mysql的介绍
3-2 数据定义语言的使用
  • 10.DDL之数据库
  • 11.DDL之表操作
  • 12.DDL之表结构操作
3-3 数据操作语言的使用
  • 13.DML操作之插入数据insert
  • 14.总结
  • 2.回顾
  • 3.DML操作之update
  • 4.DML操作之delete
3-4 数据库约束
  • 5.约束之主键约束
  • 6.约束之自增
  • 7. 约束之not null
  • 8.约束之unique
  • 9.回顾
3-5 数据库查询
  • 10.简单查询
  • 11. 条件查询1
3-6 运算与排序
  • 补录like视频
  • 12. null的判断
  • 13.逻辑运算符
  • 14. order by 排序
  • 15.总结
3-7 函数,分组和二次过滤
  • 1. 反馈
  • 2.回顾
  • 3.聚合函数
  • 4.group by分组查询
  • 5.having二次过滤
  • 6.回顾
  • 7.limit查看有限条数据
  • 8.insert into 插入结果数据到结果表
  • 9.主外键关系
3-8 数据库的多种连接查询
  • 10.内连接查询
  • 11.左连接与右连接
  • 12.子查询
  • 13.索引介绍
  • 14.查看函数
  • 15.总结
  • 16.第四天的练习
3-9 数据库练习回顾
  • 1.反馈和回顾
  • 2.练习
  • 补充讲解练习
  • 3.练习2
  • 4.case when
  • 5.sql的重要性
第四章 excel的使用
4-1 excel的相关操作
  • 6.数据分析介绍
  • 7.excel基本操作
  • 8.excel的数据处理
  • 9.excel常用的函数
  • 10.excel创建图表
  • 11.生成透视表和透视图
第五章 kettle的使用
5-1 kettle的使用
  • 1.反馈
  • 2.kettle的介绍
  • 3.kettle入门-TXT文本抽取到excel
  • 4.将excel数据抽取到表里面
  • 5.将表数据抽取到另外一张表
  • 6.插入更新操作
  • 7.switch_case条件判断
  • 8.设置转换参数
  • 9.window下执行job任务
  • 10.删除组件
  • 11.Linux环境下执行转换任务
第六章 数据分析及可视化
6-1 finebi的初步使用
  • 1.finebi介绍
  • 2.数据准备
  • 3.选择数据库里面的表
  • 4.根据学科制表
  • 5.不同城市的学生数量
  • 6.不同地区的访问人数
6-2 集团分析项目
  • 7.集团分析-数据准备
  • 8.集团分析-按月分析销售额
  • 9.集团分析-按月分析毛利率
  • 10.集团分析-按省市分析毛利率
  • 11.集团分析-按门店分析毛利率
  • 12.集团分析-按毛利率分析产品类别销售情况
  • 13.集团分析-按毛利率分析产品销售情况
  • 14.电商案例介绍
  • 15.创建工程用datagrip连接mysql
6-3 数据抽取和统计分析
  • 1.了解表数据
  • 2.加载数据到mysql
  • 3.使用kettle抽取数据到数据仓库
  • 4.表的介绍
  • 5.统计总金额和总订单个数
  • 6.统计不同用户数
  • 7.按支付方式统计总金额和总笔数
  • 8.统计不同用户的订单个数TOP5
  • 9.按照一级分类统计总金额和总笔数
  • 10.添加索引提高查询速度
  • 11.fineBI数据可视化
第七章 大数据框架与数仓基础
7-1 Hadoop的介绍,配置和集群的使用
  • 1.反馈和Hadoop基础介绍
  • 2.分布式和集群的区别
  • 3.Hadoop的介绍
  • 4.Hadoop国内外的应用
  • 5.Hadoop1.x与Hadoop2.x的区别
  • 6.hdfs和yarn角色介绍
  • 7.单机和集群的介绍
  • 8.内存设置
  • 9.回顾
7-2 hdfs的介绍,使用和特特点
  • 10. hdfs的介绍
  • 11.MapReduce测试集群案例
  • 12.hdfs的特点
  • 13.hdfs的四个角色
  • 14.hdfs的shell命令
  • 15.基准测试
  • 16.总结
7-3 数据仓库的介绍
  • 1.反馈
  • 2. 回顾
  • 3.数据库与数据仓库的区别
  • 4.数据仓库的分层
  • 5.hive介绍
  • 6.启动hiev和进入hive终端
7-4 数据仓库的基本使用
  • 7.数据库操作
  • 8.表的基本操作
  • 9.本地加载数据到hive表
  • 10.hdfs加载数据到表
  • 11.回顾
  • 12.外部表操作
  • 13.一级分区表
  • 14. 多级分区表
  • 15.分区操作
  • 16.zeppeline使用
  • 17.SQL查询
  • 18.Hive的内置函数
  • 19.hive总结
7-5 作业讲解
  • 1.反馈
  • 2.作业1
  • 3.作业2
第八章 数仓实战项目
8-1 数仓实战之滴滴出行
  • 4.项目业务背景介绍
  • 5.滴滴4张表的介绍
  • 6.分层和表的创建
  • 7. 生成宽表数据
  • 8.回顾
  • 9.统计总订单个数
  • 10.统计预约和非预约的占比
  • 11.按时间段统计订单个数
  • 12.按职业统计订单个数求TOP5
  • 13.求取消订单的占比
  • 14.将订单总笔数的数据导出到mysql表
  • 15.将hive结果表数据导出到mysql
  • 16.数据可视化
8-2 数仓实战之智能电商分析平台(一)
  • 1.反馈
  • 2.回顾
  • 3.了解项目架构
  • 4.维度表和实时表的介绍
  • 5.三种模型的介绍
  • 6.从事实表引出拉链表
  • 7.缓慢变化维介绍
  • 8.拉链表实现1
  • 9.回顾
  • 10.dw层拉链表实现
  • 11.拉链表实现补充
  • 12.了解表结构
  • 13.mysql数据准备
  • 14.从mysql导入数据到hive的ods层
  • 15.导入数据到dw拉链表
  • 16.dw数据加载
  • 17.指标1的分析
  • 18.总结
8-3 数仓实战之智能电商分析平台(二)
  • 1.反馈和回顾
  • 2. 按时间类型统计订单个数和总金额
  • 3.根据一级分类、二级分类,支付类型计算订单个数和金额
  • 4. sqoop导出数据到MySQL
  • 5.fineBI可视化
  • 6. 日志数据处理流程
  • 7.进入Nginx的web界面
  • 8.日志数据介绍
8-4 flume的介绍和使用
  • 9.flume介绍
  • 10.实时采集web端日志数据
  • 11.采集大文件到hdfs指定目录
  • 12. hdfs日志数据预处理
8-5 数仓实战之智能电商分析平台(三)
  • 1.反馈
  • 2.回顾
  • 3.生成宽表
  • 4.骨灰级指标的计算
  • 5.骨灰级指标入库
  • 6.按小时统计访问次数
  • 7,按天统计访问次数
  • 8.人均访问页面次数
  • 9.页面跳出率
  • 10.热门页面TOP10
  • 11. 漏斗模型数据准备
  • 12.相对占比
  • 13漏斗模型计算
  • 14.数据导出到MySQL
  • 15.fineBI数据可视化
  • 16.superset可视化-补充

阶段二 Python基础编程

展开
第一章 Python基础语法
1-1 Python概述
  • 00-课程阶段及注意事项
  • 01-Python概述
1-2 Pyhton解释器与Pycharm安装配置
  • 02-Python解释器及pycharm安装
  • 03-pycharm配置
1-3 Python变量与注释
  • 04-注释
  • 05-变量
  • 06-上午知识回顾
1-4 变量使用与debug工具
  • 07-标识符命名规范
  • 08-变量的使用
  • 09-变量类型
  • 10-常见bug及调试工具使用
1-5 Python格式化输出
  • 11-输出
  • 12-格式化输出
  • 13-今日总结
  • 00-反馈及复习
1-6 输入与类型转化
  • 01-转译字符
  • 02-f-string
  • 03-习题讲解1
  • 04-input输入
  • 05-数据类型转换
1-7 Python运算符
  • 06-算数运算符
  • 07-算数运算符优先级
  • 08-赋值运算符
  • 09-上午知识点复习
  • 10-复合赋值运算符
  • 11-比较运算符
  • 12-逻辑运算符
  • 13-短路运算
  • 14-世界杯案例
1-8 Python分支语句
  • 15-分支语句语法
  • 16-分支语句注意事项
  • 17-练习讲解2
  • 18-if嵌套
  • 19-猜拳游戏
  • 20-三目运算符
1-9 分支总结与复习
  • 21-今日总结
  • 00-反馈和复习
1-10 while循环
  • 01-循环介绍
  • 02-while循环体验
  • 03-while循环案例
  • 04-break和continue
  • 05-死循环
1-11 while循环嵌套
  • 06-循环嵌套
  • 07-break和continue只能控制当前循环
  • 08-上午练习讲解
  • 09-while嵌套案例
1-12 for循环
  • 10-for循环入门
  • 11-range
  • 12-for循环小案例
  • 13-for循环中的break和continue
  • 14-for循环嵌套案例
  • 15-今日总结
1-13 循环else
  • 00-复习及反馈
  • 01-while...else
  • 02-for...else
  • 03-报数游戏案例
1-14 字符串定义、切片
  • 04-字符串定义
  • 05-输入和输出
  • 06-字符串索引
  • 07-字符串切片
  • 08-上午知识点复习
1-15 字符串查找、替换、合并
  • 09-字符串查找方法
  • 10-字符串替换
  • 11-字符串拆分和合并
  • 12-字符串转换
1-16 字符串删除、判断
  • 13-字符串两侧内容删除
  • 14-字符串对其
  • 15-习题讲解
  • 16-字符串判断
1-17 列表定义
  • 17-列表定义
  • 18-今日总结
  • 01-列表的定义
1-18 列表的操作使用
  • 02-列表的查询
  • 03-列表的增加
  • 04-列表的删除
  • 05-列表的修改
  • 06-列表的遍历
  • 07-练习讲解及上午知识总结
  • 08-列表嵌套
1-19 元组定义使用
  • 09-元组的定义
  • 10-元组的相关操作
1-20 字典定义使用
  • 11-字典的定义
  • 12-字典的增加
  • 13-update补充
  • 14-字典的删除
  • 15-字典的修改
  • 16-字典的查询
  • 17-字典循环遍历
1-21 集合定义使用
  • 18-集合的定义
  • 19-集合的相关操作
  • 00-复习及反馈
1-22 公共方法与推导式
  • 01-公共方法之加法
  • 02-公共方法之乘法
  • 03-公共方法之in和not in
  • 04-公共方法之切片
  • 05-公共函数
  • 06-推导式
  • 07-上午知识总结
1-23 函数基本使用
  • 08-函数定义及调用
  • 09-函数的调用顺序
  • 10-函数参数
  • 11-函数的返回值
  • 12-函数说明文档
  • 13-函数的其嵌套
  • 14-函数案例
1-24 函数作用域
  • 15-局部变量和全局变量
  • 16-global
  • 17-函数参数进阶
1-25 总结复习
  • 18-今日总结
  • 00-复习和反馈
1-26 不定长参数与组包拆包
  • 01-位置不定长参数
  • 02-关键字不定长参数
  • 03-参数的排布顺序
  • 04-组包和拆包
1-27 引用类型
  • 05-引用
  • 06-可变和不可变类型
  • 07-上午知识总结
  • 08-引用当做参数传递
1-28 案例-学员管理系统
  • 09-学生管理系统框架
  • 10-添加学员
  • 11-删除学员
  • 12-修改学员
  • 13-查询学员
  • 14-展示所有学员
  • 15-结束程序
1-29 递归与复习
  • 16-递归
  • 18-lambda函数
  • 00-复习和反馈
1-30 文件基本操作
  • 01-文件读写操作体验
  • 02-文件的读取操作
  • 03-文件的其他读取方式
  • 04-文件的写入操作
  • 05-文件的追加操作
  • 06-文件的读写模式扩展
1-31 文件操作案例
  • 07-文件备份案例
  • 08-上午知识总结
  • 09-文件操作
  • 10-文件夹操作
  • 11-批量修改文件名案例
第二章 Python面向对象编程
2-1 类定义与初始化
  • 12-面向对象编程思想
  • 13-类和对象
  • 14-类的定义和实例化
  • 15-self
2-2 总结与复习
  • 16-今日总结
  • 00-复习和反馈
2-3 示例属性操作
  • 01-在类的外部添加和获取实例属性
  • 02-在类的内部添加和获取实例属性
2-4 魔法方法
  • 03-魔术方法介绍
  • 04-__init__()方法
  • 05-带参数的__init__()方法
  • 06-__str__()方法
  • 07-__del__()方法
2-5 面向对象案例
  • 08-上午知识回顾
  • 09-面向对象案例
2-6 面向对象封装与继承
  • 10-封装
  • 11-私有属性和私有方法
  • 12-继承介绍
  • 13-单继承
  • 14-多继承
2-7 面向对象多态
  • 15-子类中重写父类方法
  • 16-今日总结
  • 00-复习与反馈
  • 01-子类对象调用父类方法
  • 02-多态
2-8 类属性方法
  • 03-类属性
  • 04-类方法
  • 05-静态方法
  • 06-面向对象案例
2-9 Python异常处理
  • 07-异常捕获
  • 08-捕获指定类型的异常
  • 09-上午知识点复习
  • 10-else和finally
  • 11-异常捕获案例
  • 12-抛出自定义异常
2-10 Python模块与包
  • 13-Python中的模块
  • 14-自定义模块
  • 15-模块的定位顺序
  • 16-__all__的作用
  • 17-包的导入
2-11 学员管理系统-面向对象版本
  • 18-学员管理系统框架搭建
  • 19-学员信息的增删改
  • 20-学员管理系统的存储和提取

阶段三 Python进阶编程

展开
第一章 多任务编程-进程
1-1 多任务的介绍
  • 1-课程介绍
  • 2-多任务介绍
  • 3-多任务动画演示
1-2 多进程的使用
  • 4-进程介绍
  • 5-进程基本使用(掌握)
  • 6-进程错误说明
1-3 进程执行带有参数的任务
  • 7-进程传参
  • 8-进程名称指定
  • 9-获取进程编号
1-4 进程的注意点
  • 10-进程的注意点
  • 11-上午回顾
第二章 多任务编程-线程
2-1 多线程的使用
  • 12-线程的介绍
  • 13-线程的基本使用(掌握)
  • 14-线程参数传递
  • 14-线程和进程运行流程说名
2-2 多进程的使用
  • 15-线程名字命名
2-3 线程的注意点
  • 16-主线程和子线程关系说明
  • 17-线程间数据共享
  • 18-线程间数据共享问题
  • 19-进程间通讯
2-4 进程和线程对比
  • 20-进程和线程区别
  • 21-ip地址和端口
  • 22-tcp协议和socket
  • 1-线程字段抢占回顾
  • 2-作业说明
  • 3-作业编程1的流程说明
第三章 网络编程
3-1 socket的介绍
  • 4-客户端和服务端开发流程(理解)
  • 5-服务端开发工具说明
  • 6-网络调试助手使用
  • 7-客户端开发演示
3-2 TCP客户端程序开发
  • 8-服务端开发演示(掌握)
  • 9-上午回顾
  • 10-服务端代码优化--循环处理客户端请求
  • 11-客户端和服务端交互流程说明
3-3 多任务版TCP服务端程序开发
  • 12-服务端代码优化--多任务实现客户端数据处理
  • 13-客户端和服务端的注意点
第四章 HTTP协议和静态Web服务器
4-1 HTTP协议
  • 14-HTTP协议介绍
  • 15-url网址介绍
4-2 查看HTTP协议的通信过程
  • 16-浏览器调试工具介绍
  • 17-请求报文介绍
  • 1-回顾
  • 2-响应报文结构说明
4-3 搭建Python自带静态Web服务器
  • 3-python自带静态服务器演示
  • 4-使用浏览器复制前端页面代码
  • 5-http服务器搭建
  • 6-python环境变量
  • 7-返回前端文件数据
  • 8-返回指定页面数据的逻辑分析
  • 9-返回指定页面数据的代码实现
4-4 静态Web服务器-面向对象开发
  • 10-多任务版静态服务实现
  • 11-代码运行错误处理
  • 12-面向对象版静态服务
第五章 html+css基础
5-1 html的介绍
  • 13-前端介绍
  • 14-html介绍
  • 15-vscode安装
5-2 初识常用的html标签
  • 16-html的基本使用
  • 17-html标签的基本使用
  • 18-回顾
5-3 资源路径
  • 1-面向对象回顾
  • 2-昨天回顾
  • 3-标签路径指定
  • 4-排序展示数据
5-4 css的介绍
  • 5-css介绍
  • 6-css行内和内嵌使用
  • 7-css外链使用
5-5 css选择器
  • 8-css类选择器使用
  • 9-cssid选择器使用
  • 10-css层级选择器
  • 11-布局样式控制
  • 12-字体样式控制
  • 13-回顾
第六章 JavaScript
6-1 JavaScript的介绍
  • 14-js介绍
  • 15-行内使用js
  • 16-内嵌和外链式使用js
6-2 变量和数据类型
  • 17-js的变量
6-3 函数定义和调用
  • 18-函数的基本使用
  • 19-全局和局部变量
6-4 条件语句
  • 20-条件判断的基本使用
  • 21-条件判断的与或非
6-5 数组及操作方法
  • 22-数组的基本使用
  • 23-数组删除
6-6 循环语句
  • 24-for循环使用
  • 25-while循环使用
6-7 字符串拼接
  • 26-字符串拼接
  • 27-jquery介绍
  • 28-jquery基本使用
  • 1-回顾
第七章 jQuery
7-1 jQuery的介绍
  • 2-jquery的引入
  • 3-jquery引入的简写形式
7-2 jQuery选择器
  • 4-jquery类选择的使用
  • 5-jquery的id和层级选择
7-3 选择集过滤
  • 6-jquery过滤选择
7-4 获取和设置元素内容
  • 7-jquery的标签数据写入
  • 8-juqery的标签属性值操作
7-5 jQuery事件
  • 9-jquery的事件处理
  • 10-输入框数据获取
7-6 JavaScript对象
  • 11-javascript的数据对象
7-7 json
  • 12-json数据形式
  • 13-聚合数据网站的注册
7-8 ajax
  • 14-ajax的作用
  • 15-ajax的使用
  • 16-数据的解析
7-9 综合案例
  • 17-对比python的数据解析
  • 18-数据的写入
  • 20-小结
第八章 闭包和装饰器
8-1 闭包
  • 21-闭包的介绍
  • 22-闭包的定义
  • 23-闭包传参
  • 24-闭包的参数使用
8-2 装饰器
  • 25-装饰器的使用
  • 26-回顾
  • 27-产品说明
  • 1-闭包回顾
8-3 装饰器的使用
  • 2-函数穿参回顾
  • 3-装饰器回顾
  • 4-装饰器传参
  • 5-装饰器不定长参数
  • 6-不定长参数的拆包解压
8-4 通用装饰器的使用
  • 7-通用装饰器的使用
  • 8-通用装饰器日志操作
  • 9-装饰器的数据返回
第九章 正则表达式
9-1 with语句
  • 10-内容介绍
  • 11-with文件操作
9-2 深拷贝和浅拷贝
  • 12-不可变类型深浅拷贝
  • 13-可变类型深浅拷贝
  • 14-深浅拷贝的流程图
  • 15-深拷贝的使用场景
  • 16-深浅拷贝使用场景
9-3 re的模块介绍
  • 17-re模块介绍
  • 18-正则的基本使用
9-4 匹配单个字符
  • 19-匹配任意字符
  • 20-匹配字符范围指定
  • 21-匹配数字和非数字
  • 22-匹配空格和非空格
  • 23-匹配数字字母和非数字字母
9-5 匹配多个字符
  • 24-匹配多个字符
  • 25-匹配指定字符个数
  • 26-小结回顾
第十章 mini-Web
10-1 Web应用概述
  • 27-miniweb介绍
  • 28-miniweb改造
  • 1-服务端开发回顾
  • 2-面向对象版服务器开发回顾
  • 3-业务代码拆分封装回顾
  • 4-json数据使用回顾
  • 5-服务器代码梳理
10-2 应用程序开发
  • 6-数据库创建
  • 7-数据库连接导入数据
  • 8-pymysql安装
  • 9-pymysql基本使用
  • 10-pymysql数据更新
  • 11-上午回顾
10-3 路由列表功能开发
  • 12-返回所有图书数据
  • 13-获取一个图书数据的路径匹配
  • 14-切割路径数据
  • 15-获取一个图书数据的业务实现
  • 16-封装路径匹配方法
  • 17-封装查询数据库方法
  • 18-路由列表的使用
  • 19-拓展--框架使用
  • 20-前端和后端服务交互
10-4 logging日志
  • 21-日志的使用
  • 22-代码拆分封装回顾
第十一章 数据埋点
11-1 埋点形式
  • 23-数据埋点介绍
  • 24-埋点形式介绍
11-2 埋点方案
  • 25-埋点位置说明
  • 26-埋点流程介绍
  • 27-埋点方案制定两个大问题说明
  • 28-埋点字段选取分析
11-3 埋点实践
  • 29-埋点位置说明
  • 30-代码开发
  • 31-流程总结

阶段四 SQL

展开
第一章 窗口函数
1-1 窗口函数简介与基本用法
  • 01-(重点)MySQL8.0软件安装与部署
  • 02-(重点)使用Navicat连接MySQL数据库
  • 03-(了解)数据前期准备
  • 04-(了解)SQL中注释
  • 05-(重点)SQL查询五子句
  • 06-(重点)回顾where子句应用(上)
  • 07-(重点)回顾like模糊查询语句
  • 09-(易错点)回顾NULL空值判断
  • 10-(重点)回顾order by排序规则(重点理解NULL值排序)
  • 11-(重点)回顾limit子句(限制查询数量)
  • 12-(重点)回顾常见的5个聚合函数
  • 13-(扩展)ifnull函数(空值判断与处理)
  • 14-(重点)回顾group by分组子句
  • 15-(重点)回顾having子句(重点掌握where-groupby-having执行顺序)
  • 16-(了解)学习目标
  • 17-(准备)窗口函数数据准备
1-2 OVER(PARTITION BY)
  • 18-(入门)窗口函数语法与快速入门
  • 19-(小结)窗口函数的优点
  • 20-(案例)求员工表中所有员工的平均工资
  • 21-(案例)SUM与AVG与窗口函数的结合应用
  • 22-(案例)使用窗口函数求某列占总金额的百分比(百分比要乘100)
  • 23-(扩展)concat函数与round函数
  • 24-(案例)把窗口函数与count结合使用
  • 25-(案例)在一条SQL语句中出现多个窗口函数(注意别名出现关键字的解决方案)
1-3 排序函数
  • 01-(踩坑)WHERE子句与窗口函数的执行顺序
  • 02-(说明)火车时刻表数据集解析
  • 03-(重点)窗口函数分组案例
  • 04-(重点)partition by传入多列
  • 05-(案例)partition by练习题
  • 06-(重点)rank()排序函数
  • 07-(对比)rank()函数dense_rank()函数与row_number()函数的区别
  • 08-(踩坑)order by子句是在rank()窗口函数后执行
  • 09-(案例)窗口函数与order by应用案例(如果两者结合,窗口函数排序后,在使用order by,顺序会被打乱)
  • 10-(重点)ntile函数-rank函数与with语句相结合
  • 11-(注意)编写SQL语句常见的三种错误
  • 12-(案例)求安装包最小的游戏信息
  • 13-(小结)排序函数
1-4 window frames 自定义窗口
  • 14-(难点)window frames窗口大小定义
  • 15-(重点)从当前行到下方所有行的窗体
  • 16-(易错点)windows frames窗体简写形式(只针对preceding)
  • 课程回顾
  • 01-(重点)rows与range的区别(根据行号定窗口与根据字段值定窗口)
  • 02-(简化)rows和range的区别
  • 03-(重点)over窗口函数与order by的关系
  • 04-(重点)分析函数中的lead与lag(超前与落后)
  • 05-(扩展)lead函数的参数(1个参数-2个参数-3个参数)
1-5 分析函数
  • 06-(重点)分析函数中lead与lag(超前与落后)
  • 07-(重点)first_value取窗体中的第一个值
  • 08-(易错点)last_value与order by之间的关系
  • 09-(重点)nth_value(获取某个字段第N个值,注意窗口范围)
  • 10-(小结)分析函数小结
1-6 PARTITION BY 与 ORDER BY
  • 11-(回顾)partition by分组应用
  • 12-(重点)partition by与order by结合rank()与ntile()函数应用
  • 13-(重点延伸)使用partition by order by求topN问题
  • 14-(作业)使用partition by order by与window frame和lead-lag想结合
1-7 窗口函数避坑指南
  • 15-(踩坑)不能在where子句中使用窗口(一定要使用,则必须使用子查询)
  • 16-(踩坑)不能在having子句中使用窗口函数
  • 17-(踩坑)不能在group by子句中使用窗口函数
  • 18-(踩坑)可以在order by子句中使用窗口函数(ntile分组时不能使用别名)
  • 19-(踩坑)窗口函数与group by一起使用(唯一场景聚合函数嵌套)
  • 20-(踩坑)rank时使用聚合函数(一般要结合group by一起使用)
  • 21-(工作)使用group by结合窗口函数计算环比(两个相邻数据的差值)
  • 22-(工作)在group by的基础上使用partition by进行二次分组
  • 23-窗口总结
  • 课程回顾
第二章 数据报表
2-1 数据介绍
  • 01-(回顾)交叉查询与内连接查询
  • 02-(回顾)回顾外连接查询(重点掌握左外连接)
  • 03-(前言)SQL报表的学习目标
  • 04-(重要)SQL报表数据集介绍
  • 05-(重点)多表查询练习题5则(重点掌握后面2个)
  • 06-(入门)报表的入门三步走(关联-条件-字段)
2-2 使用SQL进行数据汇总
  • 07-(重点)使用报表三步走实现案例二则
  • 08-(重点)关于报表的计算(求订单的总金额)
  • 09-(重点)计算多个订单的总金额(与group by相结合)
  • 10-(易错点)多表连接分组时一定要考虑是否有重名情况
  • 11-(回顾)显示部分数据与count()函数回顾(重点对比count()与count(列名)区别)
  • 12-(易错)计数统计与left join应用(上)
  • 13-(易错)计数统计与left join应用(下)
  • 14-(小结)使用SQL进行数据汇总
2-3 使用CASE WHEN和GROUP BY将数据分组
  • 15-(重点)自定义分组的基本语法
  • 16-(重点)引入case when以及else语句
  • 17-(重点)在group by中使用case when自定义分组
  • 18-(重点)在case...when语句中使用count聚合函数
  • 课程回顾
  • 01-(重点)在group by中使用case when与case when结合sum进行简单计数与复杂运算
2-4 使用WITH (Common Table Expressions)公用表表达式
  • 02-(小结)case...when语句与group by结合应用
  • 03-(重点)with查询语句(重点掌握with编写二步走)
  • 04-(了解)with查询语句的另外一种写法
  • 05-(复杂)多层聚合
  • 06-(案例)多层聚合案例演示
  • 07-(重点)with语句+group by+case when实现自定义分组聚合
  • 08-(难点)三层聚合(重点一定要分析出先求哪一个在求哪一个)
  • 09-(小结)with多级聚合总结
  • 10-(注意)with语句使用过程中的注意事项
2-5 计算多个指标
  • 11-(重点)在一条SQL中计算多个指标
  • 12-(重点)自定义指标(case when语句)
  • 13-(重点)求某个指标的百分比
  • 14-(案例)分组+业务指标的百分比
  • 15-(小结)计算多个指标
2-6 分组对比
  • 16-(重点)按行比较与按列比较核心思想
  • 17-(重点)按多列进行比较(多余的列要出现在group by语句中)
  • 18-(重点)按占比比较与分组对比小结
  • 课程回顾

阶段五 Python数据处理与分析实战

展开
第一章 Python 数据分析简介
1-1 Python 数据分析环境搭建
  • 03-Anaconda简介和软件安装
  • 04-什么是虚拟环境
  • 05-Anaconda管理虚拟环境
  • 06-Anaconda安装python扩展包
  • 07-jupyter notebook启动的两种方式
  • 08-jupyter notebook功能扩展配置
  • 09-jupyter notebook文件创建和菜单介绍
  • 10-jupyter notebook常用快捷键
  • 11-jupyter notebook使用markdown
1-2 Python 数据分析简介
  • 00-今日课程内容简介
  • 01-为什么使用Python进行数据分析
  • 02-Python数据分析常用开源库
第二章 Pandas快速入门
2-1 Pandas快速入门
  • 12-pandas快速入门-DataFrame和Series简介
  • 13-pandas快速入门-加载csv和tsv数据集
  • 14-pandas快速入门-DataFrame的行列标签和行列位置编号
  • 15-pandas快速入门-loc函数获取指定行列数据
  • 16-pandas快速入门-iloc函数获取指定行列数据
  • 17-pandas快速入门-loc和iloc函数的切片操作
  • 18-pandas快速入门-[]语法获取指定行列数据
  • 19-总结回顾-上午课程内容小结
2-2 Series 和 Dataframe
  • 20-Series详解-创建Series数据
  • 21-Series详解-常用属性和方法
  • 22-Series详解-常用统计方法
  • 23-Series详解-bool索引
  • 24-Series详解-Series运算
  • 25-DataFrame详解-创建DataFrame数据
  • 26-DataFrame详解-常用属性和方法
  • 27-DataFrame详解-常用统计方法
  • 28-DataFrame详解-bool索引
  • 29-DataFrame详解-DataFrame运算
  • 30-DataFrame详解-行标签和列表签操作
2-3 Dataframe 增删改
  • 31-DataFrame增删改-行操作
  • 32-DataFrame增删改-列操作
  • 33-DataFrame 数据导出和导入
2-4 Dataframe 查询
  • 34-DataFrame 条件查询操作
  • 35-DataFrame 分组聚合操作
  • 36-DataFrame 排序操作
  • 37-总结回顾-今日课程内容总结
  • 00-昨日课程内容回顾
  • 01-nlargest和msmallest函数使用
  • 02-pandas基本绘图操作
2-5 租房数据分析示例
  • 03-租房数据分析示例-数据加载和查看
第三章 pandas数据清洗
3-1 数据组合-concat
  • 04-租房数据分析示例-简单分析-01
  • 04-租房数据分析示例-简单分析-02
  • 05-concat数据拼接-行拼接
  • 06-concat数据拼接-列拼接
  • 07-concat数据拼接-join参数
3-2 数据组合-merge
  • 08-merge关联数据-方法简介
  • 09-merge关联数据-数据集加载和查看
  • 10-merge关联数据-关联示例
  • 11-join关联数据-方法简介
  • 12-join关联数据-关联示例
  • 13-总结回顾-上午课程内容小结
3-3 缺失值处理
  • 14-缺失值处理-pandas缺失值简介
  • 15-缺失值处理-加载包含缺失值的数据
  • 16-缺失值处理-缺失值处理简介
  • 17-缺失值处理-加载数据并查看缺失情况
  • 18-缺失值处理-Missingno库数据缺失可视化
  • 19-缺失值处理-删除缺失值
  • 20-缺失值处理-填充缺失值
  • 21-缺失值处理-时序数据缺失值处理
3-4 数据整理
  • 22-melt整理数据-简单使用
  • 23-melt整理数据示例-需求和过程简介
  • 24-melt整理数据示例-详细过程实现
  • 25-melt整理数据示例-不同数据存储形式内存查看
  • 26-stack整理数据-stack和unstack方法简介
  • 27-stack整理数据-stack和unstack功能演示
  • 28-总结回顾-今日课程内容总结
  • 00-昨日课程内容回顾
  • 01-wide_to_long 整理数据-加载数据
  • 02-wide_to_long 整理数据-具体使用
3-5 Pandas 数据类型
  • 03-数据类型-Numpy简介
  • 04-数据类型-Numpy的ndarray
  • 05-数据类型-pandas数据类型
  • 06-类型转换-astype函数基本使用
  • 07-类型转换-to_numeric函数使用
  • 08-数据类型-category数据类型
第四章 pandas数据处理
4-1 Apply自定义函数
  • 09-apply函数-Series的apply方法
  • 10-apply函数-DataFrame的apply方法
  • 11-apply函数-使用案例
  • 12-总结回顾-上午课程内容小结
  • 13-函数向量化
  • 14-lambda 函数
4-2 数据分组操作
  • 15-分组聚合-方法使用和内置聚合函数
  • 16-分组聚合-示例操作
  • 17-分组transform-基本使用
  • 18-分组transform-填充缺失值
  • 19-分组transform-减肥比赛案例
4-3 数据分组操作-透视
  • 20-分组过滤-示例操作
  • 21-分组对象-基本操作
  • 22-分组对象-遍历分组
  • 23-分组对象-多列分组
  • 24-数据透视表-pivot_table基本使用
  • 25-总结回顾-今日课程内容总结
4-4 数据分组操作-会员数据分析 1
  • 00-昨日课程内容回顾
  • 01-会员数据分析-业务背景和需求简介
  • 02-会员数据分析-会员增量存量分析
  • 03-会员数据分析-会员增量等级分布
  • 04-会员数据分析-会员增量等级占比
  • 05-会员数据分析-整体会员等级占比
  • 06-会员数据分析-线上线下会员增量分析
  • 07-会员数据分析-地区店均会员数量
4-5 数据分组操作-会员数据分析 2
  • 08-会员数据分析-会销比(会员消费比例)
  • 09-会员数据分析-连带率(会员订单平均消费数量)
  • 10-会员数据分析-复购率(复购人数占消费总人数比例)-简介
  • 11-会员数据分析-复购率(复购人数占消费总人数比例)-实现
  • 12-会员数据分析-复购率(复购人数占消费总人数比例)-封装
4-6 Dataframe 数据类型
  • 13-日期数据类型-python中的datetime对象
  • 14-日期数据类型-pandas数据转换为datetime类型
  • 15-日期数据类型-提取 datetime 的各个部分
  • 16-日期数据类型-日期运算和Timedelta
  • 17-日期数据类型-银行数据分析
4-7 Dataframe 数据类型案例
  • 18-日期数据类型-DatetimeIndex和TimedeltaIndex
  • 19-日期数据类型-data_range方法的使用
  • 20-日期数据类型-丹佛报警记录分析-日期数据筛选
  • 21-总结回顾-今日课程内容总结
  • 00-昨日课程内容回顾
  • 01-日期数据类型-丹佛报警记录分析
第五章 Python数据可视化
5-1 Matplotlib 绘图
  • 02-数据可视化-python常见可视化库简介
  • 03-Matplotlib-绘图的基本套路
  • 04-Matplotlib-绘图的两种方式
  • 05-Matplotlib-数据可视化的重要性
  • 06-Matplotlib-单变量绘图(直方图)
  • 07-Matplotlib-双变量绘图(散点图)
  • 08-Matplotlib-多变量绘图(颜色和点大小)
5-2 Pandas 绘图
  • 09-Pandas绘图-单变量绘图(柱状图)
  • 10-Pandas绘图-单变量绘图(折线图-直方图-饼图等)
  • 11-Pandas绘图-双变量绘图(散点图-蜂巢图等)
  • 12-Seaborn绘图-seaborn模块简介
  • 13-总结回顾-上午课程内容小结
5-3 Seaborn 绘图
  • 14-Seaborn绘图-单变量绘图
  • 15-Seaborn绘图-双变量绘图-01
  • 16-Seaborn绘图-双变量绘图-02
  • 17-Seaborn绘图-多变量绘图-颜色和形状
  • 18-Seaborn绘图-多变量绘图-分面
  • 19-Seaborn绘图-设置样式
5-4 Pyecharts 绘图
  • 20-Pyecharts绘图-柱状图绘制
  • 21-Pyecharts绘图-词云图绘制
  • 22-Pyecharts绘图-气泡图绘制
  • 23-Pyecharts绘图-柱状图绘制
  • 24-总结回顾-今日课程内容总结
  • 00-昨日课程内容回顾
第六章 pandas综合案例
6-1 案例1 : Appstore 数据分析
  • 01-Appstore数据分析-背景和分析需求说明
  • 02-Appstore数据分析-数据加载和概况分析
  • 03-Appstore数据分析-app价格不同维度分析
  • 04-Appstore数据分析-数据可视化分析
  • 05-Appstore数据分析-业务需求分析
6-2 案例2: 优衣库销售数据分析
  • 06-优衣库销售数据分析-需求和数据加载
  • 07-优衣库销售数据分析-不同种类产品的销售情况
  • 08-优衣库销售数据分析-用户的消费方式(线上线下)
  • 09-优衣库销售数据分析-用户的消费习惯(周间周末)-01
  • 09-优衣库销售数据分析-用户的消费习惯(周间周末)-02
  • 10-优衣库销售数据分析-销售额和成本的关系
6-3 案例3: RFM 用户分群1
  • 11-RFM用户模型分析-RFM用户价值模型简介
  • 12-RFM用户模型分析-EXCEL RFM用户分析
  • 13-RFM用户模型分析-业务背景和分析需求说明
  • 14-RFM用户模型分析-数据加载和基本信息查看
  • 15-RFM用户模型分析-数据预处理和RFM初始值计算
  • 16-RFM用户模型分析-RFM区间划分和分值计算
  • 17-RFM用户模型分析-RFM计算结果保存
  • 18-RFM用户模型分析-RFM计算结果可视化
  • 19-RFM用户模型分析-RFM计算结果的分析
  • 20-RFM用户模型分析-RFM模型分析的注意点
  • 21-总结回顾-今日课程内容总结

阶段六 Hadoop生态体系

展开
第一章 linux
1-1 linux环境搭建
  • 00--今日课程目标与大纲
  • 01--操作系统的概述
  • 02--Linux操作系统介绍与发展
  • 03--VMware虚拟机--了解计算机硬件
  • 04--VMware虚拟机--了解3种网络模式
  • 05--VMware虚拟机--使用nat模式安装centsos(详解)
  • 06--ssh协议-CRT远程加密访问Linux
  • 07--linux文件上传下载--sftp、lrzsz
  • 08--了解虚拟机快照的使用
1-2 linux文件系统
  • 09--Linux文件系统--目录树结构与基本概念
  • 10--Linux文件系统--常见操作命令--ls、pwd、cd
  • 11--Linux文件系统--常见操作命令--cd、mkdir、touch、cp、mv
  • 12--Linux文件系统--常见操作命令--文件查看命令(cat head tail)
  • 13--Linux文件系统--常见操作命令--echo、管道、重定向、软链接
  • 14--Linux文件系统--常见搜索命令--find、grep、which
  • 15--Linux文件系统--解压缩操作
1-3 vi编辑器
  • 16--vi编辑器--功能介绍与新建打开文件、异常处理
  • 17--vi编辑器--常用的基础命令(复制粘贴、删除、撤销、搜索替换)
  • 18--vi编辑器--常用的基础命令--如何进入插入编辑模式
  • 19--使用nodepad++插件远程操作linux文件
1-4 linux用户与权限
  • 00--课程内容回顾总结
  • 01--今日课程内容大纲与学习目标
  • 02--Linux用户与权限--用户、用户组、权限管理概述
  • 03--Linux用户与权限--用户、用户组管理命令
  • 04--Linux用户与权限--su、sudo权限管理
  • 05--Linux用户与权限--权限的修改操作(chmod)
  • 06--Linux系统信息查看
1-5 大数据集群环境搭建
  • 07--大数据集群环境搭建--分布式、集群概念初识
  • 08--大数据集群环境搭建--集群常见的架构(主从、主备)
  • 09--大数据集群环境搭建--虚拟机克隆、Linux修改主机名和IP
  • 10--大数据集群环境搭建--主机名IP的hosts映射
  • 11--大数据集群环境搭建--防火墙服务关闭
  • 12--大数据集群环境搭建--配置ssh免密登录
  • 13--大数据集群环境搭建--了解什么是跳板机
  • 14--大数据集群环境搭建--scp远程复制
  • 15--大数据集群环境搭建--集群时间同步(ntpdate)
1-6 linux软件安装方式
  • 16--Linux软件安装方式--rpm、yum机制
  • 17--Linux软件安装方式--使用rpm安装mysql5.7版本
  • 18--Linux软件安装方式--JDK的安装
1-7 shell
  • 19--了解shell
第二章 Zookeeper
2-1 大数据导论
  • 00--课程内容回顾总结
  • 01--Linux文件系统中--读写执行的真正含义
  • 02--今日课程学习目标与内容大纲
  • 03--大数据导论--数据与数据分析
  • 04--大数据导论--数据分析的作用--离线、实时ML
  • 05--大数据导论--数据分析基本步骤--明确分析目的和思路
  • 06--大数据导论--数据分析基本步骤--收集、预处理、分析、应用
  • 07--大数据导论--数据分析基本步骤梳理
  • 08--大数据导论--大数据时代(5V特征、应用场景)
  • 09--大数据导论--分布式技术
2-2 Zookeeper
  • 10--Apache Zookeeper--概述与本质
  • 11--Apache Zookeeper--全局数据一致性
  • 12--Apache Zookeeper--集群角色职责
  • 13--Apache Zookeeper--集群安装、配置讲解
  • 14--Apache Zookeeper--集群启动与关闭
  • 15--Apache Zookeeper--数据模型--znode是什么
  • 16--Apache Zookeeper--数据模型--znode类型
  • 17--Apache Zookeeper--shell客户端、创建节点操作
  • 18--Apache Zookeeper--shell客户端、查看、更新、删除节点
  • 19--Apache Zookeeper--监听机制watch
  • 20--Apache Zookeeper--典型应用
第三章 Hadoop
3-1 hadoop简介
  • 00--课程内容回顾总结
  • 01--今日课程内容大纲
  • 02--Apache Hadoop--软件介绍(广义、狭义)
  • 03--Apache Hadoop--起源发展(谷歌3篇论文)
  • 04--Apache Hadoop--特性优点--重点理解通用性
  • 05--Apache Hadoop--发行版本介绍
3-2 hadoop环境搭建
  • 06--Apache Hadoop--hadoop集群角色介绍
  • 07--Apache Hadoop--Hadoop部署模式、集群规划
  • 08--Apache Hadoop--Hadoop安装包与源码编译
  • 09--Apache Hadoop--集群安装--服务器基础环境准备、安装包目录
  • 10--Apache Hadoop--集群安装--配置文件详解
  • 11--Apache Hadoop--集群安装--namenode format初始化操作
  • 12--Apache Hadoop--集群启动与关闭
  • 13--Apache Hadoop--启动错误如何排错
  • 14--Apache Hadoop--初体验、WebUI页面
  • 15--Apache Hadoop--jobhistory历史记录服务配置使用
  • 16--Apache Hadoop--垃圾桶机制
3-3 Hadoop_HDFS
  • 00--课程内容回顾总结
  • 01--课程学习目标与内容大纲
  • 02--Hadoop HDFS--概述、如何模拟实现分布式文件系统
  • 03--Hadoop HDFS--核心特性的作用(分布式、分块、备份、元数据记录)
  • 04--Hadoop HDFS--设计目标
  • 05--Hadoop HDFS--重要特性梳理与解释
  • 06--Hadoop HDFS--shell command操作
  • 07--Hadoop HDFS--工作机制--上传文件流程(写流程)
  • 08--Hadoop HDFS--工作机制--下载文件流程(读流程)
  • 09--Hadoop HDFS--工作机制--nn、dn职责概述总结
  • 10--Hadoop HDFS--安全模式
  • 11--Hadoop HDFS--namenode元数据管理机制、snn是什么
  • 12--Hadoop HDFS--namenode元数据相关的目录和文件
  • 13--Hadoop HDFS--secondarynamenode checkpoint机制
  • 14--Hadoop HDFS--辅助工具--distcp远程拷贝
  • 15--Hadoop HDFS--辅助工具--archive归档工具
3-4 Hadoop_MapReduce
  • 00--课程内容回顾总结
  • 01--课程内容大纲和学习目标
  • 02--Hadoop MapReduce--理解分而治之的思想(先分再合)
  • 03--Hadoop MapReduce--设计构思
  • 04--Hadoop MapReduce--官方示例(圆周率pi评估--如何提交mr程序
  • 05--Hadoop MapReduce--官方示例--Wordcount需求与实现思路剖析
  • 06--Hadoop MapReduce--官方示例--Wordcount--java代码梳理与程序提交
  • 07--Hadoop MapReduce--Python实现Wordcount、Hadoop Streaing提交脚本
  • 08--Hadoop MapReduce--Centsos7如何安装Python3
  • 09--Hadoop MapReduce--输入输出路径注意事项
  • 10--Hadoop MapReduce--工作机制--map阶段执行流程(含逻辑切片机制)
  • 11--Hadoop MapReduce--工作机制--reduce阶段执行流程
  • 12--Hadoop MapReduce--工作机制--shuffle机制
3-5 Hadoop_YARN
  • 13--Hadoop YARN--功能职责概述(通用资源管理、任务调度)
  • 14--Hadoop YARN--3大组件、mr程序提交yarn流程
  • 15--Hadoop YARN--scheduler调度策略
  • 16--Hadoop YARN--capacity配置示例说明
3-6 Hadoop_HA
  • 17--Hadoop HA集群--什么是高可用、实现高可用注意事项
  • 18--Hadoop HA集群--HDFS HA--QJM实现原理
  • 19--Hadoop HA集群--YARN HA
第四章 Hive
4-1 数据仓库介绍
  • 00--课程内容回顾总结
  • 01--今日课程内容大纲和学习目标
  • 02--数据仓库--数仓基本概念、由来起源
  • 03--数据仓库--数仓的主要特征
  • 04--数据仓库--数仓和数据库的区别(OLTP、OLAP系统区别)
  • 05--数据仓库--经典3层架构(ODS、DW、DA)
  • 06--数据仓库--美团酒旅数仓建设实战
  • 07--数据仓库--ETL、ELT
4-2 Hive介绍和安装
  • 08--Apache Hive--介绍概述、如何模拟实现Hive功能
  • 09--Apache Hive--架构组件
  • 10--Apache Hive--和MySQL的对比
  • 11--Apache Hive--metadata、metastore区别
  • 12--Apache Hive--metastore3种部署方式及区分
  • 13--Apache Hive--远程部署模式安装配置详解
  • 14--Apache Hive--metastore服务启动方式
  • 15--Apache Hive--两代客户端使用、HS2服务的启动
  • 16--Apache Hive--初体验Hive
4-3 Hive_DDL语法
  • 00--课程内容回顾总结
  • 01--课程内容大纲和学习目标
  • 02--Apache Hive--DDL--概述、建表语法树剖析
  • 03--Apache Hive--DDL--建表--表存在异常忽略
  • 04--Apache Hive--DDL--建表--数据类型
  • 05--Apache Hive--DDL--建表--SerDe机制、delimited分隔符指定语法
  • 06--Apache Hive--DDL--建表--默认分隔符
  • 07--Apache Hive--DDL--建表--内部表、外部表
  • 08--Apache Hive--DDL--建表--数据存储路径location
  • 09--Apache Hive--DDL--建表--分区表--背景引入、分区表创建
  • 10--Apache Hive--DDL--建表--分区表--静态分区加载数据
  • 11--Apache Hive--DDL--建表--分区表--动态分区加载数据
  • 12--Apache Hive--DDL--建表--分区表--多重分区、注意事项
  • 13--Apache Hive--DDL--建表--分桶表--语法解读、创建、加载
  • 14--Apache Hive--DDL--建表--分桶表--分桶表减少join笛卡尔积数量
  • 15--Apache Hive--DDL--了解其他操作(修改、删除)
  • 16--Apache Hive--常见的show语法
4-4 Hive_DML语法
  • 17--Apache Hive--DML--load加载数据
  • 18--Apache Hive--DML--insert--hive中如何使用
  • 19--Apache Hive--DML--insert--多重插入、动态分区插入、导出操作
4-5 Hive_DQL语法
  • 00--课程内容回顾总结
  • 01--今日课程内容大纲和学习目标
  • 02--PyCharm等工具如何连接HiveServer2
  • 03--Apache Hive--DQL--select基础查询语法及注意事项
  • 04--Apache Hive--DQL--select分桶查询(cluster、distribute by、sort by)
  • 05--Apache Hive--DQL--union联合查询
  • 06--Apache Hive--DQL--CTE表达式使用(with as)
  • 07--Apache Hive--DQL--join查询
4-6 Hive其他功能介绍
  • 08--Apache Hive--shell命令行3种功能、如何调用sql脚本
  • 09--Apache Hive--参数配置方式
  • 10--Apache Hive--内置运算符
  • 11--Apache Hive--函数的分类(UDF、UDAF、UDTF)
  • 12--Apache Hive--常见的内置函数梳理
4-7 Hive函数高阶应用
  • 00--课程内容回顾总结
  • 01--课程内容大纲与学习目标
  • 02--Apache Hive--函数高阶应用--explode函数的功能
  • 03--Apache Hive--函数高阶应用--UDTF函数使用限制、lateral View侧视图功能
  • 04--Apache Hive--函数高阶应用--行列转换--多行转单列(collect、concat_ws)
  • 05--Apache Hive--函数高阶应用--行列转换--单列转多行(explode+lateral view)
  • 06--Apache Hive--函数高阶应用--json格式数据处理
4-8 Hive窗口函数
  • 07--Apache Hive--窗口函数--如何快速理解感受窗口函数
  • 08--Apache Hive--窗口函数--窗口聚合函数的使用(sum+over)
  • 09--Apache Hive--窗口函数--窗口排序函数(row_number、rank)
  • 10--Apache Hive--窗口函数--窗口偏移函数(lag lead)
4-9 Hive调优
  • 11--Apache Hive--数据压缩概念与设置使用(snappy)
  • 12--Apache Hive--数据存储格式(orc、Parquet)
  • 13--Apache Hive--通用调优--fetch抓取机制、mr本地模式
  • 14--Apache Hive--通用调优--join优化
  • 15--Apache Hive--通用调优--group by数据倾斜(负载均衡)
  • 16--Apache Hive--通用调优--MR Task并行度调整
  • 17--Apache Hive--通用调优--其他优化机制

阶段七 离线数仓项目-知行教育

展开
第一章 知行教育大数据平台
1-1 知行教育数仓项目介绍
  • 01-教育项目的基本介绍
  • 02-教育项目的业务流程
  • 01-课前回顾和今日内容
  • 02-教育项目的架构流程说明
1-2 项目环境搭建
  • 03-cloudera manager的基本介绍
  • 04-cloudera manager的架构以及功能描述
  • 05-教育项目的环境初始化工作
  • 06-教育项目的环境搭建_如何连接以及基本操作
  • 07-教育项目的环境注意事项
  • 08-教育项目_数据仓库的基本概念
  • 09-上午内容的总结
1-3 数据仓库
  • 10-数据仓库和数据集市基本介绍
  • 11-维度分析基本介绍_维度和指标的介绍以及分类
  • 12-维度分析基本介绍_分层分级以及下钻和上卷
  • 13-数仓建模的基本介绍
  • 14-事实表和维度表的基本介绍
  • 15-事实表和维度表的分类介绍
  • 16-维度建模的三种模型(星型,雪花和星座)基本概念
  • 17-维度建模的三种数仓发展模型图解
  • 18-维度建模_缓慢渐变维基本介绍
  • 19-今日总结
  • 01-课前回顾和今日内容
  • 02-教育项目的数仓分层架构说明
1-4 Hue操作HDFS,Hive
  • 03-HUE相关的操作_HDFS和HIVE
1-5 oozie基本使用
  • 04-oozie的基本介绍
  • 05-oozie的基本使用操作
1-6 sqoop相关操作
  • 06-sqoop的基本介绍
  • 07-sqoop的相关的操作_基本操作
  • 08-上午内容的总结
  • 09-sqoop的相关的操作_全量导入到HDFS操作
  • 10-sqoop的相关的操作_全量导入到hive的操作
  • 11-sqoop的相关的操作_条件导入到HDFS和hive操作
  • 12-sqoop的相关的操作_数据导出操作以及相关参数
1-7 访问咨询主题看板_需求分析
  • 13-访问咨询主题看板_需求分析(前四个)
  • 14-访问咨询主题看板_需求分析(后四个)
  • 15-访问咨询主题看板_需求分析总结
1-8 访问咨询主题看板_建模
  • 16-访问咨询主题看板_业务数据准备工作
  • 17-访问咨询主题看板_建模分析(前三层)
  • 18-访问咨询主题看板_建模分析(后三层)
  • 01-课前回顾和今日内容
  • 02-访问咨询主题看板_建模操作(前置说明)
  • 03-访问咨询主题看板_建模操作
1-9 访问咨询主题看板_hive优化
  • 04-访问咨询主题看板_hive基础优化(上)
  • 04-访问咨询主题看板_hive基础优化(下)
  • 05-上午内容的总结
1-10 访问咨询主题看板_数据清洗
  • 06-访问咨询主题看板_数据采集操作以及hiveserver2服务异常
  • 07-访问咨询主题看板_数据清洗转换操作(SQL实现,未解决转换)
  • 08-访问咨询主题看板_数据清洗转换(转换解决)
  • 09-访问咨询主题看板_数据清洗转换操作(最终实现)
1-11 访问咨询主题看板_数据分析
  • 10-访问咨询主题看板_数据分析(总访问量统计)
  • 11-访问咨询主题看板_数据分析(统计各个受访页面)
  • 12-访问咨询主题看板_数据分析(咨询量统计)
1-12 访问咨询主题看板_数据导出
  • 13-访问咨询主题看板_数据导出操作(咨询量导出)
  • 14-访问咨询主题看板_数据导出操作(访问量)
  • 15-今日总结
  • 01-课前回顾和今日内容
1-13 访问咨询主题看板_增量数据采集清洗
  • 02-访问咨询主题看板_新增数据模拟
  • 03- 访问咨询主题看板_增量数据采集操作(sqoop脚本编写以及shell讲解)
  • 04-访问咨询主题看板_增量数据采集的shell脚本的编写
  • 05-访问咨询主题看板_增量数据采集shell脚本测试操作
  • 06-访问咨询主题看板_增量数据采集操作(oozie配置)
  • 07-访问咨询主题看板_增量数据清洗转换操作
1-14 访问咨询主题看板_增量数据分析
  • 08-访问咨询主题_增量数据统计分析(SQL实现以及思考点)(上)
  • 09-上午内容的总结
  • 10-访问咨询主题看板_增量统计分析操作(问题解决)
  • 11-访问咨询主题看板_增量统计分析(shell脚本编写和测试)
  • 12-访问咨询主题看板_增量数据导出操作
1-15 意向用户主题看板_需求分析
  • 13-意向用户主题看板_需求分析(前三个)
  • 14-意向用户主题看板_需求分析(后三个)
  • 15-意向用户主题看板_需求分析总结
  • 16-意向用户主题看板_业务数据准备
  • 17-今日总结
  • 01-课前回顾和今日内容
1-16 意向用户主题看板_建模分析
  • 02-意向用户主题看板_建模分析操作(ODS,DIM,DWD)
  • 03-意向用户主题看板_建模分析(后三层)
1-17 分桶表
  • 04-分桶表的基本介绍以及作用说明
  • 05-分桶表的作用_抽样函数的说明
  • 06-分桶表的作用_提升查询效率(多表)_map join
  • 07-分桶表的作用_提升查询的效率(多表)_bucket map join
  • 08-上午内容总结
  • 09-分桶表的作用_提升查询的效率(多表)SMB join操作
1-18 意向用户主题看板_数据采集清洗
  • 10-意向用户主题看板_建模操作
  • 11-意向用户主题看板_数据采集(DIM)
  • 12-意向用户主题看板_数据采集(ODS层)
  • 13-意向用户主题看板_数据清洗转换操作(涵盖采样以及查看执行计划)
1-19 意向用户主题看板_DWM层数据处理
  • 14-意向用户主题看板_DWM层数据生成(SQL实现)
  • 15-意向用户主题看板_DWM层数据生成(优化的效率测试)
  • 16-意向用户主题看板_DWM层数据生产(最终实现)
  • 17-意向用户主题看板_DWS层数据生成操作
  • 18-意向用户主题看板_DWS层数据导出操作
  • 01-课前回顾和今日内容
1-20 拉链表
  • 02-拉链表的实现流程分析(上)
  • 03-拉链表的实现流程分析(下)
  • 04-拉链表的实现流程_项目增量流程说明
1-21 hive索引
  • 05-索引的基本介绍
  • 06-hive索引的分类_原始索引和行组索引
  • 07-hive的所有分类_布隆过滤索引
  • 01-今日内容说明
1-22 hive优化项目数据
  • 02-hive的函数补充说明
  • 03-hive的相关优化_并行优化(并行编译和并行执行)
  • 04-hive的相关的优化_小文件合并操作
  • 05-hive的相关优化_矢量化查询和读取零拷贝
  • 06-hive的数据倾斜优化_group by 倾斜
  • 07-hive的数据倾斜优化_join的数据倾斜
  • 08-hive的数据倾斜优化_如何感知倾斜以及union优化
  • 09-hive的优化的总结说明
  • 10-上午内容的总结
1-23 学生出勤主题看板_需求分析
  • 11-学生出勤主题看板_需求分析(前四个)
  • 12-学生出勤主题看板_需求分析(后四个)
  • 13-学生出勤主题看板_需求分析总结
  • 14-学生出勤主题看板_业务数据准备工作
1-24 学生出勤主题看板_建模
  • 15-学生出勤主题看板_建模分析操作
  • 16-学生出勤主题看板_建模操作
  • 17-学生出勤主题看板_数据采集操作
  • 18-今日总结
  • 01-课前回顾和今日内容
1-25 学生出勤看板_DWM层数据处理
  • 02-学生出勤主题看板_DWM层(学生出勤信息表处理)_上
  • 03-学生出勤主题看板_DWM层(学生出勤状态信息表)_中
  • 04-学生出勤主题看板_DWM层(学生出勤状态信息表)_下
  • 05-学生出勤主题看板_DWM层(学生出勤状态信息表)_完整实现以及总结
  • 06-学生出勤主题看板_DWM层(班级出勤人数表)_整体实现
  • 07-学生出勤主题看板_DWM层(请假人数信息表)_上
  • 08-上午内容的总结
  • 09-学生出勤主题看板_DWM层(请假人数表)_中
  • 10-学生出勤主题看板_DWM层(学生请假人数表)_下
  • 11-学生出勤主题看板_DWM层(请假人数表)_最终实现操作
  • 12-学生出勤主题看板_DWM层(班级旷课人数表)_实现操作
  • 13-学生出勤主题看板_DWM层(汇总表)_实现
  • 14-学生出勤主题看板_DWS层实现操作
1-26 finebi基本使用
  • 15-商业BI基本介绍
  • 16-finebi的安装操作
  • 17-finebi的数据源以及数据准备工作
  • 18-finebi的图表展示操作_仪表盘构建
  • 19-finebi实现图表展示操作_上
  • 20-finebi实现图表展示操作_下
  • 21-今日总结
1-27 Git应用
  • 01-git的历史和SVN对比说明
  • 02-GIT的工作流程
  • 03-GIT的安装操作
  • 04-git如何构建版本库
  • 05-git基本操作_自己玩的流程
  • 06-git案例_如何提交代码(如何设置忽略)
  • 07-git远程仓库的基本介绍
  • 08-git的远程仓库操作_如何配置免密以及如何推送到远端(命令)
  • 09-git的远程仓库操作_基于图形化界面方式推送数据到远端
  • 10-git的远程仓库操作_如何拉取代码及其协作开发
  • 11-git的分支管理_基本概念介绍
  • 12-git的分支的管理_相关的操作
  • 13-git如何在IDEA中使用操作

阶段八 大数据Spark技术栈

展开
第一章 PySpark
1-1 Spark概述
  • 1-课程安排
  • 2-大数据架构梳理
  • 3-大数据知识体系
  • 4-如何学习Spark及Spark有哪些组件
  • 5-Spark前导知识
  • 6-Spark前导知识
  • 7-Spark框架概述
  • 8-Soark的特点
  • 9-Spark和Hadoop对比了解
1-2 Spark简介
  • 10-Spark框架的了解
  • 11-Spark部署模式
  • 12-Spark的local模式部署
  • 13-上午回顾
  • 14-PySpark的简介
1-3 pyspark安装
  • 15-linux的anaconda的安装
  • 16-安装pyspark
1-4 spark-standalone环境搭建
  • 17-Spark的监控界面初步了解
  • 18-Sparksubmit提交本地任务
  • 19-解析蒙特卡洛方法
  • 20-standalone的安装过程
  • 21-SparkShell的standalone环境测试
  • 01-回顾1
  • 02-回顾2
  • 03-Jupyter环境补充
  • 4-SparkBase总结
  • 5-SparkStandalone的提交任务执行
  • 6-Spark的应用架构
1-5 Spark的StandaloneHA环境搭建
  • 7-Spark的StandaloneHA模式
  • 8-Spark的StandaloneHA补充
  • 9-上午回顾
1-6 Spark单词统计
  • 10-准备PySpark的Win环境
  • 11-单词统计计数流程
  • 12-Spark的wordcount案例实战
  • 13-Spark的wordcount总结
  • 14-wordcount的排序操作
  • 15-从HDFS读取文件
  • 16-提交任务执行
  • 17-提交远程服务器上跑任务
  • 18-Standalone提交任务
  • 19-必须做的事
  • 01-回顾
  • 02-反馈解决
1-7 SparkOnYarn
  • 03-SparkOnYarn的详解
  • 04-SparkOnYarn的具体部署安装
  • 05-SparkOnYarn的小结
  • 06-Spark的Deploy-mode模式
  • 07-Spark的Deploy-mode的cluster模式
  • 08-上午回顾
  • 09-Yarn的client模式执行job
  • 10-Yarn的client模式的原理
  • 11-Yarn
  • 12-Yanr的Cluster模式原理
1-8 Spark关键概念
  • 13-SPark集群角色
  • 14-Spark的参数补充
  • 15-Spark的main函数执行
1-9 RDD详解
  • 16-PySpark的架构了解
  • 17-RDD的简介
  • 18-RDD的五大属性
  • 01-回顾
  • 02-RDD的wordcount的基本回顾
1-10 RDD创建
  • 03-RDD的创建的两种方法
  • 04-读取小文件的wholeTextFile方式
  • 05-Spark的RDD分区确定
1-11 RDD算子
  • 06-RDD的算子分类
  • 07-RDD的单Value类型算子
  • 08-双value类型算子
  • 09-key-value算子的操作
  • 10-RDD的action操作
  • 12-RDD的重分区函数操作
  • 11-RDD的补充操作
  • 13-RDD的Action算子聚合算子
  • 14-reduceBykey和groupByKey算子演示
  • 15-wordcount的几种实现
  • 16-combineByKey操作实战[了解]
1-12 Spark综合案例1
  • 17-搜狗案例需求分析
  • 18-jiebe分词
  • 19-搜狗的第一个统计需求
  • 20-搜狗案例的第二个和第三个统计
  • 21-总结及作业
  • 01-回顾总结
  • 02-网站点击流统计
1-13 Spark缓存机制
  • 03-Join算子操作
  • 04-Spark的缓存机制
  • 05-Spark缓存的问题
  • 06-checkpoint使用技巧
  • 07-Spark容错
  • 08-Spark的检查点机制原理详解
1-14 Spark案例-IP地址查询
  • 09-Ip地址查询安案例的讲解
  • 10-上午回顾及需求确认
  • 11-Ip地址查询案例代码实战
1-15 Spark累加器和广播变量
  • 12-累加器
  • 13-广播变量
  • 14-广播变量和累加器的综合演示
  • 15-共享变量解决问题
1-16 Spark内核调度
  • 16-RDD的依赖关系
  • 17-DAG和Stage
  • 18-Spark的Job调度
  • 01-回顾
  • 02-Shuffle基础了解
  • 03-Shuffle
  • 04-Spark的内存模型
  • 05-Spark的关键概念总结
1-17 SparkSQL简介
  • 06-SparkSQL简介
  • 07-SparkSQL的简介
  • 08-SparkSQL的数据结构
  • 09-SparkSQL的两大数据结构的转化思考
1-18 SparkSQL实操
  • 10-rdd转化为SparkSQL的方式1
  • 11-StructType和Field方式创建DataFrame
  • 12-SparkSQL的DSL和SQL初步
  • 13-SparkSQL的读取外部数据源
  • 14-Pandas转化为DataFrame
  • 15-DataFrame的花式查询操作
  • 16-DSL和SQL的wordcount的代码
  • 17-作业
  • 01-回顾基础
  • 02-SparkSQL回顾
  • 03-Iris数据集分析
  • 04-movies数据集的读取
  • 05-Spark清洗工作-数据去重
  • 06-Spark清洗工作-数据填充
  • 07-SparkSQL的案例实战1
  • 08-SparkSQL的案例实战2
  • 09-SparkSQL的案例结果写入
  • 10-SparkSQL的外部数据源(MySQL为例)
1-19 SparkHive
  • 11-Spark和HIve整合步骤
  • 12-Spark和HIve整合测试
  • 13-Pycharm的SparkSQL整合HIve
1-20 SparkSQL底层执行原理
  • 14-SparkSQL的窗口函数
  • 15-Spark底层解析执行计划
  • 16-总结
  • 01-回顾总结
  • 02-逻辑物理计划补充
  • 03-SparkSQL的分布式引擎
  • 04-SparkSQL的Catalyst执行引擎回顾
  • 05-Spark
  • 06-Spark的ApacheArrow的基础用法
1-21 Spark自定义函数
  • 07-Spark的UDF的基础使用方法1
  • 08-Spark的UDF装饰器和原生方法
  • 09-UDF使用Arraytype
  • 10-Spark的udf自定义类型
  • 11-Spark的UDF的案例实战(装饰器和UDF)
  • 12-Spark的pandas的udf类型
  • 13-Pandas_udf函数的类型1
  • 14-yield表达式
  • 15-pandas_udf函数类型2和3
  • 16-pandas_udf函数的4部分
  • 17-pandas_udf案例实战1
  • 18-pandas_udf案例实战2
1-22 Spark综合案例2
  • 19-综合案例-数据清洗
  • 20-综合案例统计分析
  • 21-综合案例统计分析3
  • 22-教育项目案例统计分析1
  • 23-教育项目案例统计分析2

阶段九 Spark综合项目

展开
第一章 一站式制造
1-1 项目介绍
  • 知识点01:课程目标
  • 知识点02:项目背景
  • 知识点03:项目需求
  • 知识点04:业务流程
  • 知识点05:技术选型
1-2 项目中docker使用
  • 知识点06:Docker的介绍
  • 知识点07:Docker的网络
  • 知识点08:Docker的使用
1-3 项目环境搭建
  • 知识点09:Oracle的介绍
  • 知识点10:集群软件规划
  • 知识点11:项目环境导入
  • 知识点12:项目环境配置
  • 知识点13:项目环境测试:Oracle
  • 知识点14:项目环境测试:MySQL
  • 知识点15:项目环境测试:Hadoop
  • 知识点16:项目环境测试:Hive
  • 知识点17:项目环境测试:Spark
  • 知识点18:项目环境测试:Sqoop
1-4 项目数仓分层
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:数仓设计回顾
  • 知识点04:分层整体设计
  • 知识点05:分层具体功能
1-5 项目业务分析
  • 知识点06:业务系统结构
  • 知识点07:业务系统数据
  • 知识点08:全量与增量分析
1-6 sqoop数据采集
  • 知识点09:Sqoop命令回顾
  • 知识点10:YARN资源调度及配置
  • 知识点11:MR的Uber模式
  • 知识点12:Sqoop采集数据格式问题
  • 知识点13:问题解决:Avro格式
  • 知识点14:Sqoop增量采集方案回顾
  • 知识点15:脚本开发思路
  • 知识点16:全量及增量采集脚本运行
  • 知识点17:Schema备份及上传
1-7 python数据采集
  • 知识点18:Python脚本
1-8 项目ODS层创建
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:数仓分层回顾
  • 知识点04:Hive建表语法
  • 知识点05:Avro建表语法
  • 知识点06:ODS层构建:需求分析
  • 知识点07:ODS层构建:创建项目环境
  • 知识点08:ODS层构建:代码导入
  • 知识点09:ODS层构建:代码结构及修改
  • 知识点10:ODS层构建:连接代码及测试
  • 知识点11:ODS层构建:建库代码及测试
  • 知识点12:ODS层构建:建表代码及测试
  • 知识点13:ODS层构建:申明分区代码及测试
1-9 DWD层构建
  • 知识点14:ODS层与DWD层区别
  • 知识点15:DWD层构建:需求分析
  • 知识点16:DWD层构建:建库实现测试
  • 知识点17:DWD层构建:建表实现测试
  • 知识点18:DWD层构建:数据抽取分析&知识点19:DWD层构建:数据抽取测试
1-10 DWS层构建
  • 知识点20:整体代码重难点回顾
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:维度建模回顾:建模流程
  • 知识点04:维度建模回顾:维度设计
  • 知识点05:维度建模回顾:维度模型
  • 知识点06:一站制造业务主题划分
  • 知识点07:一站制造业务维度设计
  • 知识点08:一站制造业务主题维度矩阵
  • 知识点09:行政地区维度设计
  • 知识点10:行政地区维度构建
  • 知识点11:日期时间维度设计
  • 知识点12:日期时间维度构建
  • 知识点13:服务网点维度设计
  • 知识点14:服务网点维度构建
  • 知识点15:油站维度设计
  • 知识点16:油站维度构建
  • 知识点17:其他维度:组织机构
  • 知识点18:其他维度:仓库、物流
1-11 项目回顾(一)
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:分层回顾
1-12 DWB层构建
  • 知识点04:DWB层的设计
  • 知识点05:事实主题指标划分
  • 知识点06:呼叫中心事实指标需求分析
  • 知识点07:呼叫中心事实指标构建
  • 知识点08:油站事实指标需求分析
  • 知识点09:油站事实指标构建
  • 知识点10:工单事实指标需求分析
  • 知识点11:工单事实指标构建
  • 知识点12:安装事实指标需求分析
  • 知识点13:安装事实指标构建
  • 知识点14:维修事实指标需求分析
  • 知识点15:维修事实指标构建
  • 知识点16:客户回访事实指标需求分析
  • 知识点17:客户回访事实指标
  • 知识点18:费用事实指标分析及实现(上)
  • 知识点18:费用事实指标分析及实现(下)
  • 知识点19:差旅事实指标分析及实现
  • 知识点20:网点物料事实指标分析及实现
1-13 项目回顾(二)
  • 附录二:一站制造项目回顾
  • 附录一:在线教育项目回顾
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:数仓分层回顾
1-14 ST层构建
  • 知识点04:ST层的设计
  • 知识点05:服务域:工单主题分析
  • 知识点06:服务域:工单主题实现
  • 知识点07:服务域:油站主题分析
  • 知识点08:服务域:油站主题实现
  • 知识点09:服务域:安装主题分析实现
  • 知识点10:服务域:维修主题分析实现
  • 知识点11:服务域:回访主题分析
  • 知识点12:服务域:回访主题实现
  • 知识点13:服务域:派单主题分析实现
  • 知识点14:服务域:费用主题分析
  • 知识点15:服务域:费用主题实现
  • 知识点16:物料域:主题模型
1-15 AirFlow架构解析
  • 知识点17:DM层:设计及运营部门主题
  • 知识点01:课程目标
  • 知识点02:任务流调度回顾
  • 知识点03:AirFlow的介绍
  • 知识点04:AirFlow的部署启动
  • 知识点05:AirFlow的架构组件
  • 知识点06:AirFlow的开发规则
1-16 AirFlow任务调度
  • 知识点07:Shell调度测试
  • 知识点08:依赖调度测试
  • 知识点09:Python调度测试
  • 知识点10:Oracle与MySQL调度方法
  • 知识点11:大数据组件调度方法
  • 知识点12:定时调度使用
  • 知识点13:Airflow常用命令
  • 知识点14:邮件告警使用
  • 知识点15:一站制造中的调度
1-17 Spark核心概念回顾
  • 知识点16:回顾:Spark核心概念(上)
  • 知识点16:回顾:Spark核心概念(下)
1-18 Prometheus架构说明
  • 知识点01:课程目标
  • 知识点02:监控需求及常见工具
  • 知识点03:Prometheus的介绍
  • 知识点04:Prometheus的架构
  • 知识点05:Prometheus的部署
1-19 监控插件安装
  • 知识点06:node_exporter插件
  • 知识点07:mysqld_exportor插件
1-20 Grafana使用
  • 知识点08:可视化工具Grafana介绍
  • 知识点09:可视化工具Grafana部署
  • 知识点10:Grafana集成Prometheus
  • 知识点11:Grafana集成MySQL监控
1-21 项目总结二
  • 知识点12:项目总结:背景需求
  • 知识点13:项目总结:数据来源
  • 知识点14:项目总结:主题划分
  • 知识点15:项目总结:技术架构
  • 知识点16:项目总结:数仓设计
  • 知识点17:项目总结:优化及新特性
  • 知识点18:项目总结:问题
  • 知识点19:项目总结:数据规模
  • 知识点20:项目总结:简历模板

阶段十 java编程语言

展开
第一章 大数据java编程
1-1 Java基础语法
  • 01.JavaSE大纲介绍
  • 02.今日内容介绍
  • 03.Java简介
  • 04.如何理解Java的跨平台
  • 05.JDK和JRE的区别及下载和安装
  • 06.配置Path环境变量
  • 07.HelloWorld案例(Notepad++版)
  • 08.开发Java程序的IDE
  • 09.HelloWorld案例(IDEA版)
  • 10.IDEA的基础设置
  • 11.IDEA如何导入和删除项目
  • 12.上午内容回顾及下午内容简介
  • 13.Java基础语法之注释和关键字
  • 14.Java基础语法之常量
  • 15.Java基础语法之变量入门
  • 16.Java中的数据类型之基本类型详解
  • 17.变量的注意事项
  • 18.数据类型转换详解
  • 19.ASCII 码表简介
  • 20.运算符详解
  • 21.Scanner入门
  • 22.Scanner案例_获取三个和尚的最高身高
  • 23.流程控制语句之顺序结构演示
  • 24.流程控制语句之分支结构
  • 25.流程控制语句之循环入门
  • 26.循环进阶
  • 27.今日总结
1-2 面向对象
  • 01.标识符详解
  • 02.Math类入门
  • 03.猜数字的小游戏
  • 04.打印质数
  • 05.今日内容介绍
  • 06.数组入门
  • 07.数组的常用格式
  • 08.数组的内存图解释
  • 09.使用数组时的两个小问题
  • 10.数组案例1_遍历数组
  • 11.数组案例2_获取数组的最值
  • 12.方法入门
  • 13.方法练习
  • 14.上午内容简单回顾
  • 15.方法重载详解
  • 16.方法重载思考题解释
  • 17.关于Java中参数传递问题详解
  • 18.面向对象入门
  • 19.面向对象入门案例_手机类
  • 20.封装入门
  • 21.关于this关键字及使用变量的原则详解
  • 22.构造方法详解
  • 23.继承入门
  • 24.继承中的成员特点
  • 25.继承之方法重写详解
  • 26.多态入门
  • 27.多态好处
  • 28.两个关键字讲解
  • 29.抽象类详解
  • 30.类和接口的关系
  • 31.综合案例_运动员和教练类案例
1-3 java常用API
  • 01.昨日内容总结
  • 02.昨日作业第一题讲解
  • 03.今日内容介绍
  • 04.Scanner接收字符串
  • 05.Scanner的小技巧
  • 06.Object类方法演示
  • 07.字符串比较详解
  • 08.字符串案例_模拟登陆
  • 09.字符串案例_遍历字符串
  • 10.字符串案例_统计每类字符的个数
  • 11.字符串案例_反转字符串
  • 12.StringBuilder入门
  • 13.String和StringBuilder之间的相互转换
  • 14.StringBuilder案例_拼接字符串
  • 15.StringBuilder案例_字符串内容反转
  • 16.冒泡排序详解
  • 17.Arrays工具类详解
  • 18.包装类入门
  • 19.int和String之间相互转换
  • 20.字符串内容排序
  • 21.自动拆装箱
  • 22.Date入门
  • 23.SimpleDateFormat类的用法
  • 24.Calendar的用法
  • 25.异常简介
1-4 集合
  • 01.昨日内容处理
  • 02.昨日作业处理
  • 03.今日内容简介
  • 04.Junit单元测试入门
  • 05.匿名内部类详解
  • 06.集合入门
  • 07.Collection接口中的成员方法
  • 08.Collection集合存储String并遍历
  • 09.Collection存储自定义对象并遍历
  • 10.List集合入门及成员方法解释
  • 11.List集合存储自定义对象并遍历
  • 12.列表迭代器的用法
  • 13.并发修改异常详解
  • 14.上午内容回顾
  • 15.增强for简介
  • 16.数据结构之栈和队列解释
  • 17.数据结构之数组和链表解释
  • 18.ArrayList存储学生并遍历
  • 19.Set集合入门
  • 20.哈希值简介
  • 21.HashSet保证元素唯一性结束
  • 22.数据结构之哈希表解释
  • 23.Map集合入门
  • 24.Map集合的获取功能详解
  • 25.Map集合的遍历方式详解
  • 26.Map集合案例_存储自定义元素并遍历
  • 27.Map集合案例_统计每个字符出现的次数
  • 28.Collections工具类解释
  • 29.可变参数解释
1-5 反射
  • 30.反射入门
  • 31.反射案例_反射操作构造方法
  • 32.反射案例_反射操作成员变量
  • 33.反射案例_反射操作成员方法
  • 34.反射案例_运行指定配置文件中指定类的指定方法
1-6 lambda表达式
  • 01.昨日内容回顾
  • 02.昨日作业处理
  • 03.今日内容简介
  • 04.Lambda表达式入门
  • 05.Lambda表达式案例_有参无返回值的方法练习
  • 06.Lambda表达式案例_有参有返回值的方法练习
  • 07.Lambda表达式的省略模式
  • 08.匿名内部类和Lambda表达式的区别
1-7 io流
  • 09.字节流简介
  • 10.字节输出流解释
  • 11.字节输出流案例_制造空文件
  • 12.字节输入流一次读取一个字节
  • 13.字节输入流一次读取一个字节数组
  • 14.字节流拷贝文本文件(两种方式)
  • 15.图片加密案例
  • 16.字节高效流拷贝文件
  • 17.字节流拷贝数据的四种方式相率对比
  • 18.扩展知识_编解码问题
  • 19.字符流拷贝数据的4种方式演示
  • 20.高效的字符流独有的拷贝方式详解(重点)
  • 21.关于IO流的面试题解释
  • 22.序列化流详解
1-8 网络编程
  • 24.网络编程简介
  • 25.网络编程三要素值IP地址详解
  • 26.网络编程三要素之端口号和协议解释
  • 27.TCP协议_客户端给服务器发送一句话
  • 28.TCP协议_客户端给服务器端上传文件
1-9 JDBC
  • 01.昨日内容回顾
  • 02.昨日作业处理
  • 03.今日内容简介
  • 04.数据库内容回顾
  • 05.JDBC入门
  • 06.JDBC入门案例
  • 07.JDBC的API解释之DriverManager类
  • 08.JDBC的API解释之Connection,Statement,ResultSet
  • 09.JDBC的CURD操作
  • 10.JDBCUtils工具类的定义和使用
  • 11.SQL注入攻击问题演示
  • 12.PreparedStatement解决SQL注入攻击
  • 13.PreparedStatement接口的CURD操作
  • 14.C3P0数据库连接池入门
  • 15.C3P0Utils工具类的定义和使用
  • 16.事务入门
  • 17.JDBC操作事务代码实现
1-10 多线程
  • 18.多线程入门
  • 19.多线程的实现方式1_继承Thread类
  • 20.多线程执行图解
  • 21.多线程的实现方式2_实现Runnable接口
  • 22.匿名内部类的方式实现多线程
  • 23.多线程模拟卖票_入门班
  • 24.多线程模拟卖票_出现问题解释
  • 25.线程安全问题详解
  • 26.死锁演示
  • 27.多线程的生命周期
  • 28.线程的优先级问题
  • 29.加入线程
  • 30.守护线程详解
1-11 maven
  • 01.昨日内容回顾
  • 02.今日内容简介
  • 03.Maven入门
  • 04.Maven项目结构分析及和传统项目结构对比
  • 05.Maven的仓库和坐标的解释
  • 06.Maven环境搭建
  • 07.IDEA集成Maven
  • 08.IDEA创建JavaSE工程(无骨架)
  • 09.有骨架的JavaSE工程(了解)
  • 10.有骨架的JavaWeb工程(了解)
  • 11.无骨架的JavaWeb工程(掌握)
  • 12.maven的作用2_管理项目的生命周期
  • 13.Maven的作用1_常用插件及依赖范围讲解
  • 14.上午内容回顾
  • 15.Maven的作用3_创建聚合工程
1-12 HDFS
  • 16.HDFS内容回顾
  • 17.如何在windows系统中配置hadoop运行变量
  • 18.如何获取文件系统对象
  • 19.Java操作HDFS之遍历HDFS中所有文件
  • 20.Java操作HDFS之创建文件夹
  • 21.Java操作HDFS之上传和下载文件
  • 22.Java操作HDFS之合并上传
  • 23.Java操作HDFS之权限问题
  • 24.Java操作HDFS之删除功能
1-13 MapReduce
  • 25.MR内容回顾
  • 26.Java操作MR程序_思路分析
  • 27.WordCount案例_MapTask任务代码编写
  • 28.WordCount案例_ReduceTask任务代码编写
  • 29.WordCount案例_驱动类编写
  • 30.WordCount案例_官方推荐的驱动类的编写
  • 31.WordCount案例_在Hadoop集群中运行
  • 01.昨日内容回顾
  • 02.分区规则详解
  • 03.分区案例_彩票案例思路分析
  • 04.分区案例_业务代码实现
  • 05.分区案例_驱动类实现
  • 06.排序案例_数据流图分析
  • 07.排序案例_排序规则详解
  • 08.排序案例_自定义排序类
  • 09.排序案例_代码实现
  • 10.规约案例_思路分析
  • 11.规约案例_不使用规约实现代码
  • 12.规约案例_加入规约操作
  • 13.分组案例_数据流图分析
  • 14.分组案例_自定义序列化及排序代码实现
  • 15.分组案例_业务代码实现
  • 16.分组案例_驱动类代码实现
  • 17.求共同好友_思路分析
  • 18.求共同好友_求有该用户的好友都有谁
  • 19.求共同好友_最终结果实现

阶段十一 NoSQL与实时计算技术

展开
第一章 NoSQL-Redis
1-1 Redis的介绍与安装
  • 知识点01:课程目标
  • 知识点02:NoSQL与RDBMS
  • 知识点03:Redis的功能与应用场景
  • 知识点04:Redis的Linux版单机部署
  • 知识点05:Redis的数据结构及数据类型
1-2 Redis的基本命令
  • 知识点06:Redis的通用命令
  • 知识点07:String类型的常用命令
  • 知识点08:Hash类型的常用命令
  • 知识点09:List类型的常用命令
  • 知识点10:Set类型的常用命令
  • 知识点11:Zset类型的常用命令
  • 知识点12:BitMap类型的常用命令
  • 知识点13:HyperLogLog类型的常用命令
1-3 Jedis
  • 知识点14:Jedis:使用方式与Jedis依赖
  • 知识点15:Jedis:构建连接
  • 知识点17:Jedis:其他类型操作
1-4 数据存储设计与持久化
  • 知识点18:数据存储设计
  • 知识点19:Redis持久化:RDB设计
  • 知识点20:Redis持久化:RDB测试
  • 知识点21:Redis持久化:AOF设计
  • 知识点22:Redis持久化:AOF实现
1-5 Redis架构
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:Redis架构:问题与主从复制集群设计
  • 知识点04:Redis架构:哨兵集群的设计
  • 知识点05:Redis架构:分片Cluster集群的设计
  • 知识点06:Redis架构:分片Cluster集群的实现(上)集群搭建
  • 知识点06:Redis架构:分片Cluster集群的实现(下)集群测试
1-6 Redis高级
  • 知识点07:Redis的事务机制
  • 知识点08:Redis过期策略与内存淘汰机制
第二章 NoSQL-kafka
2-1 消息队列
  • 知识点09:传统架构面临的问题
  • 知识点10:消息队列:MQ介绍
  • 知识点11:消息队列:同步与异步
  • 知识点12:消息队列:点对点模式
  • 知识点13:消息队列:订阅发布模式
2-2 kafka简介
  • 知识点14:Kafka的介绍及特点
  • 知识点15:Kafka概念:Producer、Broker、Consumer
  • 知识点16:Kafka概念:Topic、Partition
  • 知识点17:Kafka概念:分区副本机制
  • 知识点18:Kafka概念:Segment
  • 知识点19:Kafka概念:Offset
  • 知识点20:Kafka概念:概念总结
2-3 附录
  • 附录一:Redis常见面试题
2-4 kafka环境搭建
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:Kafka集群架构
  • 知识点04:Kafka分布式集群部署
2-5 kafka的基本命令
  • 知识点05:Kafka启动与关闭
  • 知识点06:Topic管理:创建与列举
  • 知识点07:Topic管理:查看与删除
  • 知识点08:生产者及消费者测试
2-6 kafka工具
  • 知识点09:可视化工具Kafka Tool
  • 知识点10:Kafka集群压力测试
2-7 kafka API
  • 知识点11:Kafka API 的应用
  • 知识点12:生产者API:生产数据到Kafka
  • 知识点13:消费者API:消费Topic数据(上)
  • 知识点13:消费者API:消费Topic数据(下)
  • 知识点14:生产分区规则
  • 知识点15:自定义开发生产分区器
  • 知识点16:消费者消费过程及问题
  • 知识点17:自动提交问题
  • 知识点18:实现手动提交Topic的Offset
  • 知识点19:手动提交Topic Offset的问题
  • 知识点20:手动提交分区Offset的实现
  • 知识点21:指定消费Topic分区的数据
2-8 消费分配策略
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:消费分配策略:基本规则及分配策略
  • 知识点04:消费分配策略:RangeAssignor
  • 知识点05:消费分配策略:RoundRobinAssignor
  • 知识点06:消费分配策略:StickyAssignor
2-9 存储机制
  • 知识点07:Kafka存储机制:存储结构
  • 知识点08:Kafka存储机制:写入过程
  • 知识点09:Kafka存储机制:Segment
  • 知识点10:Kafka存储机制:读取过程
  • 知识点11:Kafka存储机制:index索引设计
2-10 kafka原理
  • 知识点12:Kafka数据清理规则
  • 知识点13:Kafka分区副本概念:AR、ISR、OSR
  • 知识点14:Kafka数据同步概念:HW、LEO
  • 知识点15:Kafka分区副本Leader选举
2-11 一次性语义
  • 知识点16:消息队列的一次性语义
  • 知识点17:Kafka保证生产不丢失
  • 知识点18:Kafka保证生产不重复
  • 知识点19:Kafka保证消费一次性语义
  • 知识点20:Kafka集群常用配置
2-12 kafka监测
  • 知识点21:可视化工具Kafka Eagle部署及使用
  • 知识点22:Kafka数据限流
第三章 NoSQL-Hbase
3-1 Hbase简介与环境部署
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:数据存储需求及HBASE诞生
  • 知识点04:HBASE基本介绍
  • 知识点05:HBASE设计思想
  • 知识点06:HBASE中的对象概念
  • 知识点07:HBASE中的存储概念
  • 知识点08:HBASE集群架构
  • 知识点09:HBASE集群部署
  • 知识点10:HBASE开发场景
3-2 Hbase基本命令
  • 知识点11:HBASE命令行:DDL:NS
  • 知识点12:HBASE命令行:DDL:Table
  • 知识点13:HBASE命令行:Put
  • 知识点14:HBASE命令行:Get
  • 知识点15:HBASE命令行:Delete
  • 知识点16:HBASE命令行:Scan
  • 知识点17:HBASE命令行:incr
  • 知识点18:HBASE命令行:count
3-3 Hbase JavaAPI
  • 知识点19:Java API:构建连接
  • 知识点20:Java API:DDL
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:Java API:DML:Table
  • 知识点04:Java API:DML:Put
  • 知识点05:Java API:DML:Get
  • 知识点06:Java API:DML:Delete
  • 知识点07:Java API:DML:Scan
  • 知识点08:Java API:DML:Filter
3-4 Hbase原理
  • 知识点09:存储设计:Table、Region、RS的关系
  • 知识点10:存储设计:Region及数据的划分规则
  • 知识点11:存储设计:Region的内部结构
  • 知识点12:Hbase读写流程:基本流程
  • 知识点13:Hbase读写流程:meta表
  • 知识点14:Hbase读写流程:写入流程
  • 知识点15:Hbase读写流程:读取流程
  • 知识点16:LSM模型:Flush
  • 知识点17:LSM模型:Compaction
  • 知识点18:Region分裂Split设计及规则
  • 知识点19:热点问题:现象及原因
  • 知识点20:分布式设计:预分区
3-5 Hbase表设计
  • 知识点21:Hbase表设计:Rowkey设计
  • 知识点22:Hbase表设计:其他设计
3-6 BulkLoad
  • 知识点23:BulkLoad的介绍
  • 知识点24:BulkLoad的实现
3-7 协处理器
  • 知识点25:协处理器的介绍
  • 知识点26:协处理器的实现
3-8 Hbase优化
  • 知识点27:Hbase优化:内存分配
  • 知识点28:Hbase优化:压缩机制
  • 知识点29:Hbase优化:布隆过滤
  • 知识点30:Hbase优化:其他优化
3-9 Hbase与其他组件的整合
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:SQL on Hbase
  • 知识点04:Hive on Hbase 介绍
  • 知识点05:Hive on Hbase 配置
  • 知识点06:Hive on Hbase 测试
3-10 Phoenix
  • 知识点07:二级索引的设计及问题
  • 知识点08:Phoenix的介绍
  • 知识点09:Phoenix的安装配置
  • 知识点10:Phoenix的DDL语法:NS
  • 知识点11:Phoenix的DDL语法:Table
  • 知识点12:Phoenix的DML语法:upsert
  • 知识点13:Phoenix的DML语法:delete
  • 知识点14:Phoenix的DQL语法:select
  • 知识点15:Phoenix的使用:预分区
  • 知识点16:Phoenix的使用:加盐salt
  • 知识点17:Phoenix的使用:视图
  • 知识点18:Phoenix的使用:JDBC
  • 知识点19:Phoenix二级索引设计
3-11 二级索引
  • 知识点20:二级索引:全局索引设计
  • 知识点21:二级索引:全局索引实现
  • 知识点22:二级索引:覆盖索引设计
  • 知识点23:二级索引:覆盖索引实现
  • 知识点24:二级索引:本地索引设计
  • 知识点25:二级索引:本地索引实现
第四章 NoSQL-综合案例
4-1 综合案例介绍
  • 知识点01:课程回顾
  • 知识点02:课程目标
  • 知识点03:案例需求
  • 知识点04:数据源
  • 知识点05:技术架构及技术选型
4-2 Flume数据采集
  • 知识点06:Flume的回顾及安装
  • 知识点07:Flume采集程序开发
4-3 离线分析
  • 知识点08:离线分析:Hbase表设计及构建
  • 知识点09:离线分析:Kafka消费者构建
  • 知识点10:离线分析:Hbase连接构建
  • 知识点11:离线分析:Rowkey的构建
  • 知识点12:离线分析:Put数据列构建
  • 知识点13:离线分析:存储运行测试
  • 知识点14:离线分析:Hive关联测试
  • 知识点15:离线分析:Phoenix关联测试
4-4 实时计算
  • 知识点16:实时计算需求及技术方案
  • 知识点17:Flink的基本介绍
  • 知识点18:代码模块构建
  • 知识点19:省份解析工具类测试
  • 知识点20:Flink代码解读
  • 知识点21:Flink实时计算测试
4-5 可视化
  • 知识点22:FineBI配置数据集
  • 知识点23:FineBI构建报表
  • 知识点24:FineBI实时配置测试

阶段十二 面试强化就业加强课

展开
第一章 python+大数据面试加强
1-1 面试加强
  • 01-面试加强课的目标
  • 02-查看公司和投递简历
  • 03-公司的常见岗位要求和职责
  • 04-职位的发展
  • 05-简历模板和注意事项
  • 06-编写项目的注意事项
  • 07-面试前需要注意的事项
  • 08-面试中的架构介绍
  • 09-面试之后的注意问题
  • 10-架构和从0到1的落地方案
  • 11-其他架构的案例
  • 12-人员配备和部门协作
  • 13-git介绍
  • 14-IDEA操作Git的上传和下载
  • 01-架构图和0-1部署方案回顾
  • 02-Linux常见命令
  • 03-Hadoop的读写流程
  • 04-Zookeeper的回顾
  • 05-Flume的回顾
  • 06-Kafka常见面试题
  • 07-Hive数据仓库介绍
  • 08-Hive的窗口函数
  • 09-Hive和数据仓库
  • 10-Hive优化
  • 11-Hive调优和面试题

阶段十三 大数据Flink技术栈

展开
第一章 Flink基础
1-1 流式计算简介
  • 01.【Flink基础-day01】Flink课程介绍和课程特点
  • 02.【Flink基础-day01】【了解】第一章:课程说明
  • 03.【Flink基础-day01】【了解】第一章:流计算简介
1-2 Flink简介
  • 04.【Flink基础-day01】【了解】第一章:Flink简介
  • 05.【Flink基础-day01】【掌握】第一章:Flink的重要角色
  • 06.【Flink基础-day01】【掌握】第一章:Flink编程模型及libraries支持
1-3 Flink环境部署
  • 07.【Flink基础-day01】【了解】第一章:伪分布环境部署
  • 08.【Flink基础-day01】【了解】第一章:完全分布式集群环境
  • 09.【Flink基础-day01】【了解】第一章:完全分布式之高可用HA集群环境
  • 10.【Flink基础-day01】【掌握】第一章:yarn集群环境说明
  • 11.【Flink基础-day01】【掌握】第一章:flink on yarn部署方式演示
1-4 Flink入门案例
  • 12.【Flink基础-day01】【掌握】第一章:flink实现批处理的单词计数
  • 13.【Flink基础-day01】【掌握】第一章:flink实现流处理的单词计数
  • 14.【Flink基础-day01】【掌握】第一章:flinkLambda实现流处理的单词计数
  • 15.【Flink基础-day01】【掌握】第一章:使用批流一体API编程模型实现
  • 16.【Flink基础-day01】【掌握】第一章:Flink程序递交部署
  • 17.【Flink基础-day01】知识点总结
1-5 Flink架构体系
  • 01.【Flink基础-day02】知识点回顾
  • 02.【Flink基础-day02】【掌握】第一章:Flink运行时组件
  • 03.【Flink基础-day02】【掌握】第一章:Flink运行时架构
第二章 Flink流批一体API开发
2-1 流处理基本概念
  • 04.【Flink基础-day02】【掌握】第二章:Flink流处理相关的概念
2-2 Flink的数据源
  • 05.【Flink基础-day02】【掌握】第二章:基于本地集合的source
  • 06.【Flink基础-day02】【掌握】第二章:基于文件的source
  • 07.【Flink基础-day02】【掌握】第二章:基于Socket的Source
  • 08.【Flink基础-day02】【掌握】第二章:基于随机生成DataSource
  • 09.【Flink基础-day02】【掌握】第二章:基于mysql的source操作
2-3 Flink的转换算子
  • 10.【Flink基础-day02】【掌握】第二章:transformation操作-1
  • 11.【Flink基础-day02】【掌握】第二章:transformation操作-2
  • 12.【Flink基础-day02】【掌握】第二章:物理分区
2-4 Flink的Sink操作
  • 13.【Flink基础-day02】【掌握】第二章:数据输出Data Sinks
  • 14.【Flink基础-day02】【掌握】知识点总结
  • 01.【Flink基础-day03】知识点回顾
  • 02.【Flink基础-day03】【掌握】第二章:JDBCSink使用
2-5 Flink与其他组件的整合
  • 03.【Flink基础-day03】【掌握】第二章:kafka消费者使用
  • 04.【Flink基础-day03】【掌握】第二章:kafka生产者使用
  • 05.【Flink基础-day03】【掌握】第二章:redis连接器使用
  • 06.【Flink基础-day03】【扩展】第二章:其他批处理的API
第三章 Flink高级API开发
3-1 四大基石:Window
  • 07.【Flink基础-day03】【了解】第三章:四大基石的介绍
  • 08.【Flink基础-day03】【掌握】第三章:window的介绍及使用和窗口范围的划分
  • 09.【Flink基础-day03】【了解】第三章:window的API操作
  • 10.【Flink基础-day03】【掌握】第三章:Time Window 案例
  • 11.【Flink基础-day03】【掌握】第三章:Count-Window 案例和会话窗口(Session Windows) 概念和案例
  • 12.【Flink基础-day03】【掌握】第三章:窗口的增量聚合函数使用
  • 13.【Flink基础-day03】【掌握】第三章:窗口的全量聚合函数使用
  • 14.【Flink基础-day03】知识点总结
3-2 四大基石:time
  • 01.【Flink基础-day04】知识点回顾
  • 02.【Flink基础-day04】【掌握】第三章:水印的介绍
  • 03.【Flink基础-day04】【掌握】第三章:水印的生成策略
  • 04.【Flink基础-day04】【掌握】第三章:单调递增水印的演示(数据必须有序)
  • 05.【Flink基础-day04】【掌握】第三章:固定延迟水印的演示(数据必须有序)
  • 06.【Flink基础-day04】【了解】第三章:自定义水印策略开发
  • 07.【Flink基础-day04】【掌握】第三章:多并行度下的水印操作
  • 08.【Flink基础-day04】【掌握】第三章:flink整合kafka实现水印操作
  • 09.【Flink基础-day04】【掌握】第三章:水印的延迟处理机制
3-3 四大基石:state
  • 10.【Flink基础-day04】【掌握】第三章:状态的介绍
  • 11.【Flink基础-day04】【掌握】第三章:状态的API介绍
  • 12.【Flink基础-day04】【掌握】第三章:KeyedState的使用案例
  • 13.【Flink基础-day04】【掌握】第三章:OperatorState的使用案例
  • 14.【Flink基础-day04】知识点总结
  • 01.【Flink基础-day05】知识点回顾
  • 02.【Flink基础-day05】【掌握】State的TTL机制
  • 03.【Flink基础-day05】【扩展】QueryableState的使用
  • 04.【Flink基础-day05】【掌握】BroadcastState的使用
3-4 四大基石:checkpoint
  • 05.【Flink基础-day05】【掌握】checkpoint的介绍
  • 06.【Flink基础-day05】【掌握】checkpoint的使用
  • 07.【Flink基础-day05】【掌握】checkpoint的重启策略
  • 08.【Flink基础-day05】【掌握】savepoint的使用
  • 09.【Flink基础-day05】【扩展】flink的任务链
  • 10.【Flink基础-day05】知识点总结
第四章 Flink高级特性
4-1 异步io与两端递交
  • 01.【Flink基础-day06】知识点回顾
  • 02.【Flink基础-day06】flink一致性语义的介绍
  • 03.【Flink基础-day06】flink基于kafka实现一次性语义的代码分析
  • 04.【Flink基础-day06】flink基于kafka代码
  • 05.【Flink基础-day06】flink基于mysql代码
4-2 ProcessFunction API
  • 06.【Flink基础-day06】flink实现processfunction
  • 07.【Flink基础-day06】flink实现具有增量聚合的processwindowfunction
4-3 双流join
  • 08.【Flink基础-day06】flink的双流join介绍
  • 09.【Flink基础-day06】flink的双流join代码演示
4-4 数据类型和序列化
  • 10.【Flink基础-day06】flink的数据类型和自定义序列化及反序列化
  • 11.【Flink基础-day06】知识点总结
第五章 FlinkSQL
5-1 FlinkSQL简介
  • 01.【FlinkSQL-day07】整体概述
  • 02.【FlinkSQL-day07】环境初始化和程序结构分析
  • 03.【FlinkSQL-day07】将DataStream转换成Table对象演示
5-2 FlinkSQL连接外部系统
  • 04.【FlinkSQL-day07】将查询结果写入到文件中
  • 05.【FlinkSQL-day07】将查询结果写入到kafka中
  • 06.【FlinkSQL-day07】将查询结果写入到mysql中
  • 07.【FlinkSQL-day07】flinksql整合hive
5-3 SQLClient
  • 08.【FlinkSQL-day07】flinksqlclient递交作业的步骤分析
  • 09.【FlinkSQL-day07】flinksqlapi使用hivecatalog
  • 10.【FlinkSQL-day07】flinksqlclient消费kafka数据实时写入到hive中
5-4 动态表
  • 11.【FlinkSQL-day07】动态表的概念理解
  • 12.【FlinkSQL-day07】flinksql使用处理时间
  • 13.【FlinkSQL-day07】知识点总结
  • 01.【FlinkSQL-day08】知识点回顾
  • 02.【FlinkSQL-day08】flinksql使用事件时间
  • 03.【FlinkSQL-day08】flinksql使用时区-1
  • 04.【FlinkSQL-day08】flinksql使用时区-2
  • 05.【FlinkSQL-day08】flinksql理解时态表的概念
  • 06.【FlinkSQL-day08】flinksql时态表函数在批计算场景使用
  • 07.【FlinkSQL-day08】flinksql时态表函数在流计算场景代码实现
  • 08.【FlinkSQL-day08】flinksql时态表join操作
5-5 FlinkSQL_窗口
  • 09.【FlinkSQL-day08】flinksql使用窗口的介绍
  • 10.【FlinkSQL-day08】flinksql使用滚动窗口的示例
  • 11.【FlinkSQL-day08】flinksql使用其他窗口的示例
  • 12.【FlinkSQL-day08】知识点总结
  • 01.【FlinkSQL-day09】知识点回顾
  • 02.【FlinkSQL-day09】flinksql的多维数据分析
  • 03.【FlinkSQL-day09】flinksql的多维数据分析-topN
  • 04.【FlinkSQL-day09】flinksql的over window
  • 05.【FlinkSQL-day09】flinksql的tableapi操作window
5-6 FlinkSQL_函数
  • 06.【FlinkSQL-day09】flinksql的函数介绍和标量函数使用
  • 07.【FlinkSQL-day09】flinksql的表函数实现
  • 08.【FlinkSQL-day09】flinksql的其他函数实现
5-7 FlinkSQL连接外部系统及优化
  • 09.【FlinkSQL-day09】flinksql的外部连接器(扩展)
  • 10.【FlinkSQL-day09】flinksql的优化点概述

阶段十四 Flink综合项目

展开
第一章 星途车联网-项目基石与前瞻
1-1 车联网行业背景介绍
  • 01_项目规划和今日目标
  • 02_车辆网行业背景
1-2 汽车行业和车辆类型
  • 03_车辆的分类和部件
  • 04_汽车后服务市场分析
  • 05_新能源汽车发展现状
  • 06_纯电和燃料电池汽车
1-3 车联网行业产业链
  • 07_车联网行业技术特点
  • 08_车联网行业国内外知名企业
  • 09_车联网项目的介绍
  • 10_车联网行业和电商行业的区别
  • 11_需要掌握的技术和工作机会
  • 12_数据来源和数据量
1-4 车联网技术选型
  • 13_上午内容回顾
  • 14_车联网的整体架构
  • 15_车联网的技术选型
1-5 车联网项目工程搭建
  • 16_车联网项目架构搭建的步骤
  • 17_车联网项目环境搭建和配置文件
1-6 上报数据的格式解析
  • 18_json解析的简单解析
  • 19_JSON解析加强
第二章 星途车联网-原始终端数据实时ETL
2-1 数据推送到kafka
  • 01_昨日回顾
  • 02_Flink将数据写入到kafka集群步骤
  • 03_Flink将数据写入kafka实现
2-2 解析工具类走读
  • 04_Flink将数据从kafka中读取出来
  • 05_创建模块并时间处理工具走读mp4
  • 06_读取配置文件和字符串翻转
  • 07_加载JSON对象解析工具
2-3 实时ETL
  • 08_flink消费kafka数据进行ETL步骤
  • 09_上午内容回顾
  • 10_flink设置并行度和时间属性
  • 11_flink读取参数和配置checkpoint
  • 12_flink的重启策略
  • 13_flink分区自动发现策略
  • 14_读取kafka集群数据和解决日志冲突
2-4 数据积压与反压
  • 15_Flink的反压机制原理
2-5 过滤数据
  • 16_读取车辆数据的抽象类
  • 17_读取数据并将数据转换成正确对象
  • 18_将数据写入到HDFS的操作
第三章 星途车联网-数据落地
3-1 数据存储_hive
  • 01_昨日回顾和今日目标
  • 02_将hdfs上数据写入到Hive分区中
  • 03_编写自动添加到指定分区的脚本
  • 04_将hdfs上数据加载到hive分区操作
  • 05_实现直接写入数据到Hive分区表
3-2 数据存储_Hbase
  • 06_rowkey设计原则和方法
  • 07_rowkey的设计方法
  • 08_hbase的shell命令
  • 09_将正确的数据写入到HBase中
  • 10_上午内容回顾
  • 11_数据写入HBase的测试
3-3 HBase调优
  • 12_优化写入HBase的操作
  • 13_优化写入HBase的代码测试
  • 14_写入hbase设置预分区
  • 15_hbase的编码方式和fast_diff编码
  • 16_编解码和加密方式和内外表区别
  • 17_HBase的压缩算法和操作
第四章 星途车联网-Phoenix on HBase即席查询
4-1 Phoenix简介及常用命令
  • 01_今日目标
  • 02_phoenix的简介
  • 03_phoenix的创建和查询
  • 04_phoenix表和视图的基本操作
  • 05_phoenix表的全局索引
  • 06_phoenix的本地局部索引
  • 07_phoenix的索引参数的优化
4-2 HBase二级索引
  • 08_映射HBase表并使用Datagrip查询
  • 09_将车辆部分数据写入到hbase并映射到 phoenix
4-3 车联网明细数据统计
  • 10_如何彻底删除kafka的主题
  • 11_上午内容回顾
  • 12_车辆明细数据统计
4-4 Zeppelin简介及使用
  • 13_zeppelin的介绍和常用功能
  • 14_zeppelin使用mysql解释器并操作
  • 15_zeppelin添加解析器和数据分析展示
第五章 星途车联网-车辆驾驶行为分析
5-1 驾驶行程业务逻辑
  • 01_昨日回顾和今日目标
  • 02_驾驶行程业务案例
  • 03_驾驶行程分析流程
  • 04_会话窗口和水印机制的逻辑
  • 05_驾驶行程采样分析的步骤
  • 06_Flink水位线和窗口
  • 07_驾驶行程数据抽取转换和窗口设置
5-2 驾驶行程指标分析
  • 08_驾驶行程采样分析步骤
  • 09_驾驶行程采样逻辑实现
  • 10_上午内容回顾
  • 11_驾驶行程采样测试()
  • 12_驾驶行程分析的步骤
  • 13_驾驶行程分析实现1
  • 14_驾驶行程采样测试(补充)
  • 15_驾驶行程分析实现2
  • 16_驾驶行程采样分析phoenix表映射
  • 17_补充
第六章 星途车联网-电子围栏分析
6-1 电子围栏简介
  • 01_昨日回顾和今日目标
  • 02_电子围栏的业务介绍
6-2 电子围栏分析步骤
  • 03_电子围栏分析业务逻辑分析
  • 04_电子围栏分析的步骤
6-3 电子围栏分析实现
  • 05_数据预处理操作
  • 06_电子围栏数据配置的读取步骤
  • 07_读取数据库中电子围栏的数据
  • 08_将车辆数据和电子围栏配置合并
  • 09_电子围栏配置关联生成对象操作
  • 10_上午内容回顾
  • 11_两个点之间的球面距离的计算
  • 12_电子围栏窗口计算操作
  • 13_将电子围栏窗口计算结果保存到数据库
第七章 星途车联网-远程诊断实时故障分析
7-1 实时故障业务逻辑
  • 01_昨日回顾和今日目标
  • 02_远程诊断实时故障业务介绍
  • 03_远程诊断实时故障业务逻辑
  • 04_地理位置转换geohash
7-2 实时故障分析实现
  • 05_远程诊断实时故障业务开发步骤
  • 06_读取redis中的车辆位置数据
  • 07_异步请求高德Api步骤和生成url
  • 08_kafka的topic的分区设置规则
  • 09_异步请求高德Api的开发步骤
  • 10_异步请求http返回json对象
  • 11_异步请求封装写入到redis并返回
  • 12_将窗口内的数据统计告警信息返回
  • 13_将故障数据和静态车辆类型数据拉宽并入库到mysql
第八章 星途车联网-项目展示和任务调度
8-1 项目展示和任务调度
  • 01_FlinkCEP介绍
  • 02_mysql和canal的使用
  • 03_Flink的离线处理
  • 04_前端可视化业务和模块导入
  • 05_后台提供springboot的接口
  • 06_调度平台dolphinscheduler的使用