课程试听
阶段一 Python编程
展开第一章 Python基础编程
1-1 学习软件使用
- 01-（了解）Winrar压缩软件介绍与使用 免费试学
- 02-（重点）Typora笔记软件 免费试学
- 03-（重点）Snipaste截图软件使用 免费试学
- 04-（重点）Xmind思维导图软件 免费试学
- 05-（可选）金山打字通 免费试学
- 06-（可选）Everything搜索软件 免费试学
1-2 Python概述
- 07-（了解）学习目标 免费试学
- 08-（了解）为什么要学习Python 免费试学
- 09-（了解）Python语言概述 免费试学
- 10-（重点）Python解析器安装与配置 免费试学
1-3 PyCharm使用入门
- 11-（重点）PyCharm软件安装项目创建以及代码编写
- 12-（回顾）上午知识点小结
- 13-（重点）PyCharm开发工具配置
- 14-（重点）PyCharm项目管理
- 15-（重点）Python中的注释
- 16-（重点）PyCharm中注释快捷键
1-4 Python变量与注释
- 17-（重点）变量的定义与访问
- 18-（重点）变量的命名规则
- 19-（建议）推荐的命名规则
- 20-（答疑）变量与字符串区别
- 21-（重点）Python中变量的数据类型
1-5 Pycharm中Debug使用
- 22-（重点）Python中的Bug解决
- 23-（重点）Debug调试工具使用
- 24-交作业流程
1-6 Python格式化输出
- 01-（回顾）昨日回顾
- 02-（重点）百分号形式的格式化输出
- 03-（重点）百分号形式格式化输出时在输出一个百分号
- 04-（重点）format()方法实现格式化输出
- 05-（重点）f简写形式的格式化输出
- 06-（重点）print()中的换行符号
- 07-（重点）input()输入方法详解
1-7 Python运算符
- 08-（了解）学习目标
- 09-（案例）两个变量值的交换
- 10-（引入）为什么需要类型转换
- 11-（回顾）上午知识点小结
- 12-（重点）4种数据类型转换方法
- 13-（重点）算数运算符
- 14-（案例）求梯形的面积
- 15-（重点）赋值运算符
- 16-（重点）复合赋值运算符
- 17-（重点）比较运算符
- 18-（重点）逻辑与或非
- 19-（扩展）短路运算
- 20-（理解）运算符的优先级
1-8 Python分支语句
- 21-（重点）if中的选择结构
- 22-（重点）if条件判断与input()输入语句相结合
- 23-（重点）if...else结构
- 24-（作业）今日作业
- 01-（回顾）昨日回顾
- 02-（扩展）Visio绘制流程图
- 03-（扩展）if...else结构流程图
- 04-（重点）if...elif...else多分支结构
- 05-（难点）if嵌套结构
- 06-（小结）if分支结构
1-9 Python分支语句综合案例
- 07-（重点）猜拳游戏开发（上）
- 08-（重点）随机模块与随机数概念
- 09-（重点）三目运算符
1-10 while循环
- 10-（重点）while循环作用与while循环三步走
- 11-（回顾）上午知识点小结
- 12-（理解）while循环执行流程
- 13-（案例）求1-100的累加和
- 14-（案例）求1-100之间所有偶数的和
- 15-（答疑）while循环中常见问题
- 16-（重点）循环中的break与continue
- 17-（理解）死循环结构
1-11 while循环案例
- 18-（案例）猜数字
- 19-（案例）猜数字升级版
1-12 for循环
- 20-（了解）for循环学习目标
- 21-（重点）for循环基本语法与应用场景
- 22-（重点）range()函数
- 23-（重点）使用for循环求1-100的和
- 24-（重点）使用for循环求1-100之间所有偶数的和
- 01-（回顾）昨日回顾
- 02-（重点）for循环中的break与continue关键字
1-13 for循环案例
- 03-（重点）使用for循环实现用户名与密码登录认证
- 04-（重点）使用for循环实现用户名密码认证案例
- 05-（重点）for循环中的else语句
- 06-（案例）报数字游戏开发
1-14 字符串定义及切片
- 07-（了解）数据容器学习目标
- 08-（回顾）字符串的定义与访问
- 09-（重点）索引下标与字符串遍历
- 10-（回顾）上午知识点小结
- 11-（重点中重点）字符串切片
- 12-（补充）步长为某个数值的情况
1-15 字符串查找、替换、合并
- 13-（重点）find()搜索方法
- 14-（案例）文件截取
- 15-（重点）字符串修改方法
- 16-（重点）字符串判断方法
- 17-（小结）字符串常见操作方法
1-16 列表定义及使用
- 18-（重点）列表的定义与访问
- 19-（重点）列表的查询操作
- 20-（重点）列表的增加方法
- 21-（重点）列表的删除方法
- 22-（重点）列表的修改方法
- 23-（重点）列表的翻转与排序
- 24-（了解）列表嵌套
- 01-（回顾）昨日回顾
1-17 元组定义及使用
- 02-（重点）元组的定义与访问
- 03-（重点）元组特性与相关查询方法
1-18 字典定义及使用
- 04-（了解）数据容器学习目标
- 05-（重点）字典的定义与访问过程
- 06-（重点）字典的新增与修改操作
- 07-（重点）字典的删除操作
- 08-（重点）字典中的查询方法
- 09-（扩展）学生管理系统的添加与删除功能
- 10-（回顾）上午知识点小结
1-19 集合定义及使用
- 11-（重点）集合的定义与访问
- 12-（重点）集合中的相关方法
1-20 公共方法与列表推导式
- 13-（重点）数据容器的公共方法（上）
- 14-（重点）数据容器的公共方法（下）
- 15-（重点）数据容器的相互转换
- 16-（扩展）列表推导式
1-21 函数基本使用
- 17-（了解）Python中函数的学习目标
- 18-（重点）函数的定义与调用
- 19-（重点）函数的return返回值
- 01-（回顾）昨日回顾
- 02-（重点）Python中函数的由来
- 03-（重点）聊聊return返回值
- 04-（重点）函数说明文档
1-22 函数嵌套
- 05-（理解）函数嵌套语法与执行流程
- 06-（流程）一个案例深入理解函数嵌套执行流程
1-23 函数案例
- 07-（案例）封装一个函数求三个数的平均值
- 08-（案例）封装一个函数实现字符串翻转与替换
- 09-（案例）生成4位长度的随机验证码（上）
- 10-（回顾）上午知识点小结
- 11-（案例）生成4位长度的随机验证码（下）
- 12-（扩展）生成指定长度的验证码
1-24 变量作用域
- 13-（重点）全局变量与全局变量的访问范围
- 14-（重点）局部变量与局部变量的访问范围
- 15-（重点）global关键字
1-25 函数传参
- 16-（理解）实参与形参概念
- 17-（重点）位置传参与关键词传参
- 18-（重点）函数定义时的缺省参数
- 19-（重点中重点）不定长参数
- 20-（重点中重点）不定长参数应用场景
- 21-（特殊）参数混用的情况
1-26 可变类型和不可变类型
- 22-（理解）理解哪些数据类型属于不可变类型
- 01-（回顾）昨日回顾
- 02-（重点理解）不可变数据类型
- 03-（重点）可变数据类型
- 04-（案例）可变与不可变对函数传参的影响
- 05-（重点）元组拆包
1-27 文件基本操作
- 06-（了解）文件操作学习目标
- 07-（重点）文件基本概念
- 08-（重点）文件操作三步走
- 09-（重点）解决中文乱码问题
- 10-（重点）文件读取的三个方法
- 11-（回顾）昨日回顾
- 12-（案例）文件备份案例（上）
- 13-（案例）文件备份案例（下）
1-28 文件操作案例
- 14-（重点）os重命名与删除文件
- 15-（重点）os模块中与文件夹相关方法
- 16-（理解）普及路径概念
- 17-（扩展）删除非空目录
1-29 异常处理
- 18-（重点）异常与异常捕获
- 19-（重点）捕获异常并获取异常信息
- 20-（重点）try...except...else结构
- 21-（重点）try...except...else...finally语句
1-30 模块与包
- 22-（重点）模块的两种导入方式
- 23-（重点）求一个程序的执行时间
- 01-（回顾）昨日回顾
- 02-（扩展）创建自定义模块并导入系统
- 03-（理解）自定义模块测试方法
- 04-（理解）探讨一下__name__到底返回结果是什么？
1-31 学生管理系统
- 05-（重点）理解学生管理系统需求
- 06-（案例）实现系统功能菜单
- 07-（案例）根据用户编号执行对应的功能
- 08-（案例）添加功能实现
- 09-（案例）删除功能实现
- 10-（小结）上午知识点小结
- 11-（案例）修改功能实现
- 12-（案例）查询功能实现
- 13-（案例）遍历查询操作
- 14-（案例）保存数据到文件
- 15-（案例）加载文件中数据到系统
1-32 总结回顾
- 16-（复习）注释变量与数据类型
- 17-（复习）类型转换运算符以及if分支结构
- 18-（复习）Python中的循环结构
- 19-（复习）Python函数
第二章 Python面向对象
2-1 类定义
- 01-（了解）学习目标
- 02-（理解）面向过程与面向对象设计思想
- 03-（重点）面向对象编程思想
- 04-（重点）类的定义（新式类）
- 05-（重点）类的实例化（产生对象）
- 06-（重点）self到底指向谁
2-2 类属性
- 07-（重点）在类的外部添加与获取对象属性
- 08-（重点）在类的内部获取类外部定义的属性
- 09-（回顾）上午知识点小结
2-3 魔法方法
- 10-（问题）为什么需要魔术方法？
- 11-（重点）__init__()魔术方法的使用
- 12-（重点）为对象赋予公共属性
- 13-（重点）__str__()魔术方法
- 14-（重点）__del__()魔术方法
- 15-（小结）魔术方法小结
- 16-（理解）面向对象程序执行流程
2-4 面向对象案例
- 17-（案例）学生成绩打印
- 18-（案例）小明爱跑步
- 19-（重点）属性的封装（私有属性）
- 20-（重点）如何获取课程资料与提交作业
- 01-（回顾）昨日回顾
2-5 面向对象课堂作业
- 02-（作业）高级题目4答案
- 03-（答疑）删除对象时顺序问题
- 04-（作业）搬家具案例（上）
- 04-（作业）搬家具案例（中）
- 05-（作业）搬家具案例（下）
2-6 封装与继承
- 06-（重点）封装性之私有属性的概念
- 07-（重点）封装性之私有方法
- 08-（回顾）上午知识点小结
- 09-（重点）Python中继承基本语法
- 10-（重点）单继承
- 11-（重点）单继承传递性（多层继承）
- 12-（理解）多继承概念
- 13-（重点）使用mro了解类与类的继承关系
- 14-（重点）子类扩展之重写操作
- 15-（重点）super()方法强制调用父类中属性或方法
2-7 多态
- 16-（了解）Python中的多态性
- 17-（了解）Python中多态案例
2-8 类属性方法
- 18-（重点）类属性概念
- 19-（重点）类方法概念
- 20-（重点）静态方法
- 21-（作业）今日作业安排
- 01-（回顾）昨日回顾
2-9 面向对象版-学生管理系统
- 02-（案例）学生类开发流程
- 03-（案例）入口文件实现
- 04-（案例）功能菜单之静态方法实现
- 05-（案例）学员添加功能实现
- 06-（案例）遍历所有学员功能实现
- 07-（案例）移除同学信息实现
- 08-（案例）修改学员信息实现
- 09-（案例）查找学员功能实现
- 10-（回顾）上午知识点小结
- 11-（案例）保存数据到文件（遗留了问题）
- 12-（案例）数据保存到文件完整版
- 13-（补充）数据保存补充
- 14-（案例）加载文件中的数据到系统
第三章 Python进阶编程
3-1 闭包
- 15-（了解）学习目标
- 16-（回顾）全局变量与局部变量概念
- 17-（理解）局部变量与局部变量访问范围
- 18-（理解）闭包三步走
- 19-（答疑）闭包执行原理
- 20-（重点）global关键字与nonlocal关键字
- 21-（案例）闭包案例
3-2 装饰器
- 22-（重点）装饰器三步走
- 23-（案例）使用装饰器求程序执行时间
- 01-（回顾）昨日回顾
- 02-（重点）装饰器的基本语法
- 03-（理解）装饰器的执行原理
- 04-（理解）装饰器的雏形（底层原理）
- 05-（案例）求执行时间装饰器
- 06-（重点）使用装饰器装饰带有参数的函数
- 07-（重点）使用装饰器装饰带有不定长参数的函数
- 08-（重点）使用装饰器装饰带有返回值的函数
- 09-（重点）通用装饰器的编写
- 10-（扩展）带有参数的装饰器
- 11-（了解）类装饰器
3-3 前端环境安装
- 12-（回顾）上午知识点小结
- 13-（了解）HTML与CSS学习目标
- 14-（了解）HTML概念与作用
- 15-（重点）VS Code软件安装与配置
- 16-（重点）VS Code编辑器配置
3-4 HTML基础
- 17-（重点）标题段落与div结构标签（双标签）
- 18-（重点）有序列表与无序列表
- 19-（重点）换行水平线以及图片标签（单标签）
- 20-（理解）绝对路径与相对路径
- 21-（重点）表格标签（适合做数据展示）
- 22-（重点）表单标签
- 23-（重点）表单提交
3-5 CSS基础
- 24-（重点）CSS概述与三种引入方式
- 01-（回顾）昨日回顾
- 02-（重点）常用三种选择器（标签ID以及类选择器）
- 03-（重点）层级选择器
- 04-（重点）组选择器
- 05-（重点）伪类选择器
- 06-（小结）6种选择器总结
- 07-（重点）布局属性
- 08-（重点）文本属性
3-6 Socket网络编程
- 09-（了解）学习目标
- 10-（理解）IP地址概念
- 11-（理解）端口与端口号概念
- 12-（回顾）上午知识点小结
- 13-（理解）端口号作用与分类
- 14-（理解）TCP传输控制协议
- 15-（理解）socket套接字工具
3-7 TCP服务器开发流程
- 16-（重点）TCP客户端开发五步走与服务器开发七步走
- 17-（重点）TCP客户端开发五步走代码实践
- 18-（难点）TCP服务器端开发七步走之前四步
- 19-（答疑）常见问题汇总
- 20-（重点）TCP服务器端开发七步走
- 21-（重点）TCP服务器端面向对象版本封装
3-8 TCP服务器细节处理
- 22-（答疑）常见问题回复
- 01-（回顾）昨日回顾
- 02-（重点）程序入口与端口复用
- 03-（理解）TCP网络应用程序开发注意事项
- 04-（扩展）Python代码如何操作飞Q软件
3-9 进程
- 05-（了解）进程学习目标
- 06-（理解）多任务的概念
- 07-（理解）进程概念
- 08-（重点）使用多进程完成多任务
- 09-（小结）小结与答疑
- 10-（重点）使用多进程实现带有参数的多任务
- 11-（重点）获取主进程编号与子进程编号
- 12-（回顾）上午知识点小结
- 13-（重点）使用os.kill()方法杀掉进程
- 14-（注意点）多进程之间无法共享全局变量
- 15-（注意点）主进程与子进程结束顺序问题
- 16-（小结）注意点小结
3-10 线程
- 17-（了解）线程学习目标
- 18-（理解）线程与进程区别和线程概念
- 19-（重点）使用多线程实现多任务（并发）
- 20-（重点）使用args与kwargs进行参数传递
- 21-（注意点）多线程之间共享全局变量
- 22-（注意点）主线程默认会等待子线程结束而结束
- 23-（注意点）线程之间的执行是无序的
- 24-（对比）进程与线程区别
- 25-（案例）多任务版本的TCP服务器端
- 01-（回顾）昨日回顾
3-11 HTTP协议
- 02-（了解）学习目标
- 03-（理解）HTTP协议概念
- 04-（理解）URL及URL组成
- 05-（重点）开发者工具使用
- 06-（重点理解）GET请求报文三部分
- 07-（重点）HTTP请求报文
- 08-（重点）HTTP响应报文
3-12 静态Web服务器
- 09-（重点）使用Python搭建简单Web服务器
- 10-（重点）静态Web服务器开发
- 11-（回顾）上午知识点小结
- 12-（答疑）常见错误汇总
- 13-（重点）静态Web服务器开发之返回指定页面（上）
- 14-（重点）静态Web服务器开发之返回指定页面（中）
- 15-（重点）静态Web服务器开发返回指定页面（下）
- 16-（答疑）解决直接访问首页问题
- 17-（重点）解决访问页面不存在问题
- 18-（答疑）为什么要给文字添加编码
- 19-（重点）完整版Web服务器开发
- 20-（重点）FastAPI框架快速入门
3-13 With上下文管理器
- 01-（了解）学习目标
- 02-（重点）为什么要引入with上下文管理器
- 03-（重点）with上下文管理器
- 04-（重点）生成器的创建方式一
3-14 Python生成器
- 05-（重点）yield生成器
- 06-（理解）使用yield生成器生成斐波那契数列
- 07-（重点）生成器多种写法
- 08-（回顾）变量引用以及可变和不可变数据类型
3-15 Python深浅拷贝
- 09-（重点）Python中的浅拷贝
- 10-（重点）Python浅拷贝笔试题
- 11-（重点）Python中的深拷贝
- 12-（重点）Python中深拷贝特殊情况
3-16 正则表达式
- 13-（重点）正则概述与快速入门
- 14-（重点）正则三步走之查什么
- 15-（重点）正则三步走之查多少
- 16-（重点）正则三步走之从哪查
- 17-（扩展）正则工具箱
3-17 正则表达式案例
- 01-（回顾）昨日回顾
- 02-（分组）正则分组概念
- 03-（案例）分组练习题5则
- 04-（扩展）正则中的选择匹配符
- 05-（重点）re模块中的相关方法
- 06-（扩展）正则表达式起别名
- 07-（案例）正则综合案例二则
- 08-（案例）正则综合案例二则
3-18 FastAPI搭建Web服务器
- 09-（了解）学习目标
- 10-（重点）Web服务器搭建
- 11-（回顾）上午知识点小结
- 12-（重点）FastAPI图片请求通用配置
- 13-（答疑）FastAPI如何接收请求与处理请求
- 14-（重点）处理html页面请求
3-19 Python爬虫
- 15-（入门）爬虫概述与requests模块入门
- 16-（重点）使用爬虫爬取页面的图片url地址
- 17-（重点）根据爬虫爬取的图片地址保存数据
- 18-（重点）zip()函数的使用
- 19-（重点）GDP数据采集过程
- 20-（扩展）Xpath技术扩展（慎用）
- 01-（回顾）昨日回顾（上）
- 02-（回顾）昨日回顾（中）
- 03-（回顾）昨日回顾（下）
- 04-（重点）多任务实现爬虫
3-20 数据可视化
- 05-（重点）pyecharts安装与快速入门
- 06-（重点）pyecharts新版链式操作
- 07-（重点）Faker随机类
- 08-（重点）pyecharts配置项说明
- 09-（重点）全球GDP前十名数据可视化
3-21 日志
- 10-（重点）logging日志模块与日志格式化输出
- 11-（回顾）上午知识点小结
- 12-（重点）输出日志写入到文件
- 13-（重点）在Web项目中整合logging日志
3-22 下阶段课程准备
- 14-（重点）MySQL8.0软件安装
- 15-（重点）DataGrip软件安装与配置
3-23 python进阶课程回顾
- 16-（回顾）面向对象基础
- 17-（回顾）面向对象三大特性
- 18-（回顾）面向对象其他特性
- 19-（回顾）闭包与装饰器
- 20-（补充）装饰器的补充
- 21-（重点）TCP套接字编程
- 22-（重点）Python中多任务编程
- 23-（重点）Python高级与正则表达式
- 01-（回顾）昨日回顾
阶段二 SQL（SQL+Kettle+FineBI）
展开第一章 SQL
1-1 阶段学习反馈
- 【Python编程】阶段学习反馈
1-2 数据库基础
- 02-（了解）MySQL基础学习目标 免费试学
- 03-（了解）数据库介绍 免费试学
- 04-（掌握）MySQL概述与软件下载 免费试学
- 05-（了解）MySQL8.0下载 免费试学
- 06-（了解）Windows版本MySQL安装 免费试学
- 07-（重点）小皮面板与DataGrip软件安装与连接操作 免费试学
- 08-（重点）DataGrip软件配置 免费试学
1-3 DDL
- 09-（理解）SQL语言概述与SQL通用写法 免费试学
- 10-（重点）DDL之数据库管理 免费试学
- 11-（重点）DDL之数据表创建过程 免费试学
- 12-（案例）数据表创建案例 免费试学
- 13-（重点）DDL之数据表查看 免费试学
- 14-（答疑）反撇号与引号区别 免费试学
- 15-（重点）DDL之数据表修改（字段添加） 免费试学
- 16-（重点）DDL之数据表修改（字段名称与类型修改） 免费试学
- 17-（重点）DDL之数据表修改（字段删除） 免费试学
- 18-（重点）DDL之数据表修改（数据表重命名） 免费试学
- 19-（重点）DDL之数据表删除 免费试学
- 20-（小结）数据表的增删改查 免费试学
1-4 DML
- 21-（重点）数值类型（整数与浮点类型）
- 22-（重点）日期时间与文本类型
- 01-（回顾）昨日回顾
- 02-（重点）DML之数据插入操作
- 03-（重点）DML之数据更新操作
- 04-（重点）DML之数据删除操作
1-5 SQL约束
- 05-（重点）五大约束之主键约束
- 06-（重点）主键约束的添加与删除操作
- 07-（扩展）自动增长序列
- 08-（补充）如何移除带有自动增长的主键
- 09-（重点）五大约束之非空约束
- 10-（重点）五大约束之唯一约束
- 11-（回顾）上午知识点小结
- 12-（重点）五大约束之默认值约束
- 13-（重点）五大约束之外键约束
- 14-（小结）五大约束
1-6 SQL条件查询
- 15-（重点）简单查询
- 16-（重点）五子句之where子句与比较查询
- 17-（重点）五子句之where子句与范围查询
- 18-（重点）五子句之where子句与逻辑查询
- 19-（重点）五子句之where模糊查询
- 20-（重点）五子句之where非空查询
1-7 SQL聚合函数
- 21-（重点）聚合函数
- 22-（理解）聚合函数不统计空值
- 23-（重点）五子句之group by分组子句
- 24-（扩展）回溯统计
- 25-（重点）五子句之having子句
- 01-（回顾）昨日回顾
- 02-（重点）五子句之order by排序子句
- 03-（重点）五子句之limit子句限制查询数量
- 04-（重点）五子句之limit分页查询子句
- 05-（小结）五子句查询小结
- 06-（重点）distinct针对某列进行去重操作
1-8 SQL多表查询
- 07-（数据）多表数据集准备
- 08-（理解）多表查询之交叉连接查询
- 09-（重点）多表查询之内连接查询
- 10-（重点）多表查询之书写规则
- 11-（回顾）上午知识点小结
- 12-（重点）多表查询之内连接查询的另外一种写法
- 13-（重点）多表查询之外连接查询
- 14-（小结）内连接查询与外连接查询区别
- 15-（了解）自连接查询与数据集准备
- 16-（重点）多表查询之自连接查询代码实现
1-9 SQL外键约束
- 17-（理解）表与表之间关系
- 18-（扩展）外键约束
- 19-（扩展）引擎概念与外键关系
1-10 SQL子查询
- 20-（重点）子查询概念与案例演示
- 21-（重点）子查询案例2
- 22-（重点）子查询案例3
- 01-（回顾）昨日回顾
1-11 窗口函数
- 02-（重点）窗口函数学习目标
- 03-（重点）窗口函数概述
- 04-（案例）聚合函数与窗口函数比较
- 05-（重点）数据集准备
- 06-（重点）窗口函数基本语法与使用案例
- 07-（重点）窗口函数案例
- 08-（重点）窗口函数案例
- 09-（重点）把over()计算结果进行进一步计算
- 10-（重点）窗口函数基本概念
- 11-（理解）数据集介绍
- 12-（重点）rank()排名函数
- 13-（重点）dense_rank()排名函数
- 14-（重点）row_number()排名函数
第二章 Kettle
2-1 Kettle入门
- 15-（回顾）上午知识点小结
- 16-（了解）可视化ETL工具之Kettle
- 17-（重点）JDK环境配置
- 18-（重点）Kettle软件安装与启动
- 19-（重点）Kettle快速入门
- 20-（重点）程序小姐姐的烦恼（上）
- 21-（重点）程序小姐姐的烦恼（下）
2-2 Kettle使用
- 22-（重点）数据库连接共享
- 23-（重点）抽取MySQL数据装载到MySQL数据库中
- 01-（回顾）昨日回顾
- 02-（重点）数据表转换加载到数据表中
- 03-（重点）插入更新组件
- 04-（问题）常见问题汇总
- 05-（重点）switch-case组件
- 06-（重点）SQL脚本组件
- 07-（重点）执行带有参数的SQL脚本
- 08-（重点）Job计划任务
第三章 FineBI
3-1 FineBI
- 09-（了解）BI系统概述
- 10-（了解）FineBI概述
- 11-（重点）FineBI安装以及试用
- 12-（回顾）上午知识点小结
3-2 FineBI综合案例
- 13-（重点）各学科学员数量分析
- 14-（重点）某集团各省份销售额与利润额分析
- 15-（案例）数据集准备（宽表来源）
- 16-（案例）每月销售额与毛利额信息展现
- 17-（案例）销售额环比数据与毛利额环比数据分析
- 18-（案例）全国各省份城市毛利率
- 19-（案例）全国各门店毛利率
- 20-（案例）全国各门店商品类别销售情况分析
- 21-（案例）全国各门店商品销售额与毛利率象限图
3-3 阶段学习反馈
- 【SQL基础】阶段学习反馈
阶段三 ETL实战
展开第一章 ETL
1-1 ETL入门
- 01-ETL的引出 免费试学
- 02-常见数据格式-CSV 免费试学
- 03-常见数据格式-JSON 免费试学
- 04-常见数据格式-XML 免费试学
- 05-结构化-半结构化-非结构化数据类型 免费试学
- 06-ETL案例的采集需求 免费试学
- 07-JSON数据的处理思路和元数据管理概念 免费试学
- 08-关于MySQL在项目中的使用方式 免费试学
- （补充）etl-项目搭建-配置文件作用 免费试学
- （补充）etl-项目搭建工具类与单元测试类说明 免费试学
1-2 logging日志处理模块
- 09-上午内容回顾-logging的基本使用 免费试学
- 10-编写Logging工具方法 免费试学
- 11-编写配置文件 免费试学
- 12-编写单元测试 免费试学
1-3 数据文件读取模块
- 13-编写文件工具-完成递归查找文件夹内的文件
- 14-编写文件工具的单元测试
- 15-代码逻辑回顾
- 01-昨日内容简单回顾
- 02-优化代码-增加json数据文件夹的配置项
1-4 数据库数据存储模块
- 03-创建mysql_util代码文件-演示pymysql的自动提交功能
- 04-编写mysql_util的功能代码
- 05-[补充]路径表示符的写法以及类的概念回顾
- 06-对mysql_util进行单元测试
1-5 数据文件搜索及核对
- 07-编写从mysql中查询已经处理过的文件的工具方法
- 08-编写对比list，找出没有被处理的文件的工具方法
- 09-调用对比方法，找出可以被处理的文件
1-6 订单模型构建
- 10-[拓展]使用模型来封装数据的方式
- 11-构建订单数据的基础模型
- 01-前两天代码的梳理
- 02-在模型中构建to_csv的方法
1-7 时间转化
- 03-[扩展]-时间戳和常用转换的代码
- 04-构建时间戳转换的工具方法并单元测试
1-8 订单数据处理
- 05-构建字符串工具检查空内容并将model数据的无意义省市区转换成未知省市区
- 06-构建模型中将数据组合成插入SQL语句的功能
1-9 订单详情数据处理
- 07-构建订单详情(带商品信息)的模型代码
- 08-编写主逻辑代码完成CSV备份文件的写出
- 09-今日的内容快速回顾
1-10 订单数据入库
- 01-对MySQLUtil进行改动让其支持更换数据库进行连接
- 02-将数据插入MySQL-1
- 03-将数据插入MySQL-2
- 04-将已经处理完成的数据记录到元数据库中
1-11 条形码数据采集
- 05-需求2采集MySQL数据-前期准备
- 06-需求2前期准备-判断数据源表和目的地表是否存在
- 07-需求2从数据源中查询出数据
1-12 条形码数据写出
- 08-需求2-构建barcode模型代码
- 09-需求2-将模型写出到MySQL和CSV
- 10-今日主业务代码回顾
- 11-[扩展]alt-shift快捷键演示
1-13 后台日志处理
- 01-昨日内容简单回顾
- 02-需求3的需求分析
- 03-需求3快速实现演示
1-14 项目回顾
- 04-上午内容需求3代码回顾
- 05-主业务逻辑代码的梳理回顾
1-15 FineBI数据报表
- 06-FineBI前期准备数据仪表板
- 07-FineBI-每日销售额走势图表构建
- 08-FineBI-热销商品词云图表构建
- 09-构建后台日志分析仪表板
阶段四 Hadoop技术栈
展开第一章 Linux
1-1 计算机操作系统
- 00_课程内容大纲和学习目标 免费试学
- 01--计算机原理与操作系统概述 免费试学
- 02--Linux操作系统的发展与概述 免费试学
1-2 Vmware虚拟机安装与使用
- 03--VMware虚拟机--虚拟设备与NAT网络模式 免费试学
- 扩展1--VMware软件安装 免费试学
- 04--VMware虚拟机--NAT模式安装Centos详解 免费试学
- 05--VMware虚拟机--SSH协议原理与CRT软件的使用 免费试学
- 06--VMware虚拟机--Linux上传下载文件--sftp、lrzsz 免费试学
1-3 Linux常用基础命令
- 07--Linux常用基础命令--文件系统概述、特殊符号
- 08--Linux常用基础命令--常用操作命令--上
- 09--Linux常用基础命令--常用操作命令--下
- 10--Linux常用基础命令--搜索操作、软链接
- 11--Linux常用基础命令--打包解包、压缩解压缩
1-4 文本编辑器使用
- 12--vim编辑器--概述与3种工作模式
- 13--vim编辑器--常用的命令使用
- 14--notepad++ FTP插件使用、finalshell（扩展）
1-5 用户与权限
- 00--课程内容回顾总结
- 01--今日课程内容大纲和学习目标
- 02--Linux用户与权限--用户与组概念、权限概念
- 03--Linux用户与权限--用户与组的管理
- 04--Linux用户与权限--su、sudo权限
- 05--Linux用户与权限--权限相关管理命令
- 06--Linux系统信息查看--时间、内存磁盘、进程
1-6 大数据集群环境搭建
- 07--大数据集群环境搭建--分布式与集群概念初识
- 08--大数据集群环境搭建--主从架构、主备架构概念
- 09--大数据集群环境搭建--虚拟机克隆、主机名和IP修改
- 10--大数据集群环境搭建--hosts映射修改
- 11--大数据集群环境搭建--防火墙关闭
- 12--大数据集群环境搭建--集群时间同步
- 13--大数据集群环境搭建--ssh免密登录
- 14--大数据集群环境搭建--scp远程拷贝
1-7 Linux软件安装
- 15--Linux软件安装--rpm包管理器与常用命令
- 16--Linux软件安装--MySQL的rpm安装详解
- 17--Linux软件安装--yum包管理器
- 18--Linux软件安装--JDK的安装、环境变量配置
1-8 shell脚本
- 19--了解shell编程--介绍、入门案例
- 20--了解shell编程--变量、字符串、反引号、动态传参
第二章 Hadoop
2-1 大数据导论
- 01--课程内容大纲和学习目标
- 02--大数据导论--数据、数据分析
- 03--大数据导论--数据分析的作用、方向
- 04--大数据导论--数据分析基本流程步骤（重要）
- 05--大数据导论--大数据时代（概念、5V特征）
- 06--大数据导论--大数据应用
- 07--大数据导论--分布式技术
- 就业基础知识学习
- 就业基础知识学习（应届生）
- 结构化表达-STAR法
2-2 Zookeeper
- 08--Apache zookeeper--概述、定位、功能
- 09--Apache zookeeper--全局数据一致性
- 10--Apache zookeeper--集群的架构与角色职责
- 11-Apache zookeeper--集群搭建--配置文件详解
- 12--Apache zookeeper--集群启停、进程查看、日志查看
- 13--Apache zookeeper--数据模型、znode类型（4种）
- 14--Apache zookeeper--shell命令行操作（CRUD）
- 15--Apache zookeeper--监听机制watch
- 16--Apache zookeeper--典型应用场景
2-3 课程阶段性回顾
- 课程内容回顾总结--上
- 课程内容回顾总结--下
- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
2-4 Hadoop入门
- 02--Apache Hadoop--概述与起源发展
- 03--Apache Hadoop--特性优点（分布式、通用、简单易用）
- 04--Apache Hadoop--发行版本与自身版本发展
- 05--Apache Hadoop--集群架构与集群角色介绍
2-5 Hadoop集群部署
- 06--Apache Hadoop--集群部署--Hadoop安装部署模式
- 07--Apache Hadoop--集群部署--了解源码编译
- 08--Apache Hadoop--集群部署--集群规划
- 09--Apache Hadoop--集群部署--服务器基础环境准备
- 10--Apache Hadoop--集群部署--配置文件详解
- 11--Apache Hadoop--集群部署--scp同步、环境变量配置
- 12--Apache Hadoop--集群部署--namenode format操作
- 13--Apache Hadoop--集群启停--命令与状态日志查看
2-6 Hadoop界面管理
- 14--Apache Hadoop--Web UI页面、初体验
- 15--Apache Hadoop--jobhistory服务配置与功能
- 16--Apache Hadoop--HDFS垃圾桶机制
2-7 Hadoop HDFS入门
- 课程内容大纲和学习目标
- 01--传统文件系统及其面临的挑战
- 02--分布式文件存储系统核心特性与作用
- 03--Hadoop HDFS--简介
- 04--Hadoop HDFS--起源发展和设计目标
- 05--Hadoop HDFS--核心重要特性解读
- 06--Hadoop HDFS--shell 操作--命令行功能及使用说明
- 07--Hadoop HDFS--shell 操作--常见命令操作
2-8 Hadoop HDFS工作机制
- 08--Hadoop HDFS--工作机制--角色与角色职责
- 09--Hadoop HDFS--工作机制--上传文件流程--pipeline、ack、3副本策略
- 10--Hadoop HDFS--工作机制--上传文件流程--梳理与总结
- 11--Hadoop HDFS--工作机制--下载文件流程（读文件流程）
- 12--Hadoop HDFS--工作机制--NN和DN之间的通信机制
2-9 Hadoop namenode管理
- 13--Hadoop HDFS--辅助工具（distcp、archive）
- 14--Hadoop HDFS--namenode 安全模式
- 15--Hadoop HDFS--namenode元数据管理机制--整体概述
- 16--Hadoop HDFS--namenode元数据相关目录文件
- 17--Hadoop HDFS--SNN概述和checkpoint
- 课程内容回顾总结
- 00-课程内容回顾总结
2-10 Hadoop MapReduce入门
- 01--HDFS读写流程复习总结
- 02--课程内容大纲和学习目标
- 03--Hadoop MapReduce--理解分而治之的思想
- 04--Hadoop MapReduce--官方团队设计构思
- 05--Hadoop MapReduce--介绍、规范
2-11 Hadoop MapReduce示例
- 06--Hadoop MapReduce官方示例--计算圆周率（如何提交mr到yarn）
- 07--Hadoop MapReduce官方示例--单词统计(WordCount)需求剖析
- 08--Hadoop MapReduce官方示例--Wordcount--程序提交、java代码梳理
- 09--Hadoop MapReduce--python接口接入
- 10--Hadoop MapReduce--Hadoop Streaing提交python脚本
- 11--Hadoop MapReduce--输入输出路径及注意事项
2-12 Hadoop MapReduce工作机制
- 12--Hadoop MapReduce--工作机制--map阶段执行流程
- 13--Hadoop MapReduce--工作机制--reduce阶段执行流程
- 14--Hadoop MapReduce--工作机制--shuffle机制
- 15--Hadoop MapReduce--工作机制--Partition分区问题
2-13 Hadoop YARN集群
- 16--Hadoop YARN--功能职责概述
- 17--Hadoop YARN--集群架构、yarn3大组件
- 18--Hadoop YARN--mr程序提交yarn流程
- 19--Hadoop YARN--scheduler调度策略
- 20--Hadoop HA集群--什么是高可用、实现高可用注意事项
- 21--Hadoop HA集群--HDFS HA--QJM实现原理、了解YARN HA
- 00--课程内容回顾总结--MapReduce回顾
- 01--课程内容回顾总结--YARN、HA
第三章 Hive
3-1 数据仓库
- 02--课程内容大纲和学习目标
- 03--数据仓库--概念定位、起源由来
- 04--数据仓库--四大核心特征
- 05--数据仓库--OLTP、OLAP区别
- 06--数据仓库--数仓分层架构（ODS、DW、DA）
- 07--数据仓库--案例：数仓建设实践
- 08--数据仓库--ETL、ELT区别
3-2 Apache Hive入门
- 09--Apache Hive--概述、功能、与Hadoop关系
- 10--Apache Hive--如何模拟实现Hive的实现
- 11--Apache Hive--架构、组件
- 12--Apache Hive--hive与MySQL的差异
3-3 Apache Hive部署
- 13--Apache Hive--metadata、metastore
- 14--Apache Hive--3种部署模式（推荐掌握远程模式）
- 15--Apache Hive--远程模式安装部署--基础环境、与Hadoop整合
- 16--Apache Hive--远程模式安装部署--配置文件与初始化
- 17--Apache Hive--metastore服务启动、第一代客户端
- 18--Apache Hive--HS2服务启动、beeline客户端使用
- 19--Apache Hive--初体验--把hive当成MySQL的体验--慢
- 20--Apache Hive--初体验--如何才能映射成功文件
- 00--课程内容回顾总结
3-4 Apache Hive建表预计
- 01--今日课程内容大纲和学习目标
- 02--Apache Hive--DDL--概念与语法树介绍
- 03--Apache Hive--DDL--建表语句--数据类型
- 04--Apache Hive--DDL--建表语句--表存在忽略异常
- 05--Apache Hive--DDL--建表语句--SerDe机制、分隔符指定语法
- 06--Apache Hive--DDL--建表语句--课堂练习--复杂类型分隔符指定
- 07--Apache Hive--DDL--建表语句--默认分隔符
- 08--Apache Hive--DDL--建表语句--location存储位置
- 09--Apache Hive--DDL--建表语句--内部表、外部表
3-5 Apache Hive分桶和分区
- 10--Apache Hive--DDL--建表语句--分区表产生背景、创建语法
- 11--Apache Hive--DDL--建表语句--分区表创建、静态数据加载、分区裁剪
- 12--Apache Hive--DDL--建表语句--动态分区插入数据
- 13--Apache Hive--DDL--建表语句--多重分区及分区表注意事项
- 14--Apache Hive--DDL--建表语句--动态分区严格模式、非严格模式含义
- 15--Apache Hive--DDL--建表语句--分桶表语法、创建、加载
- 16--Apache Hive--DDL--建表语句--分桶表的好处、注意事项
- 17--Apache Hive--DDL--库、表、分区其他操作--上
- 18--Apache Hive--DDL--库、表、分区其他操作--下
- 19--Apache Hive--常见的show语法
3-6 Apache Hive-DML
- 20--Apache Hive--DML--load加载数据（注意local含义）
- 21--Apache Hive--DML--insert插入语法
- 22--Apache Hive--DML--insert导出数据操作
- 00--课程内容回顾总结
3-7 Hive SQL DQL
- 01--课程内容大纲和学习目标
- 附1--DataGrip连接HS2服务
- 02--Hive SQL--DQL--测试环境准备、动态分区使用
- 03--Hive SQL--DQL--基础查询语句及其注意事项
- 04--Hive SQL--DQL--高阶查询--cluster、distribute、sort
- 05--Hive SQL--DQL--高阶查询--CTE表达式
- 06--Hive SQL--DQL--高阶查询--CTE表达式
- 07--Hive SQL--DQL--Join语法及其使用（侧重inner、left）
- 08--Hive SQL--DQL--Join语法注意事项
3-8 Hive SQL内置函数
- 09--Hive SQL--第一代客户端的功能
- 10--Hive SQL--参数配置方式与优先级范围
- 11--Hive SQL--内置常见运算符
- 12--Hive SQL--函数及分类标准（UDF、UDAF、UDTF）
- 13--Hive SQL--内置函数梳理--字符串函数
- 14--Hive SQL--内置函数梳理--时间日期、数值
- 15--Hive SQL--内置函数梳理--条件转换、集合、加密
3-9 行列转换
- 00--课程内容回顾总结
- 01--课程内容大纲和学习目标
- 02--Apache Hive--explode函数的使用与限制（UDTF表生成函数）
- 03--Apache Hive--lateral view侧视图的使用
- 04--Apache Hive--行列转换--多行转单列（collect_list、concat_ws）
- 05--Apache Hive--行列转换--单列转多行（explode、lateral view）
3-10 Hive窗口函数
- 06--Apache Hive--json格式数据处理
- 07--Apache Hive--窗口函数--快速理解与语法规则
- 08--Apache Hive--窗口函数--聚合函数
- 09--Apache Hive--窗口函数--window子句
- 10--Apache Hive--窗口函数--排序函数（row_number等）
- 11--Apache Hive--窗口函数--排序函数（ntile函数）
- 12--Apache Hive--窗口函数--lag、lead函数
3-11 Hive调优
- 13--Apache Hive--文件存储格式（text、ORC、parquet） 免费试学
- 14--Apache Hive--数据压缩和文件格式搭配（ORC+snappy） 免费试学
- 15--Apache Hive--通用调优--fetch抓取机制、MR本地模式 免费试学
- 16--Apache Hive--通用调优--join优化 免费试学
- 17--Apache Hive--通用调优--数据倾斜优化 免费试学
- 18--Apache Hive--通用调优--MR程序task个数调整 免费试学
- 19--Apache Hive--通用调优--执行计划 免费试学
- 20--Apache Hive--通用调优--并行机制、推测执行机制 免费试学
阶段五 千亿级离线数仓项目
展开第一章 新零售项目
1-1 新零售行业背景介绍
- 01-今日内容
- 02-新零售的行业背景介绍
- 企业常用面试方法
1-2 业务模块介绍
- 03-业务模块介绍(商品上架流程)
- 04-业务模块介绍(单店铺的订单流程)
- 05-业务模块介绍(购物车的流程)
- 06-业务模块介绍(配送流程)
- 07-业务模块介绍(退货流程)
1-3 项目架构介绍
- 08-项目研发阶段说明
- 09-项目的集群和数据的说明
- 10-项目的架构介绍
- 11-上午总结
- 12-项目的架构介绍
1-4 环境介绍及部署
- 13-cloudera manager的基本介绍
- 14-项目本地环境的部署操作
- 15-云环境的说明
1-5 维度分析介绍
- 16-数据仓库的基本概念
- 17-数据仓库_维度分析的基本概念(上)
- 18-数据仓库_维度分析的基本概念(下)
- 19-今日总结
1-6 数仓建模介绍
- 01-课前回顾和今日内容
- 02-数仓建模的二种建模方式介绍
- 03-维度建模_两种表介绍
- 04-维度建模_数仓发展三种模型(概念)
- 05-维度建模_数仓发展模型(图示)
- 06-维度建模_缓慢渐变维
1-7 数仓分层介绍
- 07-数仓的分层介绍
- 08-上午的总结
1-8 HUE的基本操作
- 09-HUE的基本介绍以及访问操作
- 10-HUE基本使用_操作HDFS
- 11-HUE基本使用_操作HIVE
1-9 oozie的基本操作
- 12-工作流的基本介绍
- 13-oozie的使用_配置工作流
- 14-oozie的使用_定时配置操作
- 15-oozie的使用_批处理说明(了解)
1-10 sqoop基本操作（上）
- 16-sqoop的基本介绍
- 17-sqoop的基本使用操作
- 18-sqoop的基本使用_全量导入HDFS操作
- 19-今日总结
1-11 sqoop基本操作（下）
- 01-课前回顾和今日内容
- 02-sqoop的基本使用操作_全量导入到HIVE
- 03-sqoop的基本使用操作_条件导入到HDFS和HIVE
- 04_sqoop的基本使用操作_全量导出
- 05-sqoop的基本使用操作_相关sqoop参数
1-12 dbeaver安装及数据导入
- 06-数据库连接工具_dbeaver的安装操作
- 07-数据库连接工具_dbeaver连接mysql操作
- 08-将业务数据导入到MySQL数据库中
1-13 数仓优化
- 09-基础优化_HDFS副本以及yarn和MR的资源配置
- 10-基于优化_hive基础配置以及压缩和执行引擎
- 11-HIVE中表存储格式选择方案
- 12-HIVE建表操作_数据存储格式和压缩方案选择
1-14 ODS层数据同步介绍
- 13-上午内容的总结
- 14-ODS层的数据同步的方式
- 15-HIVE的表说明信息乱码情况解决
1-15 ODS层建表操作
- 16-ODS层建表操作_各个表同步方式以及全量覆盖表建表操作
- 17-ODS层建表操作_仅新增同步和新增及更新同步建表操作
1-16 全量同步数据到ODS（上）
- 18-基于sqoop完成数据导入到ODS层_全量覆盖导入
- 19-基于sqoop完成数据导入到ODS层_仅新增同步导入操作
- 20-基于sqoop完成数据导入到ODS_新增及更新导入操作
- 21-今日总结
1-17 全量同步数据到ODS（下）
- 01-课前回顾和今日内容
- 02-在ODS层补充一张店铺表并导入数据
- 03-在ODS层为各不同的同步方式的表模拟一份增量数据
1-18 增量同步数据到ODS
- 04-ODS层增量处理操作_全量覆盖表的处理
- 05-ODS层增量处理操作_仅新增同步和增量集更新同步的方案
- 06-ODS层增量处理_shell相关知识补充操作
- 07-ODS层增量处理_shell脚本编写
- 08-ODS层增量处理_shell脚本测试和校验操作
- 09-ODS层增量处理_基于oozie定时调度
1-19 分桶表
- 10-上午内容的总结
- 11-分桶表的基本概念
- 12-分桶表的作用_如何提升Join效率
- 13-如何进行分桶采样的操作
- 14-如何使用执行计划, 以及执行计划的说明
- 15-演示_如何向桶表加载数据以及进行采样操作
1-20 DWD层介绍
- 16-DWD层相关作用说明以及构建DWD层库
- 17-DWD层建表操作实现
- 18-今日总结
1-21 DWD层数据导入
- 01-课前回顾和今日内容
- 02-DWD层数据导入操作_全量覆盖导入和仅新增同步导入
- 03-DWD层数据导入操作_新增及更新同步导入(转换处理)
- 04-DWD层数据导入操作_新增以及更新(全量导入)
1-22 DWD层拉链表
- 05-DWD层拉链表流程分析(上)_全量和增量过程
- 06-DWD层拉链表流程分析(中)_步骤一
- 07-DWD层拉链表流程分析(下)_步骤二
- 08-上午内容的总结
- 09-拉链表的整个实施过程
- 10-DWD其他的表处理方案
1-23 join优化
- 11-原生reduce端Join实现流程
- 12-join的优化_mapJoin整个过程
- 13-JOIN的优化_bucket map Join 说明
- 14-JOIN的优化_SMB join优化
- 15-今日总结
1-24 订单业务宽表处理（上）
- 01-课前回顾和今日内容
- 02-DWB层基本介绍和库创建操作
- 03-订单业务宽表_表和表关系说明
- 04-订单业务宽表_建表操作说明
1-25 订单业务宽表处理（下）
- 05-订单业务宽表_SQL实现操作(join过程)
- 06-订单业务宽表_SQL字段的实现操作
- 07-订单业务宽表_SQL优化说明以及执行操作
1-26 店铺明细宽表处理
- 08-上午内容的总结说明
- 09-店铺明细宽表_表和表关系说明
- 10-店铺明细宽表_建表操作
- 11-店铺明细宽表_SQL实现操作
- 12-商品明细宽表_表和表关系的说明
1-27 商品明细宽表处理（上）
- 13-商品明细宽表_建表操作
- 14-商品明细宽表_SQL实现操作(上)
1-28 商品明细宽表处理（下）
- 15_-商品分类的具体说明
- 16-商品明细宽表_SQL实现操作(下)
1-29 hive索引介绍
- 01-课前回顾和今日内容
- 02-索引的基本介绍
- 03-HIVE的原始索引的基本介绍
- 04-HIVE的行组索引的基本介绍
- 05-HIVE的布隆过滤索引的基本介绍
- 06-在实际使用中, 如何应用索引
1-30 join数据倾斜的处理
- 07-数据倾斜的介绍以及Join倾斜解决方案上
- 08-数据倾斜的解决_JOIN解决方案下
- 09-Join数据倾斜中union all优化措施
1-31 group_by数据倾斜的处理
- 10-数据倾斜的解决_group by 数据倾斜发生原因
- 11-数据倾斜的解决_group by解决方案(方案一)
- 12-上午内容的总结
- 13-数据倾斜的解决_group by 解决方案二
- 14-如何发现数据倾斜的方式
1-32 DWS层介绍
- 15-DWS层基本介绍
- 16-DWS层销售主题日统计宽表_需求分析和建表操作
- 17-DWS层销售主题日统计宽表_日期和城市流程分析
1-33 销售主题日统计宽表处理（上）
- 01-课前回顾和今日内容
- 02-如何使用dbeaver连接HIVE操作
- 03-销售主题日统计宽表_日期和城市维度
- 04-销售主题日统计宽表_日期和城市(指标统计)上
- 05-销售主题日统计宽表_日期和城市(指标统计)下
- 06-销售主题日统计宽表_日期和城市(写入目标表)
1-34 销售主题日统计宽表处理（下）
- 07-销售主题日统计宽表_日期,城市和商圈统计
- 08-数仓中订单明细宽表数据特点(存在重复)
- 09-上午内容的总结
- 10-销售主题日统计宽表_日期和品牌流程分析处理
- 11-销售主题日统计宽表_日期和品牌SQL实现
1-35 hive优化
- 12-HIVE的其他优化_关联优化器和并行执行
- 13-HIVE的其他优化_HIVE小文件合并操作
- 14-HIVE的其他优化_矢量化查询和读取零拷贝
1-36 presto基本介绍
- 15-presto的基本介绍
- 16-presto的安装操作
- 17-如何使用dbeaver连接presto
1-37 presto特点
- 01-课前回顾和今日内容
- 02-presto的架构介绍
- 03-presto的日期类型的转换操作和计算操作
- 04-Presto的内存的调整操作
- 05-Presto中SQL特殊优化说明
- 06-Presto其他的补充说明点
1-38 presto高级函数
- 07-Presto高级函数_grouping sets 使用
- 08-Presto高级函数_cube操作
- 09-presto高级函数_rollup说明
- 10-presto的高级函数_grouping操作
1-39 销售日统计宽表（上）
- 11-上午内容的总结
- 12-销售日统计宽表_SQL实现_去重处理
- 13-销售日统计宽表_分析为什么要做那么多的去重操作
- 14-销售日统计宽表_维度字段和group_type处理操作
1-40 销售日统计宽表（下）
- 15-销售日统计宽表_指标统计(销售收入)
- 16-销售日统计宽表_指标统计(销售额相关指标)
- 17-销售日统计宽表_指标统计(订单量相关统计)
- 18-销售主题日统计宽表_导入数据操作以及测试
1-41 商品主题日统计宽表处理（上）
- 01-课前回顾和今日内容
- 02-DWS层商品主题日统计宽表的建表操作
- 03-DWS层商品主题日统计宽表_需求分析
- 04-DWS层商品主题日统计宽表_指标实现(前二类)
- 05-DWS层商品主题日统计宽表_后续的指标统计
1-42 商品主题日统计宽表处理（下）
- 06-二个表全外关联实现流程分析以及三个表引入
- 07-上午内容的总结说明
- 08-三个表进行全外关联的流程分析
- 09-DWS层商品主题日统计宽表_整体合并实现
1-43 销售主题宽表实现（上）
- 10-DM层介绍以及建库和建表操作
- 11-DM层销售主题宽表实现_按日统计
1-44 销售主题宽表实现（下）
- 12-DM层销售主题宽表实现_上卷统计的分析说明(上)
- 13-DM层销售主题宽表实现_上卷统计分析(中)
- 14-DM层销售主题宽表实现_上卷统计分析流程(下)
1-45 销售主题的统计宽表处理（上）
- 01-课前回顾和今日内容
- 02-DM层销售主题的统计宽表_按周统计(指标)
- 03_DM层销售主题的统计宽表_按周统计(指标处理)
- 04-DM层销售主题统计宽表_按月和年进行统计
1-46 销售主题的统计宽表处理（中）
- 05-DM层销售主题的统计宽表的增量处理思路
- 06-DM层商品主题的统计宽表_建表操作
- 07-DM层商品主题的统计宽表_统计总累计值和最近30天
- 08-DM层商品主题的统计宽表_合并结果
1-47 销售主题的统计宽表处理（下）
- 09-上午内容的总结
- 10-DM层商品主题的统计宽表_增量的实现操作
1-48 RPT层实现
- 11-RPT层相关内容_需求一
- 12-RPT层相关内容_需求二
1-49 报表展示
- 13-基于presto进行数据导出操作
- 14-图表展示工作
1-50 项目总结
- 15-项目的总结说明
- 16-相关的面试题说明
阶段六 Spark技术栈
展开第一章 PySpark
1-1 Spark介绍
- 01-今日内容说明 免费试学
- 02-Spark的基本介绍 免费试学
- 03-Spark为什么执行效率比较高 免费试学
- 04-Spark发展史 免费试学
1-2 Spark特点
- 05-Spark的特点(前二个)
- 06-Spark的特点(后二个)
1-3 Spark local模式
- 07-local模式的基本介绍
- 08-如何更改网络适配器方案
- 09-如何安装local模式
- 10-上午内容的总结
1-4 Pysaprk环境安装
- 11-如何安装anaconda
- 12-安装好python环境后直接使用pyspark命令
- 13-安装pyspark库
1-5 集群介绍及Pycharm环境
- 14-Spark集群模式的架构介绍
- 15-pycharm如何连接远程环境
- 16-pycharm的一些高级功能
1-6 WordCount案例 方式一
- 17-WordCount的流程分析
- 18-WordCount代码实现(上)
- 19-WordCount代码实现(下)
- 20-今日总结
1-7 PySpark 入门示例
- 01-课前回顾和今日内容
- 02-pySpark的入门案例_从HDFS读取数据写入到HDFS
- 03-pySpark的入门案例_排序操作
- 04-如何将spark程序提交到平台运行(初体验Local)
1-8 Spark On Yarn
- 05-spark on yarn集成操作
- 06-Spark On Yarn测试操作
- 07-Spark On Yarn提交测试以及Spark程序组成部分
1-9 Spark提交运行
- 08-Spark提交运行的两种部署方式
- 09-Spark的提交运行的两种方式_如何查看日志
- 10-Spark和PySpark的交互流程图(上)
- 11-上午内容的总结
1-10 Spark与PySpark交互
- 12-Spark和PySpark的交互流程(下)
- 13-Spark和PySpark的交互流程(集群模式)
- 14-Spark和PySpark交互流程(YARN)
- 15-Spark-submit的相关参数说明
1-11 RDD介绍与特点
- 16-RDD的基本介绍
- 17-RDD的五大特性
- 18-RDD的五大特点
1-12 RDD构建
- 19-如何构建RDD_方式一
- 20-今日总结
1-13 PySpark DateSource
- 01-课前回顾和今日内容
- 02-通过读取外部文件的方式以及小文件合并
- 03-读取外部文件的分区数量的确定
1-14 RDD Transformations 算子及action算子
- 04-RDD算子的分类介绍
- 05-RDD算子_转换算子(单值类型)
- 06-RDD算子_转换算子(双值类型)
- 07-RDD算子_转换算子(kv类型)
- 08-上午内容的总结
- 09-RDD相关算子_action算子
1-15 RDD 分区
- 10-RDD重要函数_分区函数
- 11-RDD的重分区的函数(上)
- 12-RDD的重分区的函数(下)
1-16 RDD 聚合
- 13-RDD的重要函数_聚合函数(单值)
- 14-RDD的重要算子_聚合函数(kv类型)
- 15-RDD的重要算子_关联函数
- 16-今日总结
1-17 PySpark 搜索案例
- 01-课前回顾和今日内容
- 02-搜狗案例的数据集说明
- 03-如何在pycharm设置模板
- 04-搜索案例实现_数据封装操作
- 05-搜索案例实现_需求一实现
- 06-搜索案例实现_需求二实现
- 07-点击流分析案例_需求1和需求2
1-18 RDD 缓存
- 08-今日内容的说明
- 09-缓存的基本介绍(理解)
- 10-缓存的基本使用操作
1-19 RDD 检查点
- 11-检查点的基本介绍
- 12-检查点的基本使用
- 13-缓存和检查点的区别
- 14-缓存和检查点共用操作
1-20 RDD共享变量
- 15-RDD共享变量的引入操作
- 16-RDD的共享变量_广播变量
- 17-RDD的共享变量_累加器的使用操作
1-21 RDD累加器
- 18-RDD的累加器的小问题说明(重复累加)
- 19-上午内容的总结
1-22 DAG流程图
- 20-RDD内核调度_RDD的依赖关系
- 21-DAG以及DAG流程图形成说明
- 22-DAG的阶段划分以及线程的划分操作
- 23-DAG和stage的划分操作(细化操作)
1-23 RDD内核调度
- 24-RDD内核调度_RDD的shuffle
- 25-RDD的内核调度_JOB的调度流程
- 26-RDD的内核调度_Spark的并行度
- 27-了解combinerByKey
- 28-今日总结
1-24 SparkSQL介绍
- 01-课前回顾和今日内容
- 02-SparkSQL的基本概念
- 03-Spark SQL的发展历程
- 04-Spark SQL 和 HIVE SQL异同点
1-25 SparkSQL入门示例
- 05-Spark SQL中数据结构
- 06-Spark SQL入门代码_如何构建SparkSession对象
- 07-Spark SQL入门案例代码
1-26 PySpark DateFrame
- 08-Spark SQL的dataFrame介绍
- 09-如何构建dataFrame对象_RDD转换DF
- 10-如何构建dataFrame对象_pandas的DF转换为Spark的DF
- 11-如何构建dataFrame对象_读取外部的方式
- 12-上午内容的总结
- 13-如何构建dataFrame_json以及总结说明
- 14-dataFrame的相关的API_DSL
- 15-dataFrame的相关的API_SQL方案
- 16-dataFrame的相关API_代码演示
1-27 WordCount案例 方式二
- 17-综合案例_WordCount案例(RDD转DF方案)
- 18-综合案例_WordCount案例的方式二
1-28 电影分析案例
- 19-综合案例_电影分析案例需求一
- 20-综合案例_电影分析案例需求四_SQL实现
- 21-综合案例_电影分析案例_需求四
- 22-今日总结
1-29 Spark SQL
- 01-课前回顾和今日内容
- 02-Spark SQL的shuffle分区数量设置
- 03-Spark SQL的清洗相关的API演示
- 04-Spark SQL的输出操作_输出普通文件
- 05-Spark SQL的输出操作_输出到Mysql
1-30 pandas介绍
- 06-pandas的基本介绍及其入门案例
- 07-pandas的两个重要数据类型_series
- 08-pandas的两个重要的数据类型_dataFrame
- 09-pandas的数据的读写文件操作
- 10-上午内容的总结
- 11-pandas的读写数据库的操作
1-31 窗口函数
- 12-pyspark SQL中函数_如何使用窗口函数_SQL
- 13-spark sql中函数_如何使用窗口函数_DSL
1-32 自定义UDF函数
- 14-spark SQL的自定义UDF函数_使用步骤
- 15-spark SQL的自定义UDF函数_返回基本数据类型
- 16-spark SQL的自定义UDF函数_返回列表或者字典
1-33 pandas UDF
- 17-Spark SQL的pandas的UDF_如何互转DF操作
- 18-spark SQL的pandas的UDF使用操作
- 19-spark SQL的pandas的UDAF函数使用以及作业说明
- 20-今日总结
1-34 Spark On Hive
- 01-课前回顾和今日内容
- 02-Spark ON hive的基础原理说明
- 03-测试HIVE是否可以正常的启动
- 04-spark on hive的集成配置操作
- 05-Spark On HIVE 的集成_如何通过代码连接
- 06-Spark ON HIVE_分布式引擎(模拟hive server2)
- 07_spark on hive的分布式引擎_通过datagrip连接
1-35 Spark SQL运行机制
- 08-spark SQL的运行机制_回顾Driver执行流程
- 09-Spark SQL的运行机制详解
- 10-如何查看SQL的物理执行计划
1-36 新零售案例
- 11-上午内容的总结
- 12-综合案例_新零售案例需求说明
- 13-综合案例_新零售案例实现_清洗操作
- 14-综合案例_新零售案例实现_需求一实现
- 15-综合案例_新零售案例_需求3和需求5
- 16-综合案例_新零售案例_需求9
- 17-综合案例_教育项目案例需求实现
1-37 Spark总结
- 18-spark阶段大总结(上)
- 19-spark阶段大总结(下)
阶段七 PB级内存计算项目实战
展开第一章 富华保险
1-1 保险业务说明
- 01-今日内容说明 免费试学
- 02-行业背景介绍 免费试学
- 03-保险的分类和精算的介绍 免费试学
- 04-保险行业相关的专业术语 免费试学
- 05-保险行业的相关特点 免费试学
- 06-用户投保流程 免费试学
- 07-再保险部门的基本介绍 免费试学
- 08-保险的分类(风险转移和理财型) 免费试学
- 09-保险数据的业务数据来源地说明 免费试学
- 10-项目背景说明 免费试学
1-2 项目业务需求与架构介绍
- 11-上午内容的总结
- 12-项目的需求描述
- 13-项目架构的描述以及技术选型
- 14-项目的基本情况的说明
1-3 项目虚拟机说明
- 15-项目的统一环境的虚拟机说明
- 16-项目成果演示工作
1-4 大数据计算演示
- 17-大数据计算流程的演示
- 18-今日总结
1-5 数仓建模
- 01-课前回顾和今日内容
- 02-数仓的基本介绍
- 03-维度分析的基本内容
- 04-数仓建模的两套理论基本介绍
- 05-维度建模中事实表和维度表的基本介绍
- 06-维度建模中三种模型的整体说明
- 07-缓慢渐变维说明
1-6 数仓分层
- 08-上午内容的总结
- 09-数据仓库的分层的基本描述
- 10-数仓架构技术选型说明
1-7 项目环境搭建
- 11-如何清理远端环境
- 12-如何构建远端环境以及构建基础项目目录
- 13-基于pycharm连接远端服务器(替换CRT)
- 14-基于pycharm连接MySQL和spark
- 15-清洗昨日相关的数据集
- 16-将基础数据导入到Mysql中
- 17-今日总结
1-8 hive数仓建库建表
- 01-课前回顾和今日内容
- 02-hive中建表的思考点
- 03-启动项目的整体环境
- 04-在hive中构建ODS层库和表
1-9 基于sqoop完成数据采集
- 05-sqoop的基本介绍
- 06-sqoop的安装操作
- 07-sqoop的基本使用操作
- 08-sqoop的数据采集操作实施
- 09-上午内容总结
- 10-完成后续的采集的脚本
1-10 DolphinScheduler的使用
- 11-DS的基本介绍
- 12-DS的安装配置操作
- 13-DS的安装与启动操作
- 14-DS的架构的说明
- 15-DS的基本使用操作
- 16-DS的工作流的配置和测试操作
- 17-使用DS完整ODS层数据采集操作
- 18-今日总结
1-11 寿险定价规则
- 01-课前回顾和今日内容
- 02-寿险的定价的循环流程
- 03-寿险的定价原则
- 04-寿险定价假设
- 05-寿险传统定价方法说明
1-12 窗口函数回顾
- 06-如何生成多行序列操作
- 07-如何快速生成一张表数据
- 08-回顾窗口函数_row_number以及兄弟们
- 09-回顾窗口函数_与聚合函数结合使用
- 10-回顾窗口函数与lead和lag以及其他计算函数操作
1-13 迭代计算
- 11-上午内容的总结
- 12-如何进行横向迭代计算操作
- 13-如何进行纵向迭代计算操作(方式一)
- 14=如何进行纵向迭代计算操作(方式二)
- 15-UDAF函数结合窗口函数执行的流程说明
1-14 保费参数因子需求解析
- 16-计算保费参数因子_需求说明(上)
- 17-计算保费参数因子_需求说明(下)
- 18-在DW层构建表以及字段信息说明
- 19-在DW层实现保费参数因子表的维度表生成
- 20-今日总结
1-15 保费参数因子表计算_上
- 01-课前回顾和今日内容
- 02-保费参数因子表计算_步骤一
- 03-保费参数因子表计算_步骤二
- 04-保费参数因子表计算_步骤三
- 05-使用spark程序读取SQL脚本执行
- 06-保费参数因子表计算_步骤四(上)
- 07-保费参数因子表计算_步骤四(下)
- 08-保费参数因子表计算_步骤四的计算流程讲解
- 09-保费参数因子表计算_步骤五
1-16 保费参数因子表计算_下
- 10-上午内容的总结说明
- 11-保费参数因子表计算操作_步骤五的函数流程说明
- 12-保费参数因子表计算操作_步骤六
- 13-保费参数因子表计算操作_步骤七
- 14-保费参数因子表计算操作_步骤八
- 15-保费参数因子表计算操作_步骤九
- 16-保费参数因子表计算操作_步骤10
- 17-保费参数因子表计算_保存至目标表
1-17 计算保费
- 18-保费计算操作_结果表创建操作
- 19-保费计算操作_中间结果的计算实现_步骤11
- 20-保费计算流程_步骤12
- 21-保费计算流程_保存到目标表
1-18 现金价值计算_上
- 01-课前回顾和今日内容
- 02-现金价值和保险准备金基本介绍
- 03-现金价值的需求说明
- 04-现金价值计算_建表操作
- 05-现金价值表计算_步骤13
- 06-现金价值表计算_步骤14~16计算操作
- 07-现金价值表计算_步骤17~18
1-19 现金价值计算_下
- 08_现金价值计算_将毛保费结果保存到目标表
- 09-现金价值计算_步骤19
- 10-上午内容的总结
- 11-现金价值计算_步骤20~21
- 12-现金价值计算_步骤22~23
- 13-现金价值计算_导入到目标表
1-20 保险准备金计算
- 01-保险准备金的需求分析以及建表操作
- 02-保险准备金计算_步骤24
- 03-保险准备金计算_步骤25
- 04-保险准备金计算_步骤26
- 05-保险准备金计算_步骤27
- 06-保险准备金计算_步骤28
- 07-保险准备金计算_步骤29~33
- 08-保险准备金计算_基于窗口函数实现聚合操作
1-21 APP层计算操作
- 09-APP层计算操作_保险精算结果表构建
- 10-app层计算操作_保险精算结果表导入操作
- 11-将数据导出到MySQL中
- 01-课前回顾和今日内容
1-22 用户投保详情计算
- 02-用户投保详情表计算操作(上)
- 03-用户投保详情表计算操作(下)
1-23 计算保费收入增长率、首年保费与保费收入比
- 04-计算保费收入增长率
- 05-计算首年保费与保费收入比(上)
- 06-计算首年保费与保费收入比(下)
1-24 件均保费及死亡发生率和残疾发生率计算
- 07-计算件均保费
- 08-死亡发生率和残疾发生率
- 09-上午内容的总结
1-25 新业务价值率，高净值客户比例，各地区汇总保费计算
- 10-新业务价值率的计算操作
- 11-高净值客户比例计算
- 12-各地区的汇总保费
1-26 上线yarn平台
- 13-app指标说明
- 14-基于Yarn完成项目上线操作
1-27 项目总结
- 15-项目总结(上)
- 16-项目总结(中)
- 17-项目总结(下)
- 18-面试总结
1-28 就业能力-试用期&工作常识科普
- 01-应聘渠道使用技巧
- 02-面试篇1
- 03-面试篇2
- 04-试用期篇1
- 05-试用期篇2