课程试听
正在播放

阶段一 Python编程

展开
第一章 Python基础编程
1-1 学习软件使用
  • 01-(了解)Winrar压缩软件介绍与使用 免费试学
  • 02-(重点)Typora笔记软件 免费试学
  • 03-(重点)Snipaste截图软件使用 免费试学
  • 04-(重点)Xmind思维导图软件 免费试学
  • 05-(可选)金山打字通 免费试学
  • 06-(可选)Everything搜索软件 免费试学
1-2 Python概述
  • 07-(了解)学习目标 免费试学
  • 08-(了解)为什么要学习Python 免费试学
  • 09-(了解)Python语言概述 免费试学
  • 10-(重点)Python解析器安装与配置 免费试学
1-3 PyCharm使用入门
  • 11-(重点)PyCharm软件安装项目创建以及代码编写
  • 12-(回顾)上午知识点小结
  • 13-(重点)PyCharm开发工具配置
  • 14-(重点)PyCharm项目管理
  • 15-(重点)Python中的注释
  • 16-(重点)PyCharm中注释快捷键
1-4 Python变量与注释
  • 17-(重点)变量的定义与访问
  • 18-(重点)变量的命名规则
  • 19-(建议)推荐的命名规则
  • 20-(答疑)变量与字符串区别
  • 21-(重点)Python中变量的数据类型
1-5 Pycharm中Debug使用
  • 22-(重点)Python中的Bug解决
  • 23-(重点)Debug调试工具使用
  • 24-交作业流程
1-6 Python格式化输出
  • 01-(回顾)昨日回顾
  • 02-(重点)百分号形式的格式化输出
  • 03-(重点)百分号形式格式化输出时在输出一个百分号
  • 04-(重点)format()方法实现格式化输出
  • 05-(重点)f简写形式的格式化输出
  • 06-(重点)print()中的换行符号
  • 07-(重点)input()输入方法详解
1-7 Python运算符
  • 08-(了解)学习目标
  • 09-(案例)两个变量值的交换
  • 10-(引入)为什么需要类型转换
  • 11-(回顾)上午知识点小结
  • 12-(重点)4种数据类型转换方法
  • 13-(重点)算数运算符
  • 14-(案例)求梯形的面积
  • 15-(重点)赋值运算符
  • 16-(重点)复合赋值运算符
  • 17-(重点)比较运算符
  • 18-(重点)逻辑与或非
  • 19-(扩展)短路运算
  • 20-(理解)运算符的优先级
1-8 Python分支语句
  • 21-(重点)if中的选择结构
  • 22-(重点)if条件判断与input()输入语句相结合
  • 23-(重点)if...else结构
  • 24-(作业)今日作业
  • 01-(回顾)昨日回顾
  • 02-(扩展)Visio绘制流程图
  • 03-(扩展)if...else结构流程图
  • 04-(重点)if...elif...else多分支结构
  • 05-(难点)if嵌套结构
  • 06-(小结)if分支结构
1-9 Python分支语句综合案例
  • 07-(重点)猜拳游戏开发(上)
  • 08-(重点)随机模块与随机数概念
  • 09-(重点)三目运算符
1-10 while循环
  • 10-(重点)while循环作用与while循环三步走
  • 11-(回顾)上午知识点小结
  • 12-(理解)while循环执行流程
  • 13-(案例)求1-100的累加和
  • 14-(案例)求1-100之间所有偶数的和
  • 15-(答疑)while循环中常见问题
  • 16-(重点)循环中的break与continue
  • 17-(理解)死循环结构
1-11 while循环案例
  • 18-(案例)猜数字
  • 19-(案例)猜数字升级版
1-12 for循环
  • 20-(了解)for循环学习目标
  • 21-(重点)for循环基本语法与应用场景
  • 22-(重点)range()函数
  • 23-(重点)使用for循环求1-100的和
  • 24-(重点)使用for循环求1-100之间所有偶数的和
  • 01-(回顾)昨日回顾
  • 02-(重点)for循环中的break与continue关键字
1-13 for循环案例
  • 03-(重点)使用for循环实现用户名与密码登录认证
  • 04-(重点)使用for循环实现用户名密码认证案例
  • 05-(重点)for循环中的else语句
  • 06-(案例)报数字游戏开发
1-14 字符串定义及切片
  • 07-(了解)数据容器学习目标
  • 08-(回顾)字符串的定义与访问
  • 09-(重点)索引下标与字符串遍历
  • 10-(回顾)上午知识点小结
  • 11-(重点中重点)字符串切片
  • 12-(补充)步长为某个数值的情况
1-15 字符串查找、替换、合并
  • 13-(重点)find()搜索方法
  • 14-(案例)文件截取
  • 15-(重点)字符串修改方法
  • 16-(重点)字符串判断方法
  • 17-(小结)字符串常见操作方法
1-16 列表定义及使用
  • 18-(重点)列表的定义与访问
  • 19-(重点)列表的查询操作
  • 20-(重点)列表的增加方法
  • 21-(重点)列表的删除方法
  • 22-(重点)列表的修改方法
  • 23-(重点)列表的翻转与排序
  • 24-(了解)列表嵌套
  • 01-(回顾)昨日回顾
1-17 元祖定义及使用
  • 02-(重点)元组的定义与访问
  • 03-(重点)元组特性与相关查询方法
1-18 字典定义及使用
  • 04-(了解)数据容器学习目标
  • 05-(重点)字典的定义与访问过程
  • 06-(重点)字典的新增与修改操作
  • 07-(重点)字典的删除操作
  • 08-(重点)字典中的查询方法
  • 09-(扩展)学生管理系统的添加与删除功能
  • 10-(回顾)上午知识点小结
1-19 集合定义及使用
  • 11-(重点)集合的定义与访问
  • 12-(重点)集合中的相关方法
1-20 公共方法与列表推导式
  • 13-(重点)数据容器的公共方法(上)
  • 14-(重点)数据容器的公共方法(下)
  • 15-(重点)数据容器的相互转换
  • 16-(扩展)列表推导式
1-21 函数基本使用
  • 17-(了解)Python中函数的学习目标
  • 18-(重点)函数的定义与调用
  • 19-(重点)函数的return返回值
  • 01-(回顾)昨日回顾
  • 02-(重点)Python中函数的由来
  • 03-(重点)聊聊return返回值
  • 04-(重点)函数说明文档
1-22 函数嵌套
  • 05-(理解)函数嵌套语法与执行流程
  • 06-(流程)一个案例深入理解函数嵌套执行流程
1-23 函数案例
  • 07-(案例)封装一个函数求三个数的平均值
  • 08-(案例)封装一个函数实现字符串翻转与替换
  • 09-(案例)生成4位长度的随机验证码(上)
  • 10-(回顾)上午知识点小结
  • 11-(案例)生成4位长度的随机验证码(下)
  • 12-(扩展)生成指定长度的验证码
1-24 变量作用域
  • 13-(重点)全局变量与全局变量的访问范围
  • 14-(重点)局部变量与局部变量的访问范围
  • 15-(重点)global关键字
1-25 函数传参
  • 16-(理解)实参与形参概念
  • 17-(重点)位置传参与关键词传参
  • 18-(重点)函数定义时的缺省参数
  • 19-(重点中重点)不定长参数
  • 20-(重点中重点)不定长参数应用场景
  • 21-(特殊)参数混用的情况
1-26 可变类型和不可变类型
  • 22-(理解)理解哪些数据类型属于不可变类型
  • 01-(回顾)昨日回顾
  • 02-(重点理解)不可变数据类型
  • 03-(重点)可变数据类型
  • 04-(案例)可变与不可变对函数传参的影响
  • 05-(重点)元组拆包
1-27 文件基本操作
  • 06-(了解)文件操作学习目标
  • 07-(重点)文件基本概念
  • 08-(重点)文件操作三步走
  • 09-(重点)解决中文乱码问题
  • 10-(重点)文件读取的三个方法
  • 11-(回顾)昨日回顾
  • 12-(案例)文件备份案例(上)
  • 13-(案例)文件备份案例(下)
1-28 文件操作案例
  • 14-(重点)os重命名与删除文件
  • 15-(重点)os模块中与文件夹相关方法
  • 16-(理解)普及路径概念
  • 17-(扩展)删除非空目录
1-29 异常处理
  • 18-(重点)异常与异常捕获
  • 19-(重点)捕获异常并获取异常信息
  • 20-(重点)try...except...else结构
  • 21-(重点)try...except...else...finally语句
1-30 模块与包
  • 22-(重点)模块的两种导入方式
  • 23-(重点)求一个程序的执行时间
  • 01-(回顾)昨日回顾
  • 02-(扩展)创建自定义模块并导入系统
  • 03-(理解)自定义模块测试方法
  • 04-(理解)探讨一下__name__到底返回结果是什么?
1-31 学生管理系统
  • 05-(重点)理解学生管理系统需求
  • 06-(案例)实现系统功能菜单
  • 07-(案例)根据用户编号执行对应的功能
  • 08-(案例)添加功能实现
  • 09-(案例)删除功能实现
  • 10-(小结)上午知识点小结
  • 11-(案例)修改功能实现
  • 12-(案例)查询功能实现
  • 13-(案例)遍历查询操作
  • 14-(案例)保存数据到文件
  • 15-(案例)加载文件中数据到系统
1-32 总结回顾
  • 16-(复习)注释变量与数据类型
  • 17-(复习)类型转换运算符以及if分支结构
  • 18-(复习)Python中的循环结构
  • 19-(复习)Python函数
第二章 Python面向对象
2-1 类定义
  • 01-(了解)学习目标
  • 02-(理解)面向过程与面向对象设计思想
  • 03-(重点)面向对象编程思想
  • 04-(重点)类的定义(新式类)
  • 05-(重点)类的实例化(产生对象)
  • 06-(重点)self到底指向谁
2-2 类属性
  • 07-(重点)在类的外部添加与获取对象属性
  • 08-(重点)在类的内部获取类外部定义的属性
  • 09-(回顾)上午知识点小结
2-3 魔法方法
  • 10-(问题)为什么需要魔术方法?
  • 11-(重点)__init__()魔术方法的使用
  • 12-(重点)为对象赋予公共属性
  • 13-(重点)__str__()魔术方法
  • 14-(重点)__del__()魔术方法
  • 15-(小结)魔术方法小结
  • 16-(理解)面向对象程序执行流程
2-4 面向对象案例
  • 17-(案例)学生成绩打印
  • 18-(案例)小明爱跑步
  • 19-(重点)属性的封装(私有属性)
  • 20-(重点)如何获取课程资料与提交作业
  • 01-(回顾)昨日回顾
2-5 面向对象课堂作业
  • 02-(作业)高级题目4答案
  • 03-(答疑)删除对象时顺序问题
  • 04-(作业)搬家具案例(上)
  • 04-(作业)搬家具案例(中)
  • 05-(作业)搬家具案例(下)
2-6 封装与继承
  • 06-(重点)封装性之私有属性的概念
  • 07-(重点)封装性之私有方法
  • 08-(回顾)上午知识点小结
  • 09-(重点)Python中继承基本语法
  • 10-(重点)单继承
  • 11-(重点)单继承传递性(多层继承)
  • 12-(理解)多继承概念
  • 13-(重点)使用mro了解类与类的继承关系
  • 14-(重点)子类扩展之重写操作
  • 15-(重点)super()方法强制调用父类中属性或方法
2-7 多态
  • 16-(了解)Python中的多态性
  • 17-(了解)Python中多态案例
2-8 类属性方法
  • 18-(重点)类属性概念
  • 19-(重点)类方法概念
  • 20-(重点)静态方法
  • 21-(作业)今日作业安排
  • 01-(回顾)昨日回顾
2-9 面向对象版-学生管理系统
  • 02-(案例)学生类开发流程
  • 03-(案例)入口文件实现
  • 04-(案例)功能菜单之静态方法实现
  • 05-(案例)学员添加功能实现
  • 06-(案例)遍历所有学员功能实现
  • 07-(案例)移除同学信息实现
  • 08-(案例)修改学员信息实现
  • 09-(案例)查找学员功能实现
  • 10-(回顾)上午知识点小结
  • 11-(案例)保存数据到文件(遗留了问题)
  • 12-(案例)数据保存到文件完整版
  • 13-(补充)数据保存补充
  • 14-(案例)加载文件中的数据到系统
第三章 Python进阶编程
3-1 闭包
  • 15-(了解)学习目标
  • 16-(回顾)全局变量与局部变量概念
  • 17-(理解)局部变量与局部变量访问范围
  • 18-(理解)闭包三步走
  • 19-(答疑)闭包执行原理
  • 20-(重点)global关键字与nonlocal关键字
  • 21-(案例)闭包案例
3-2 装饰器
  • 22-(重点)装饰器三步走
  • 23-(案例)使用装饰器求程序执行时间
  • 01-(回顾)昨日回顾
  • 02-(重点)装饰器的基本语法
  • 03-(理解)装饰器的执行原理
  • 04-(理解)装饰器的雏形(底层原理)
  • 05-(案例)求执行时间装饰器
  • 06-(重点)使用装饰器装饰带有参数的函数
  • 07-(重点)使用装饰器装饰带有不定长参数的函数
  • 08-(重点)使用装饰器装饰带有返回值的函数
  • 09-(重点)通用装饰器的编写
  • 10-(扩展)带有参数的装饰器
  • 11-(了解)类装饰器
3-3 前端环境安装
  • 12-(回顾)上午知识点小结
  • 13-(了解)HTML与CSS学习目标
  • 14-(了解)HTML概念与作用
  • 15-(重点)VS Code软件安装与配置
  • 16-(重点)VS Code编辑器配置
3-4 HTML基础
  • 17-(重点)标题段落与div结构标签(双标签)
  • 18-(重点)有序列表与无序列表
  • 19-(重点)换行水平线以及图片标签(单标签)
  • 20-(理解)绝对路径与相对路径
  • 21-(重点)表格标签(适合做数据展示)
  • 22-(重点)表单标签
  • 23-(重点)表单提交
3-5 CSS基础
  • 24-(重点)CSS概述与三种引入方式
  • 01-(回顾)昨日回顾
  • 02-(重点)常用三种选择器(标签ID以及类选择器)
  • 03-(重点)层级选择器
  • 04-(重点)组选择器
  • 05-(重点)伪类选择器
  • 06-(小结)6种选择器总结
  • 07-(重点)布局属性
  • 08-(重点)文本属性
3-6 Socket网络编程
  • 09-(了解)学习目标
  • 10-(理解)IP地址概念
  • 11-(理解)端口与端口号概念
  • 12-(回顾)上午知识点小结
  • 13-(理解)端口号作用与分类
  • 14-(理解)TCP传输控制协议
  • 15-(理解)socket套接字工具
3-7 TCP服务器开发流程
  • 16-(重点)TCP客户端开发五步走与服务器开发七步走
  • 17-(重点)TCP客户端开发五步走代码实践
  • 18-(难点)TCP服务器端开发七步走之前四步
  • 19-(答疑)常见问题汇总
  • 20-(重点)TCP服务器端开发七步走
  • 21-(重点)TCP服务器端面向对象版本封装
3-8 TCP服务器细节处理
  • 22-(答疑)常见问题回复
  • 01-(回顾)昨日回顾
  • 02-(重点)程序入口与端口复用
  • 03-(理解)TCP网络应用程序开发注意事项
  • 04-(扩展)Python代码如何操作飞Q软件
3-9 进程
  • 05-(了解)进程学习目标
  • 06-(理解)多任务的概念
  • 07-(理解)进程概念
  • 08-(重点)使用多进程完成多任务
  • 09-(小结)小结与答疑
  • 10-(重点)使用多进程实现带有参数的多任务
  • 11-(重点)获取主进程编号与子进程编号
  • 12-(回顾)上午知识点小结
  • 13-(重点)使用os.kill()方法杀掉进程
  • 14-(注意点)多进程之间无法共享全局变量
  • 15-(注意点)主进程与子进程结束顺序问题
  • 16-(小结)注意点小结
3-10 线程
  • 17-(了解)线程学习目标
  • 18-(理解)线程与进程区别和线程概念
  • 19-(重点)使用多线程实现多任务(并发)
  • 20-(重点)使用args与kwargs进行参数传递
  • 21-(注意点)多线程之间共享全局变量
  • 22-(注意点)主线程默认会等待子线程结束而结束
  • 23-(注意点)线程之间的执行是无序的
  • 24-(对比)进程与线程区别
  • 25-(案例)多任务版本的TCP服务器端
  • 01-(回顾)昨日回顾
3-11 HTTP协议
  • 02-(了解)学习目标
  • 03-(理解)HTTP协议概念
  • 04-(理解)URL及URL组成
  • 05-(重点)开发者工具使用
  • 06-(重点理解)GET请求报文三部分
  • 07-(重点)HTTP请求报文
  • 08-(重点)HTTP响应报文
3-12 静态Web服务器
  • 09-(重点)使用Python搭建简单Web服务器
  • 10-(重点)静态Web服务器开发
  • 11-(回顾)上午知识点小结
  • 12-(答疑)常见错误汇总
  • 13-(重点)静态Web服务器开发之返回指定页面(上)
  • 14-(重点)静态Web服务器开发之返回指定页面(中)
  • 15-(重点)静态Web服务器开发返回指定页面(下)
  • 16-(答疑)解决直接访问首页问题
  • 17-(重点)解决访问页面不存在问题
  • 18-(答疑)为什么要给文字添加编码
  • 19-(重点)完整版Web服务器开发
  • 20-(重点)FastAPI框架快速入门
3-13 With上下文管理器
  • 01-(了解)学习目标
  • 02-(重点)为什么要引入with上下文管理器
  • 03-(重点)with上下文管理器
  • 04-(重点)生成器的创建方式一
3-14 Python生成器
  • 05-(重点)yield生成器
  • 06-(理解)使用yield生成器生成斐波那契数列
  • 07-(重点)生成器多种写法
  • 08-(回顾)变量引用以及可变和不可变数据类型
3-15 Python深浅拷贝
  • 09-(重点)Python中的浅拷贝
  • 10-(重点)Python浅拷贝笔试题
  • 11-(重点)Python中的深拷贝
  • 12-(重点)Python中深拷贝特殊情况
3-16 正则表达式
  • 13-(重点)正则概述与快速入门
  • 14-(重点)正则三步走之查什么
  • 15-(重点)正则三步走之查多少
  • 16-(重点)正则三步走之从哪查
  • 17-(扩展)正则工具箱
3-17 正则表达式案例
  • 01-(回顾)昨日回顾
  • 02-(分组)正则分组概念
  • 03-(案例)分组练习题5则
  • 04-(扩展)正则中的选择匹配符
  • 05-(重点)re模块中的相关方法
  • 06-(扩展)正则表达式起别名
  • 07-(案例)正则综合案例二则
  • 08-(案例)正则综合案例二则
3-18 FastAPI搭建Web服务器
  • 09-(了解)学习目标
  • 10-(重点)Web服务器搭建
  • 11-(回顾)上午知识点小结
  • 12-(重点)FastAPI图片请求通用配置
  • 13-(答疑)FastAPI如何接收请求与处理请求
  • 14-(重点)处理html页面请求
3-19 Python爬虫
  • 15-(入门)爬虫概述与requests模块入门
  • 16-(重点)使用爬虫爬取页面的图片url地址
  • 17-(重点)根据爬虫爬取的图片地址保存数据
  • 18-(重点)zip()函数的使用
  • 19-(重点)GDP数据采集过程
  • 20-(扩展)Xpath技术扩展(慎用)
  • 01-(回顾)昨日回顾(上)
  • 02-(回顾)昨日回顾(中)
  • 03-(回顾)昨日回顾(下)
  • 04-(重点)多任务实现爬虫
3-20 数据可视化
  • 05-(重点)pyecharts安装与快速入门
  • 06-(重点)pyecharts新版链式操作
  • 07-(重点)Faker随机类
  • 08-(重点)pyecharts配置项说明
  • 09-(重点)全球GDP前十名数据可视化
3-21 日志
  • 10-(重点)logging日志模块与日志格式化输出
  • 11-(回顾)上午知识点小结
  • 12-(重点)输出日志写入到文件
  • 13-(重点)在Web项目中整合logging日志
3-22 下阶段课程准备
  • 14-(重点)MySQL8.0软件安装
  • 15-(重点)DataGrip软件安装与配置
3-23 python进阶课程回顾
  • 16-(回顾)面向对象基础
  • 17-(回顾)面向对象三大特性
  • 18-(回顾)面向对象其他特性
  • 19-(回顾)闭包与装饰器
  • 20-(补充)装饰器的补充
  • 21-(重点)TCP套接字编程
  • 22-(重点)Python中多任务编程
  • 23-(重点)Python高级与正则表达式
  • 01-(回顾)昨日回顾

阶段二 SQL(SQL+Kettle+FineBI)

展开
第一章 SQL
1-1 数据库基础
  • 02-(了解)MySQL基础学习目标 免费试学
  • 03-(了解)数据库介绍 免费试学
  • 04-(掌握)MySQL概述与软件下载 免费试学
  • 05-(了解)MySQL8.0下载 免费试学
  • 06-(了解)Windows版本MySQL安装 免费试学
  • 07-(重点)小皮面板与DataGrip软件安装与连接操作 免费试学
  • 08-(重点)DataGrip软件配置 免费试学
1-2 DDL
  • 09-(理解)SQL语言概述与SQL通用写法 免费试学
  • 10-(重点)DDL之数据库管理 免费试学
  • 11-(重点)DDL之数据表创建过程 免费试学
  • 12-(案例)数据表创建案例 免费试学
  • 13-(重点)DDL之数据表查看 免费试学
  • 14-(答疑)反撇号与引号区别 免费试学
  • 15-(重点)DDL之数据表修改(字段添加) 免费试学
  • 16-(重点)DDL之数据表修改(字段名称与类型修改) 免费试学
  • 17-(重点)DDL之数据表修改(字段删除) 免费试学
  • 18-(重点)DDL之数据表修改(数据表重命名) 免费试学
  • 19-(重点)DDL之数据表删除 免费试学
  • 20-(小结)数据表的增删改查 免费试学
1-3 DML
  • 21-(重点)数值类型(整数与浮点类型)
  • 22-(重点)日期时间与文本类型
  • 01-(回顾)昨日回顾
  • 02-(重点)DML之数据插入操作
  • 03-(重点)DML之数据更新操作
  • 04-(重点)DML之数据删除操作
1-4 SQL约束
  • 05-(重点)五大约束之主键约束
  • 06-(重点)主键约束的添加与删除操作
  • 07-(扩展)自动增长序列
  • 08-(补充)如何移除带有自动增长的主键
  • 09-(重点)五大约束之非空约束
  • 10-(重点)五大约束之唯一约束
  • 11-(回顾)上午知识点小结
  • 12-(重点)五大约束之默认值约束
  • 13-(重点)五大约束之外键约束
  • 14-(小结)五大约束
1-5 SQL条件查询
  • 15-(重点)简单查询
  • 16-(重点)五子句之where子句与比较查询
  • 17-(重点)五子句之where子句与范围查询
  • 18-(重点)五子句之where子句与逻辑查询
  • 19-(重点)五子句之where模糊查询
  • 20-(重点)五子句之where非空查询
1-6 SQL聚合函数
  • 21-(重点)聚合函数
  • 22-(理解)聚合函数不统计空值
  • 23-(重点)五子句之group by分组子句
  • 24-(扩展)回溯统计
  • 25-(重点)五子句之having子句
  • 01-(回顾)昨日回顾
  • 02-(重点)五子句之order by排序子句
  • 03-(重点)五子句之limit子句限制查询数量
  • 04-(重点)五子句之limit分页查询子句
  • 05-(小结)五子句查询小结
  • 06-(重点)distinct针对某列进行去重操作
1-7 SQL多表查询
  • 07-(数据)多表数据集准备
  • 08-(理解)多表查询之交叉连接查询
  • 09-(重点)多表查询之内连接查询
  • 10-(重点)多表查询之书写规则
  • 11-(回顾)上午知识点小结
  • 12-(重点)多表查询之内连接查询的另外一种写法
  • 13-(重点)多表查询之外连接查询
  • 14-(小结)内连接查询与外连接查询区别
  • 15-(了解)自连接查询与数据集准备
  • 16-(重点)多表查询之自连接查询代码实现
1-8 SQL外键约束
  • 17-(理解)表与表之间关系
  • 18-(扩展)外键约束
  • 19-(扩展)引擎概念与外键关系
1-9 SQL子查询
  • 20-(重点)子查询概念与案例演示
  • 21-(重点)子查询案例2
  • 22-(重点)子查询案例3
  • 01-(回顾)昨日回顾
1-10 窗口函数
  • 02-(重点)窗口函数学习目标
  • 03-(重点)窗口函数概述
  • 04-(案例)聚合函数与窗口函数比较
  • 05-(重点)数据集准备
  • 06-(重点)窗口函数基本语法与使用案例
  • 07-(重点)窗口函数案例
  • 08-(重点)窗口函数案例
  • 09-(重点)把over()计算结果进行进一步计算
  • 10-(重点)窗口函数基本概念
  • 11-(理解)数据集介绍
  • 12-(重点)rank()排名函数
  • 13-(重点)dense_rank()排名函数
  • 14-(重点)row_number()排名函数
第二章 Kettle
2-1 Kettle入门
  • 15-(回顾)上午知识点小结
  • 16-(了解)可视化ETL工具之Kettle
  • 17-(重点)JDK环境配置
  • 18-(重点)Kettle软件安装与启动
  • 19-(重点)Kettle快速入门
  • 20-(重点)程序小姐姐的烦恼(上)
  • 21-(重点)程序小姐姐的烦恼(下)
2-2 Kettle使用
  • 22-(重点)数据库连接共享
  • 23-(重点)抽取MySQL数据装载到MySQL数据库中
  • 01-(回顾)昨日回顾
  • 02-(重点)数据表转换加载到数据表中
  • 03-(重点)插入更新组件
  • 04-(问题)常见问题汇总
  • 05-(重点)switch-case组件
  • 06-(重点)SQL脚本组件
  • 07-(重点)执行带有参数的SQL脚本
  • 08-(重点)Job计划任务
第三章 FineBI
3-1 FineBI
  • 09-(了解)BI系统概述
  • 10-(了解)FineBI概述
  • 11-(重点)FineBI安装以及试用
  • 12-(回顾)上午知识点小结
3-2 FineBI综合案例
  • 13-(重点)各学科学员数量分析
  • 14-(重点)某集团各省份销售额与利润额分析
  • 15-(案例)数据集准备(宽表来源)
  • 16-(案例)每月销售额与毛利额信息展现
  • 17-(案例)销售额环比数据与毛利额环比数据分析
  • 18-(案例)全国各省份城市毛利率
  • 19-(案例)全国各门店毛利率
  • 20-(案例)全国各门店商品类别销售情况分析
  • 21-(案例)全国各门店商品销售额与毛利率象限图

阶段三 ETL实战

展开
第一章 ETL
1-1 ETL入门
  • 01-ETL的引出 免费试学
  • 02-常见数据格式-CSV 免费试学
  • 03-常见数据格式-JSON 免费试学
  • 04-常见数据格式-XML 免费试学
  • 05-结构化-半结构化-非结构化数据类型 免费试学
  • 06-ETL案例的采集需求 免费试学
  • 07-JSON数据的处理思路和元数据管理概念 免费试学
  • 08-关于MySQL在项目中的使用方式 免费试学
  • (补充)etl-项目搭建-配置文件作用 免费试学
  • (补充)etl-项目搭建工具类与单元测试类说明 免费试学
1-2 logging日志处理模块
  • 09-上午内容回顾-logging的基本使用 免费试学
  • 10-编写Logging工具方法 免费试学
  • 11-编写配置文件 免费试学
  • 12-编写单元测试 免费试学
1-3 数据文件读取模块
  • 13-编写文件工具-完成递归查找文件夹内的文件
  • 14-编写文件工具的单元测试
  • 15-代码逻辑回顾
  • 01-昨日内容简单回顾
  • 02-优化代码-增加json数据文件夹的配置项
1-4 数据库数据存储模块
  • 03-创建mysql_util代码文件-演示pymysql的自动提交功能
  • 04-编写mysql_util的功能代码
  • 05-[补充]路径表示符的写法以及类的概念回顾
  • 06-对mysql_util进行单元测试
1-5 数据文件搜索及核对
  • 07-编写从mysql中查询已经处理过的文件的工具方法
  • 08-编写对比list,找出没有被处理的文件的工具方法
  • 09-调用对比方法,找出可以被处理的文件
1-6 订单模型构建
  • 10-[拓展]使用模型来封装数据的方式
  • 11-构建订单数据的基础模型
  • 01-前两天代码的梳理
  • 02-在模型中构建to_csv的方法
1-7 时间转化
  • 03-[扩展]-时间戳和常用转换的代码
  • 04-构建时间戳转换的工具方法并单元测试
1-8 订单数据处理
  • 05-构建字符串工具检查空内容并将model数据的无意义省市区转换成未知省市区
  • 06-构建模型中将数据组合成插入SQL语句的功能
1-9 订单详情数据处理
  • 07-构建订单详情(带商品信息)的模型代码
  • 08-编写主逻辑代码完成CSV备份文件的写出
  • 09-今日的内容快速回顾
1-10 订单数据入库
  • 01-对MySQLUtil进行改动让其支持更换数据库进行连接
  • 02-将数据插入MySQL-1
  • 03-将数据插入MySQL-2
  • 04-将已经处理完成的数据记录到元数据库中
1-11 条形码数据采集
  • 05-需求2采集MySQL数据-前期准备
  • 06-需求2前期准备-判断数据源表和目的地表是否存在
  • 07-需求2从数据源中查询出数据
1-12 条形码数据写出
  • 08-需求2-构建barcode模型代码
  • 09-需求2-将模型写出到MySQL和CSV
  • 10-今日主业务代码回顾
  • 11-[扩展]alt-shift快捷键演示
1-13 后台日志处理
  • 01-昨日内容简单回顾
  • 02-需求3的需求分析
  • 03-需求3快速实现演示
1-14 项目回顾
  • 04-上午内容需求3代码回顾
  • 05-主业务逻辑代码的梳理回顾
1-15 FineBI数据报表
  • 06-FineBI前期准备数据仪表板
  • 07-FineBI-每日销售额走势图表构建
  • 08-FineBI-热销商品词云图表构建
  • 09-构建后台日志分析仪表板

阶段四 Hadoop技术栈

展开
第一章 Linux
1-1 计算机操作系统
  • 00_课程内容大纲和学习目标 免费试学
  • 01--计算机原理与操作系统概述 免费试学
  • 02--Linux操作系统的发展与概述 免费试学
1-2 Vmware虚拟机安装与使用
  • 03--VMware虚拟机--虚拟设备与NAT网络模式 免费试学
  • 扩展1--VMware软件安装 免费试学
  • 04--VMware虚拟机--NAT模式安装Centos详解 免费试学
  • 05--VMware虚拟机--SSH协议原理与CRT软件的使用 免费试学
  • 06--VMware虚拟机--Linux上传下载文件--sftp、lrzsz 免费试学
1-3 Linux常用基础命令
  • 07--Linux常用基础命令--文件系统概述、特殊符号
  • 08--Linux常用基础命令--常用操作命令--上
  • 09--Linux常用基础命令--常用操作命令--下
  • 10--Linux常用基础命令--搜索操作、软链接
  • 11--Linux常用基础命令--打包解包、压缩解压缩
1-4 文本编辑器使用
  • 12--vim编辑器--概述与3种工作模式
  • 13--vim编辑器--常用的命令使用
  • 14--notepad++ FTP插件使用、finalshell(扩展)
1-5 用户与权限
  • 00--课程内容回顾总结
  • 01--今日课程内容大纲和学习目标
  • 02--Linux用户与权限--用户与组概念、权限概念
  • 03--Linux用户与权限--用户与组的管理
  • 04--Linux用户与权限--su、sudo权限
  • 05--Linux用户与权限--权限相关管理命令
  • 06--Linux系统信息查看--时间、内存磁盘、进程
1-6 大数据集群环境搭建
  • 07--大数据集群环境搭建--分布式与集群概念初识
  • 08--大数据集群环境搭建--主从架构、主备架构概念
  • 09--大数据集群环境搭建--虚拟机克隆、主机名和IP修改
  • 10--大数据集群环境搭建--hosts映射修改
  • 11--大数据集群环境搭建--防火墙关闭
  • 12--大数据集群环境搭建--集群时间同步
  • 13--大数据集群环境搭建--ssh免密登录
  • 14--大数据集群环境搭建--scp远程拷贝
1-7 Linux软件安装
  • 15--Linux软件安装--rpm包管理器与常用命令
  • 16--Linux软件安装--MySQL的rpm安装详解
  • 17--Linux软件安装--yum包管理器
  • 18--Linux软件安装--JDK的安装、环境变量配置
1-8 shell脚本
  • 19--了解shell编程--介绍、入门案例
  • 20--了解shell编程--变量、字符串、反引号、动态传参
第二章 Hadoop
2-1 大数据导论
  • 01--课程内容大纲和学习目标
  • 02--大数据导论--数据、数据分析
  • 03--大数据导论--数据分析的作用、方向
  • 04--大数据导论--数据分析基本流程步骤(重要)
  • 05--大数据导论--大数据时代(概念、5V特征)
  • 06--大数据导论--大数据应用
  • 07--大数据导论--分布式技术
  • 就业基础知识学习
  • 就业基础知识学习(应届生)
  • 结构化表达-STAR法
2-2 Zookeeper
  • 08--Apache zookeeper--概述、定位、功能
  • 09--Apache zookeeper--全局数据一致性
  • 10--Apache zookeeper--集群的架构与角色职责
  • 11-Apache zookeeper--集群搭建--配置文件详解
  • 12--Apache zookeeper--集群启停、进程查看、日志查看
  • 13--Apache zookeeper--数据模型、znode类型(4种)
  • 14--Apache zookeeper--shell命令行操作(CRUD)
  • 15--Apache zookeeper--监听机制watch
  • 16--Apache zookeeper--典型应用场景
2-3 课程阶段性回顾
  • 课程内容回顾总结--上
  • 课程内容回顾总结--下
  • 00--课程内容回顾总结
  • 01--课程内容大纲和学习目标
2-4 Hadoop入门
  • 02--Apache Hadoop--概述与起源发展
  • 03--Apache Hadoop--特性优点(分布式、通用、简单易用)
  • 04--Apache Hadoop--发行版本与自身版本发展
  • 05--Apache Hadoop--集群架构与集群角色介绍
2-5 Hadoop集群部署
  • 06--Apache Hadoop--集群部署--Hadoop安装部署模式
  • 07--Apache Hadoop--集群部署--了解源码编译
  • 08--Apache Hadoop--集群部署--集群规划
  • 09--Apache Hadoop--集群部署--服务器基础环境准备
  • 10--Apache Hadoop--集群部署--配置文件详解
  • 11--Apache Hadoop--集群部署--scp同步、环境变量配置
  • 12--Apache Hadoop--集群部署--namenode format操作
  • 13--Apache Hadoop--集群启停--命令与状态日志查看
2-6 Hadoop界面管理
  • 14--Apache Hadoop--Web UI页面、初体验
  • 15--Apache Hadoop--jobhistory服务配置与功能
  • 16--Apache Hadoop--HDFS垃圾桶机制
2-7 Hadoop HDFS入门
  • 课程内容大纲和学习目标
  • 01--传统文件系统及其面临的挑战
  • 02--分布式文件存储系统核心特性与作用
  • 03--Hadoop HDFS--简介
  • 04--Hadoop HDFS--起源发展和设计目标
  • 05--Hadoop HDFS--核心重要特性解读
  • 06--Hadoop HDFS--shell 操作--命令行功能及使用说明
  • 07--Hadoop HDFS--shell 操作--常见命令操作
2-8 Hadoop HDFS工作机制
  • 08--Hadoop HDFS--工作机制--角色与角色职责
  • 09--Hadoop HDFS--工作机制--上传文件流程--pipeline、ack、3副本策略
  • 10--Hadoop HDFS--工作机制--上传文件流程--梳理与总结
  • 11--Hadoop HDFS--工作机制--下载文件流程(读文件流程)
  • 12--Hadoop HDFS--工作机制--NN和DN之间的通信机制
2-9 Hadoop namenode管理
  • 13--Hadoop HDFS--辅助工具(distcp、archive)
  • 14--Hadoop HDFS--namenode 安全模式
  • 15--Hadoop HDFS--namenode元数据管理机制--整体概述
  • 16--Hadoop HDFS--namenode元数据相关目录文件
  • 17--Hadoop HDFS--SNN概述和checkpoint
  • 课程内容回顾总结
  • 00-课程内容回顾总结
2-10 Hadoop MapReduce入门
  • 01--HDFS读写流程复习总结
  • 02--课程内容大纲和学习目标
  • 03--Hadoop MapReduce--理解分而治之的思想
  • 04--Hadoop MapReduce--官方团队设计构思
  • 05--Hadoop MapReduce--介绍、规范
2-11 Hadoop MapReduce示例
  • 06--Hadoop MapReduce官方示例--计算圆周率(如何提交mr到yarn)
  • 07--Hadoop MapReduce官方示例--单词统计(WordCount)需求剖析
  • 08--Hadoop MapReduce官方示例--Wordcount--程序提交、java代码梳理
  • 09--Hadoop MapReduce--python接口接入
  • 10--Hadoop MapReduce--Hadoop Streaing提交python脚本
  • 11--Hadoop MapReduce--输入输出路径及注意事项
2-12 Hadoop MapReduce工作机制
  • 12--Hadoop MapReduce--工作机制--map阶段执行流程
  • 13--Hadoop MapReduce--工作机制--reduce阶段执行流程
  • 14--Hadoop MapReduce--工作机制--shuffle机制
  • 15--Hadoop MapReduce--工作机制--Partition分区问题
2-13 Hadoop YARN集群
  • 16--Hadoop YARN--功能职责概述
  • 17--Hadoop YARN--集群架构、yarn3大组件
  • 18--Hadoop YARN--mr程序提交yarn流程
  • 19--Hadoop YARN--scheduler调度策略
  • 20--Hadoop HA集群--什么是高可用、实现高可用注意事项
  • 21--Hadoop HA集群--HDFS HA--QJM实现原理、了解YARN HA
  • 00--课程内容回顾总结--MapReduce回顾
  • 01--课程内容回顾总结--YARN、HA
第三章 Hive
3-1 数据仓库
  • 02--课程内容大纲和学习目标
  • 03--数据仓库--概念定位、起源由来
  • 04--数据仓库--四大核心特征
  • 05--数据仓库--OLTP、OLAP区别
  • 06--数据仓库--数仓分层架构(ODS、DW、DA)
  • 07--数据仓库--案例:数仓建设实践
  • 08--数据仓库--ETL、ELT区别
3-2 Apache Hive入门
  • 09--Apache Hive--概述、功能、与Hadoop关系
  • 10--Apache Hive--如何模拟实现Hive的实现
  • 11--Apache Hive--架构、组件
  • 12--Apache Hive--hive与MySQL的差异
3-3 Apache Hive部署
  • 13--Apache Hive--metadata、metastore
  • 14--Apache Hive--3种部署模式(推荐掌握远程模式)
  • 15--Apache Hive--远程模式安装部署--基础环境、与Hadoop整合
  • 16--Apache Hive--远程模式安装部署--配置文件与初始化
  • 17--Apache Hive--metastore服务启动、第一代客户端
  • 18--Apache Hive--HS2服务启动、beeline客户端使用
  • 19--Apache Hive--初体验--把hive当成MySQL的体验--慢
  • 20--Apache Hive--初体验--如何才能映射成功文件
  • 00--课程内容回顾总结
3-4 Apache Hive建表预计
  • 01--今日课程内容大纲和学习目标
  • 02--Apache Hive--DDL--概念与语法树介绍
  • 03--Apache Hive--DDL--建表语句--数据类型
  • 04--Apache Hive--DDL--建表语句--表存在忽略异常
  • 05--Apache Hive--DDL--建表语句--SerDe机制、分隔符指定语法
  • 06--Apache Hive--DDL--建表语句--课堂练习--复杂类型分隔符指定
  • 07--Apache Hive--DDL--建表语句--默认分隔符
  • 08--Apache Hive--DDL--建表语句--location存储位置
  • 09--Apache Hive--DDL--建表语句--内部表、外部表
3-5 Apache Hive分桶和分区
  • 10--Apache Hive--DDL--建表语句--分区表产生背景、创建语法
  • 11--Apache Hive--DDL--建表语句--分区表创建、静态数据加载、分区裁剪
  • 12--Apache Hive--DDL--建表语句--动态分区插入数据
  • 13--Apache Hive--DDL--建表语句--多重分区及分区表注意事项
  • 14--Apache Hive--DDL--建表语句--动态分区严格模式、非严格模式含义
  • 15--Apache Hive--DDL--建表语句--分桶表语法、创建、加载
  • 16--Apache Hive--DDL--建表语句--分桶表的好处、注意事项
  • 17--Apache Hive--DDL--库、表、分区其他操作--上
  • 18--Apache Hive--DDL--库、表、分区其他操作--下
  • 19--Apache Hive--常见的show语法
3-6 Apache Hive-DML
  • 20--Apache Hive--DML--load加载数据(注意local含义)
  • 21--Apache Hive--DML--insert插入语法
  • 22--Apache Hive--DML--insert导出数据操作
  • 00--课程内容回顾总结
3-7 Hive SQL DQL
  • 01--课程内容大纲和学习目标
  • 附1--DataGrip连接HS2服务
  • 02--Hive SQL--DQL--测试环境准备、动态分区使用
  • 03--Hive SQL--DQL--基础查询语句及其注意事项
  • 04--Hive SQL--DQL--高阶查询--cluster、distribute、sort
  • 05--Hive SQL--DQL--高阶查询--CTE表达式
  • 06--Hive SQL--DQL--高阶查询--CTE表达式
  • 07--Hive SQL--DQL--Join语法及其使用(侧重inner、left)
  • 08--Hive SQL--DQL--Join语法注意事项
3-8 Hive SQL内置函数
  • 09--Hive SQL--第一代客户端的功能
  • 10--Hive SQL--参数配置方式与优先级范围
  • 11--Hive SQL--内置常见运算符
  • 12--Hive SQL--函数及分类标准(UDF、UDAF、UDTF)
  • 13--Hive SQL--内置函数梳理--字符串函数
  • 14--Hive SQL--内置函数梳理--时间日期、数值
  • 15--Hive SQL--内置函数梳理--条件转换、集合、加密
3-9 行列转换
  • 00--课程内容回顾总结
  • 01--课程内容大纲和学习目标
  • 02--Apache Hive--explode函数的使用与限制(UDTF表生成函数)
  • 03--Apache Hive--lateral view侧视图的使用
  • 04--Apache Hive--行列转换--多行转单列(collect_list、concat_ws)
  • 05--Apache Hive--行列转换--单列转多行(explode、lateral view)
3-10 Hive窗口函数
  • 06--Apache Hive--json格式数据处理
  • 07--Apache Hive--窗口函数--快速理解与语法规则
  • 08--Apache Hive--窗口函数--聚合函数
  • 09--Apache Hive--窗口函数--window子句
  • 10--Apache Hive--窗口函数--排序函数(row_number等)
  • 11--Apache Hive--窗口函数--排序函数(ntile函数)
  • 12--Apache Hive--窗口函数--lag、lead函数
3-11 Hive调优
  • 13--Apache Hive--文件存储格式(text、ORC、parquet)
  • 14--Apache Hive--数据压缩和文件格式搭配(ORC+snappy)
  • 15--Apache Hive--通用调优--fetch抓取机制、MR本地模式
  • 16--Apache Hive--通用调优--join优化
  • 17--Apache Hive--通用调优--数据倾斜优化
  • 18--Apache Hive--通用调优--MR程序task个数调整
  • 19--Apache Hive--通用调优--执行计划
  • 20--Apache Hive--通用调优--并行机制、推测执行机制

阶段五 千亿级离线数仓项目

展开
第一章 新零售项目
1-1 新零售行业背景介绍
  • 01-今日内容
  • 02-新零售的行业背景介绍
  • 企业常用面试方法
1-2 业务模块介绍
  • 03-业务模块介绍(商品上架流程)
  • 04-业务模块介绍(单店铺的订单流程)
  • 05-业务模块介绍(购物车的流程)
  • 06-业务模块介绍(配送流程)
  • 07-业务模块介绍(退货流程)
1-3 项目架构介绍
  • 08-项目研发阶段说明
  • 09-项目的集群和数据的说明
  • 10-项目的架构介绍
  • 11-上午总结
  • 12-项目的架构介绍
1-4 环境介绍及部署
  • 13-cloudera manager的基本介绍
  • 14-项目本地环境的部署操作
  • 15-云环境的说明
1-5 维度分析介绍
  • 16-数据仓库的基本概念
  • 17-数据仓库_维度分析的基本概念(上)
  • 18-数据仓库_维度分析的基本概念(下)
  • 19-今日总结
1-6 数仓建模介绍
  • 01-课前回顾和今日内容
  • 02-数仓建模的二种建模方式介绍
  • 03-维度建模_两种表介绍
  • 04-维度建模_数仓发展三种模型(概念)
  • 05-维度建模_数仓发展模型(图示)
  • 06-维度建模_缓慢渐变维
1-7 数仓分层介绍
  • 07-数仓的分层介绍
  • 08-上午的总结
1-8 HUE的基本操作
  • 09-HUE的基本介绍以及访问操作
  • 10-HUE基本使用_操作HDFS
  • 11-HUE基本使用_操作HIVE
1-9 oozie的基本操作
  • 12-工作流的基本介绍
  • 13-oozie的使用_配置工作流
  • 14-oozie的使用_定时配置操作
  • 15-oozie的使用_批处理说明(了解)
1-10 sqoop基本操作(上)
  • 16-sqoop的基本介绍
  • 17-sqoop的基本使用操作
  • 18-sqoop的基本使用_全量导入HDFS操作
  • 19-今日总结
1-11 sqoop基本操作(下)
  • 01-课前回顾和今日内容
  • 02-sqoop的基本使用操作_全量导入到HIVE
  • 03-sqoop的基本使用操作_条件导入到HDFS和HIVE
  • 04_sqoop的基本使用操作_全量导出
  • 05-sqoop的基本使用操作_相关sqoop参数
1-12 dbeaver安装及数据导入
  • 06-数据库连接工具_dbeaver的安装操作
  • 07-数据库连接工具_dbeaver连接mysql操作
  • 08-将业务数据导入到MySQL数据库中
1-13 数仓优化
  • 09-基础优化_HDFS副本以及yarn和MR的资源配置
  • 10-基于优化_hive基础配置以及压缩和执行引擎
  • 11-HIVE中表存储格式选择方案
  • 12-HIVE建表操作_数据存储格式和压缩方案选择
1-14 ODS层数据同步介绍
  • 13-上午内容的总结
  • 14-ODS层的数据同步的方式
  • 15-HIVE的表说明信息乱码情况解决
1-15 ODS层建表操作
  • 16-ODS层建表操作_各个表同步方式以及全量覆盖表建表操作
  • 17-ODS层建表操作_仅新增同步和新增及更新同步建表操作
1-16 全量同步数据到ODS(上)
  • 18-基于sqoop完成数据导入到ODS层_全量覆盖导入
  • 19-基于sqoop完成数据导入到ODS层_仅新增同步导入操作
  • 20-基于sqoop完成数据导入到ODS_新增及更新导入操作
  • 21-今日总结
1-17 全量同步数据到ODS(下)
  • 01-课前回顾和今日内容
  • 02-在ODS层补充一张店铺表并导入数据
  • 03-在ODS层为各不同的同步方式的表模拟一份增量数据
1-18 增量同步数据到ODS
  • 04-ODS层增量处理操作_全量覆盖表的处理
  • 05-ODS层增量处理操作_仅新增同步和增量集更新同步的方案
  • 06-ODS层增量处理_shell相关知识补充操作
  • 07-ODS层增量处理_shell脚本编写
  • 08-ODS层增量处理_shell脚本测试和校验操作
  • 09-ODS层增量处理_基于oozie定时调度
1-19 分桶表
  • 10-上午内容的总结
  • 11-分桶表的基本概念
  • 12-分桶表的作用_如何提升Join效率
  • 13-如何进行分桶采样的操作
  • 14-如何使用执行计划, 以及执行计划的说明
  • 15-演示_如何向桶表加载数据以及进行采样操作
1-20 DWD层介绍
  • 16-DWD层相关作用说明以及构建DWD层库
  • 17-DWD层建表操作实现
  • 18-今日总结
1-21 DWD层数据导入
  • 01-课前回顾和今日内容
  • 02-DWD层数据导入操作_全量覆盖导入和仅新增同步导入
  • 03-DWD层数据导入操作_新增及更新同步导入(转换处理)
  • 04-DWD层数据导入操作_新增以及更新(全量导入)
1-22 DWD层拉链表
  • 05-DWD层拉链表流程分析(上)_全量和增量过程
  • 06-DWD层拉链表流程分析(中)_步骤一
  • 07-DWD层拉链表流程分析(下)_步骤二
  • 08-上午内容的总结
  • 09-拉链表的整个实施过程
  • 10-DWD其他的表处理方案
1-23 join优化
  • 11-原生reduce端Join实现流程
  • 12-join的优化_mapJoin整个过程
  • 13-JOIN的优化_bucket map Join 说明
  • 14-JOIN的优化_SMB join优化
  • 15-今日总结
1-24 订单业务宽表处理(上)
  • 01-课前回顾和今日内容
  • 02-DWB层基本介绍和库创建操作
  • 03-订单业务宽表_表和表关系说明
  • 04-订单业务宽表_建表操作说明
1-25 订单业务宽表处理(下)
  • 05-订单业务宽表_SQL实现操作(join过程)
  • 06-订单业务宽表_SQL字段的实现操作
  • 07-订单业务宽表_SQL优化说明以及执行操作
1-26 店铺明细宽表处理
  • 08-上午内容的总结说明
  • 09-店铺明细宽表_表和表关系说明
  • 10-店铺明细宽表_建表操作
  • 11-店铺明细宽表_SQL实现操作
  • 12-商品明细宽表_表和表关系的说明
1-27 商品明细宽表处理(上)
  • 13-商品明细宽表_建表操作
  • 14-商品明细宽表_SQL实现操作(上)
1-28 商品明细宽表处理(下)
  • 15_-商品分类的具体说明
  • 16-商品明细宽表_SQL实现操作(下)
1-29 hive索引介绍
  • 01-课前回顾和今日内容
  • 02-索引的基本介绍
  • 03-HIVE的原始索引的基本介绍
  • 04-HIVE的行组索引的基本介绍
  • 05-HIVE的布隆过滤索引的基本介绍
  • 06-在实际使用中, 如何应用索引
1-30 join数据倾斜的处理
  • 07-数据倾斜的介绍以及Join倾斜解决方案上
  • 08-数据倾斜的解决_JOIN解决方案下
  • 09-Join数据倾斜中union all优化措施
1-31 group_by数据倾斜的处理
  • 10-数据倾斜的解决_group by 数据倾斜发生原因
  • 11-数据倾斜的解决_group by解决方案(方案一)
  • 12-上午内容的总结
  • 13-数据倾斜的解决_group by 解决方案二
  • 14-如何发现数据倾斜的方式
1-32 DWS层介绍
  • 15-DWS层基本介绍
  • 16-DWS层销售主题日统计宽表_需求分析和建表操作
  • 17-DWS层销售主题日统计宽表_日期和城市流程分析
1-33 销售主题日统计宽表处理(上)
  • 01-课前回顾和今日内容
  • 02-如何使用dbeaver连接HIVE操作
  • 03-销售主题日统计宽表_日期和城市维度
  • 04-销售主题日统计宽表_日期和城市(指标统计)上
  • 05-销售主题日统计宽表_日期和城市(指标统计)下
  • 06-销售主题日统计宽表_日期和城市(写入目标表)
1-34 销售主题日统计宽表处理(下)
  • 07-销售主题日统计宽表_日期,城市和商圈统计
  • 08-数仓中订单明细宽表数据特点(存在重复)
  • 09-上午内容的总结
  • 10-销售主题日统计宽表_日期和品牌流程分析处理
  • 11-销售主题日统计宽表_日期和品牌SQL实现
1-35 hive优化
  • 12-HIVE的其他优化_关联优化器和并行执行
  • 13-HIVE的其他优化_HIVE小文件合并操作
  • 14-HIVE的其他优化_矢量化查询和读取零拷贝
1-36 presto基本介绍
  • 15-presto的基本介绍
  • 16-presto的安装操作
  • 17-如何使用dbeaver连接presto
1-37 presto特点
  • 01-课前回顾和今日内容
  • 02-presto的架构介绍
  • 03-presto的日期类型的转换操作和计算操作
  • 04-Presto的内存的调整操作
  • 05-Presto中SQL特殊优化说明
  • 06-Presto其他的补充说明点
1-38 presto高级函数
  • 07-Presto高级函数_grouping sets 使用
  • 08-Presto高级函数_cube操作
  • 09-presto高级函数_rollup说明
  • 10-presto的高级函数_grouping操作
1-39 销售日统计宽表(上)
  • 11-上午内容的总结
  • 12-销售日统计宽表_SQL实现_去重处理
  • 13-销售日统计宽表_分析为什么要做那么多的去重操作
  • 14-销售日统计宽表_维度字段和group_type处理操作
1-40 销售日统计宽表(下)
  • 15-销售日统计宽表_指标统计(销售收入)
  • 16-销售日统计宽表_指标统计(销售额相关指标)
  • 17-销售日统计宽表_指标统计(订单量相关统计)
  • 18-销售主题日统计宽表_导入数据操作以及测试
1-41 商品主题日统计宽表处理(上)
  • 01-课前回顾和今日内容
  • 02-DWS层商品主题日统计宽表的建表操作
  • 03-DWS层商品主题日统计宽表_需求分析
  • 04-DWS层商品主题日统计宽表_指标实现(前二类)
  • 05-DWS层商品主题日统计宽表_后续的指标统计
1-42 商品主题日统计宽表处理(下)
  • 06-二个表全外关联实现流程分析以及三个表引入
  • 07-上午内容的总结说明
  • 08-三个表进行全外关联的流程分析
  • 09-DWS层商品主题日统计宽表_整体合并实现
1-43 销售主题宽表实现(上)
  • 10-DM层介绍以及建库和建表操作
  • 11-DM层销售主题宽表实现_按日统计
1-44 销售主题宽表实现(下)
  • 12-DM层销售主题宽表实现_上卷统计的分析说明(上)
  • 13-DM层销售主题宽表实现_上卷统计分析(中)
  • 14-DM层销售主题宽表实现_上卷统计分析流程(下)
1-45 销售主题的统计宽表处理(上)
  • 01-课前回顾和今日内容
  • 02-DM层销售主题的统计宽表_按周统计(指标)
  • 03_DM层销售主题的统计宽表_按周统计(指标处理)
  • 04-DM层销售主题统计宽表_按月和年进行统计
1-46 销售主题的统计宽表处理(中)
  • 05-DM层销售主题的统计宽表的增量处理思路
  • 06-DM层商品主题的统计宽表_建表操作
  • 07-DM层商品主题的统计宽表_统计总累计值和最近30天
  • 08-DM层商品主题的统计宽表_合并结果
1-47 销售主题的统计宽表处理(下)
  • 09-上午内容的总结
  • 10-DM层商品主题的统计宽表_增量的实现操作
1-48 RPT层实现
  • 11-RPT层相关内容_需求一
  • 12-RPT层相关内容_需求二
1-49 报表展示
  • 13-基于presto进行数据导出操作
  • 14-图表展示工作
1-50 项目总结
  • 15-项目的总结说明
  • 16-相关的面试题说明

阶段六 Spark技术栈

展开
第一章 PySpark
1-1 Spark介绍
  • 01-今日内容说明 免费试学
  • 02-Spark的基本介绍 免费试学
  • 03-Spark为什么执行效率比较高 免费试学
  • 04-Spark发展史 免费试学
1-2 Spark特点
  • 05-Spark的特点(前二个)
  • 06-Spark的特点(后二个)
1-3 Spark local模式
  • 07-local模式的基本介绍
  • 08-如何更改网络适配器方案
  • 09-如何安装local模式
  • 10-上午内容的总结
1-4 Pysaprk环境安装
  • 11-如何安装anaconda
  • 12-安装好python环境后直接使用pyspark命令
  • 13-安装pyspark库
1-5 集群介绍及Pycharm环境
  • 14-Spark集群模式的架构介绍
  • 15-pycharm如何连接远程环境
  • 16-pycharm的一些高级功能
1-6 WordCount案例 方式一
  • 17-WordCount的流程分析
  • 18-WordCount代码实现(上)
  • 19-WordCount代码实现(下)
  • 20-今日总结
1-7 PySpark 入门示例
  • 01-课前回顾和今日内容
  • 02-pySpark的入门案例_从HDFS读取数据写入到HDFS
  • 03-pySpark的入门案例_排序操作
  • 04-如何将spark程序提交到平台运行(初体验Local)
1-8 Spark On Yarn
  • 05-spark on yarn集成操作
  • 06-Spark On Yarn测试操作
  • 07-Spark On Yarn提交测试以及Spark程序组成部分
1-9 Spark提交运行
  • 08-Spark提交运行的两种部署方式
  • 09-Spark的提交运行的两种方式_如何查看日志
  • 10-Spark和PySpark的交互流程图(上)
  • 11-上午内容的总结
1-10 Spark与PySpark交互
  • 12-Spark和PySpark的交互流程(下)
  • 13-Spark和PySpark的交互流程(集群模式)
  • 14-Spark和PySpark交互流程(YARN)
  • 15-Spark-submit的相关参数说明
1-11 RDD介绍与特点
  • 16-RDD的基本介绍
  • 17-RDD的五大特性
  • 18-RDD的五大特点
1-12 RDD构建
  • 19-如何构建RDD_方式一
  • 20-今日总结
1-13 PySpark DateSource
  • 01-课前回顾和今日内容
  • 02-通过读取外部文件的方式以及小文件合并
  • 03-读取外部文件的分区数量的确定
1-14 RDD Transformations 算子及action算子
  • 04-RDD算子的分类介绍
  • 05-RDD算子_转换算子(单值类型)
  • 06-RDD算子_转换算子(双值类型)
  • 07-RDD算子_转换算子(kv类型)
  • 08-上午内容的总结
  • 09-RDD相关算子_action算子
1-15 RDD 分区
  • 10-RDD重要函数_分区函数
  • 11-RDD的重分区的函数(上)
  • 12-RDD的重分区的函数(下)
1-16 RDD 聚合
  • 13-RDD的重要函数_聚合函数(单值)
  • 14-RDD的重要算子_聚合函数(kv类型)
  • 15-RDD的重要算子_关联函数
  • 16-今日总结
1-17 PySpark 搜索案例
  • 01-课前回顾和今日内容
  • 02-搜狗案例的数据集说明
  • 03-如何在pycharm设置模板
  • 04-搜索案例实现_数据封装操作
  • 05-搜索案例实现_需求一实现
  • 06-搜索案例实现_需求二实现
  • 07-点击流分析案例_需求1和需求2
1-18 RDD 缓存
  • 08-今日内容的说明
  • 09-缓存的基本介绍(理解)
  • 10-缓存的基本使用操作
1-19 RDD 检查点
  • 11-检查点的基本介绍
  • 12-检查点的基本使用
  • 13-缓存和检查点的区别
  • 14-缓存和检查点共用操作
1-20 RDD共享变量
  • 15-RDD共享变量的引入操作
  • 16-RDD的共享变量_广播变量
  • 17-RDD的共享变量_累加器的使用操作
1-21 RDD累加器
  • 18-RDD的累加器的小问题说明(重复累加)
  • 19-上午内容的总结
1-22 DAG流程图
  • 20-RDD内核调度_RDD的依赖关系
  • 21-DAG以及DAG流程图形成说明
  • 22-DAG的阶段划分以及线程的划分操作
  • 23-DAG和stage的划分操作(细化操作)
1-23 RDD内核调度
  • 24-RDD内核调度_RDD的shuffle
  • 25-RDD的内核调度_JOB的调度流程
  • 26-RDD的内核调度_Spark的并行度
  • 27-了解combinerByKey
  • 28-今日总结
1-24 SparkSQL介绍
  • 01-课前回顾和今日内容
  • 02-SparkSQL的基本概念
  • 03-Spark SQL的发展历程
  • 04-Spark SQL 和 HIVE SQL异同点
1-25 SparkSQL入门示例
  • 05-Spark SQL中数据结构
  • 06-Spark SQL入门代码_如何构建SparkSession对象
  • 07-Spark SQL入门案例代码
1-26 PySpark DateFrame
  • 08-Spark SQL的dataFrame介绍
  • 09-如何构建dataFrame对象_RDD转换DF
  • 10-如何构建dataFrame对象_pandas的DF转换为Spark的DF
  • 11-如何构建dataFrame对象_读取外部的方式
  • 12-上午内容的总结
  • 13-如何构建dataFrame_json以及总结说明
  • 14-dataFrame的相关的API_DSL
  • 15-dataFrame的相关的API_SQL方案
  • 16-dataFrame的相关API_代码演示
1-27 WordCount案例 方式二
  • 17-综合案例_WordCount案例(RDD转DF方案)
  • 18-综合案例_WordCount案例的方式二
1-28 电影分析案例
  • 19-综合案例_电影分析案例需求一
  • 20-综合案例_电影分析案例需求四_SQL实现
  • 21-综合案例_电影分析案例_需求四
  • 22-今日总结
1-29 Spark SQL
  • 01-课前回顾和今日内容
  • 02-Spark SQL的shuffle分区数量设置
  • 03-Spark SQL的清洗相关的API演示
  • 04-Spark SQL的输出操作_输出普通文件
  • 05-Spark SQL的输出操作_输出到Mysql
1-30 pandas介绍
  • 06-pandas的基本介绍及其入门案例
  • 07-pandas的两个重要数据类型_series
  • 08-pandas的两个重要的数据类型_dataFrame
  • 09-pandas的数据的读写文件操作
  • 10-上午内容的总结
  • 11-pandas的读写数据库的操作
1-31 窗口函数
  • 12-pyspark SQL中函数_如何使用窗口函数_SQL
  • 13-spark sql中函数_如何使用窗口函数_DSL
1-32 自定义UDF函数
  • 14-spark SQL的自定义UDF函数_使用步骤
  • 15-spark SQL的自定义UDF函数_返回基本数据类型
  • 16-spark SQL的自定义UDF函数_返回列表或者字典
1-33 pandas UDF
  • 17-Spark SQL的pandas的UDF_如何互转DF操作
  • 18-spark SQL的pandas的UDF使用操作
  • 19-spark SQL的pandas的UDAF函数使用以及作业说明
  • 20-今日总结
1-34 Spark On Hive
  • 01-课前回顾和今日内容
  • 02-Spark ON hive的基础原理说明
  • 03-测试HIVE是否可以正常的启动
  • 04-spark on hive的集成配置操作
  • 05-Spark On HIVE 的集成_如何通过代码连接
  • 06-Spark ON HIVE_分布式引擎(模拟hive server2)
  • 07_spark on hive的分布式引擎_通过datagrip连接
1-35 Spark SQL运行机制
  • 08-spark SQL的运行机制_回顾Driver执行流程
  • 09-Spark SQL的运行机制详解
  • 10-如何查看SQL的物理执行计划
1-36 新零售案例
  • 11-上午内容的总结
  • 12-综合案例_新零售案例需求说明
  • 13-综合案例_新零售案例实现_清洗操作
  • 14-综合案例_新零售案例实现_需求一实现
  • 15-综合案例_新零售案例_需求3和需求5
  • 16-综合案例_新零售案例_需求9
  • 17-综合案例_教育项目案例需求实现
1-37 Spark总结
  • 18-spark阶段大总结(上)
  • 19-spark阶段大总结(下)

阶段七 PB级内存计算项目实战

展开
第一章 富华保险
1-1 保险业务说明
  • 01-今日内容说明 免费试学
  • 02-行业背景介绍 免费试学
  • 03-保险的分类和精算的介绍 免费试学
  • 04-保险行业相关的专业术语 免费试学
  • 05-保险行业的相关特点 免费试学
  • 06-用户投保流程 免费试学
  • 07-再保险部门的基本介绍 免费试学
  • 08-保险的分类(风险转移和理财型) 免费试学
  • 09-保险数据的业务数据来源地说明 免费试学
  • 10-项目背景说明 免费试学
1-2 项目业务需求与架构介绍
  • 11-上午内容的总结
  • 12-项目的需求描述
  • 13-项目架构的描述以及技术选型
  • 14-项目的基本情况的说明
1-3 项目虚拟机说明
  • 15-项目的统一环境的虚拟机说明
  • 16-项目成果演示工作
1-4 大数据计算演示
  • 17-大数据计算流程的演示
  • 18-今日总结
1-5 数仓建模
  • 01-课前回顾和今日内容
  • 02-数仓的基本介绍
  • 03-维度分析的基本内容
  • 04-数仓建模的两套理论基本介绍
  • 05-维度建模中事实表和维度表的基本介绍
  • 06-维度建模中三种模型的整体说明
  • 07-缓慢渐变维说明
1-6 数仓分层
  • 08-上午内容的总结
  • 09-数据仓库的分层的基本描述
  • 10-数仓架构技术选型说明
1-7 项目环境搭建
  • 11-如何清理远端环境
  • 12-如何构建远端环境以及构建基础项目目录
  • 13-基于pycharm连接远端服务器(替换CRT)
  • 14-基于pycharm连接MySQL和spark
  • 15-清洗昨日相关的数据集
  • 16-将基础数据导入到Mysql中
  • 17-今日总结
1-8 hive数仓建库建表
  • 01-课前回顾和今日内容
  • 02-hive中建表的思考点
  • 03-启动项目的整体环境
  • 04-在hive中构建ODS层库和表
1-9 基于sqoop完成数据采集
  • 05-sqoop的基本介绍
  • 06-sqoop的安装操作
  • 07-sqoop的基本使用操作
  • 08-sqoop的数据采集操作实施
  • 09-上午内容总结
  • 10-完成后续的采集的脚本
1-10 DolphinScheduler的使用
  • 11-DS的基本介绍
  • 12-DS的安装配置操作
  • 13-DS的安装与启动操作
  • 14-DS的架构的说明
  • 15-DS的基本使用操作
  • 16-DS的工作流的配置和测试操作
  • 17-使用DS完整ODS层数据采集操作
  • 18-今日总结
1-11 寿险定价规则
  • 01-课前回顾和今日内容
  • 02-寿险的定价的循环流程
  • 03-寿险的定价原则
  • 04-寿险定价假设
  • 05-寿险传统定价方法说明
1-12 窗口函数回顾
  • 06-如何生成多行序列操作
  • 07-如何快速生成一张表数据
  • 08-回顾窗口函数_row_number以及兄弟们
  • 09-回顾窗口函数_与聚合函数结合使用
  • 10-回顾窗口函数与lead和lag以及其他计算函数操作
1-13 迭代计算
  • 11-上午内容的总结
  • 12-如何进行横向迭代计算操作
  • 13-如何进行纵向迭代计算操作(方式一)
  • 14=如何进行纵向迭代计算操作(方式二)
  • 15-UDAF函数结合窗口函数执行的流程说明
1-14 保费参数因子需求解析
  • 16-计算保费参数因子_需求说明(上)
  • 17-计算保费参数因子_需求说明(下)
  • 18-在DW层构建表以及字段信息说明
  • 19-在DW层实现保费参数因子表的维度表生成
  • 20-今日总结
1-15 保费参数因子表计算_上
  • 01-课前回顾和今日内容
  • 02-保费参数因子表计算_步骤一
  • 03-保费参数因子表计算_步骤二
  • 04-保费参数因子表计算_步骤三
  • 05-使用spark程序读取SQL脚本执行
  • 06-保费参数因子表计算_步骤四(上)
  • 07-保费参数因子表计算_步骤四(下)
  • 08-保费参数因子表计算_步骤四的计算流程讲解
  • 09-保费参数因子表计算_步骤五
1-16 保费参数因子表计算_下
  • 10-上午内容的总结说明
  • 11-保费参数因子表计算操作_步骤五的函数流程说明
  • 12-保费参数因子表计算操作_步骤六
  • 13-保费参数因子表计算操作_步骤七
  • 14-保费参数因子表计算操作_步骤八
  • 15-保费参数因子表计算操作_步骤九
  • 16-保费参数因子表计算操作_步骤10
  • 17-保费参数因子表计算_保存至目标表
1-17 计算保费
  • 18-保费计算操作_结果表创建操作
  • 19-保费计算操作_中间结果的计算实现_步骤11
  • 20-保费计算流程_步骤12
  • 21-保费计算流程_保存到目标表
1-18 现金价值计算_上
  • 01-课前回顾和今日内容
  • 02-现金价值和保险准备金基本介绍
  • 03-现金价值的需求说明
  • 04-现金价值计算_建表操作
  • 05-现金价值表计算_步骤13
  • 06-现金价值表计算_步骤14~16计算操作
  • 07-现金价值表计算_步骤17~18
1-19 现金价值计算_下
  • 08_现金价值计算_将毛保费结果保存到目标表
  • 09-现金价值计算_步骤19
  • 10-上午内容的总结
  • 11-现金价值计算_步骤20~21
  • 12-现金价值计算_步骤22~23
  • 13-现金价值计算_导入到目标表
1-20 保险准备金计算
  • 01-保险准备金的需求分析以及建表操作
  • 02-保险准备金计算_步骤24
  • 03-保险准备金计算_步骤25
  • 04-保险准备金计算_步骤26
  • 05-保险准备金计算_步骤27
  • 06-保险准备金计算_步骤28
  • 07-保险准备金计算_步骤29~33
  • 08-保险准备金计算_基于窗口函数实现聚合操作
1-21 APP层计算操作
  • 09-APP层计算操作_保险精算结果表构建
  • 10-app层计算操作_保险精算结果表导入操作
  • 11-将数据导出到MySQL中
  • 01-课前回顾和今日内容
1-22 用户投保详情计算
  • 02-用户投保详情表计算操作(上)
  • 03-用户投保详情表计算操作(下)
1-23 计算保费收入增长率、首年保费与保费收入比
  • 04-计算保费收入增长率
  • 05-计算首年保费与保费收入比(上)
  • 06-计算首年保费与保费收入比(下)
1-24 件均保费及死亡发生率和残疾发生率计算
  • 07-计算件均保费
  • 08-死亡发生率和残疾发生率
  • 09-上午内容的总结
1-25 新业务价值率,高净值客户比例,各地区汇总保费计算
  • 10-新业务价值率的计算操作
  • 11-高净值客户比例计算
  • 12-各地区的汇总保费
1-26 上线yarn平台
  • 13-app指标说明
  • 14-基于Yarn完成项目上线操作
1-27 项目总结
  • 15-项目总结(上)
  • 16-项目总结(中)
  • 17-项目总结(下)
  • 18-面试总结
1-28 就业能力-试用期&工作常识科普
  • 01-应聘渠道使用技巧
  • 02-面试篇1
  • 03-面试篇2
  • 04-试用期篇1
  • 05-试用期篇2