课程试听
正在播放

阶段一 大数据基础增强

展开
第一章 大数据基础增强阶段-导学
1-1 大数据基础增强阶段-导学
  • 大数据基础增强阶段-导学 免费试学
第二章 会员版(2.1)-Linux实战
2-1 linux_概述_安装_常用命令
  • 01_操作系统概述 免费试学
  • 02_虚拟机概述 免费试学
  • 03_配置虚拟机的网卡信息 免费试学
  • 04_安装虚拟机 免费试学
  • 05_设置网卡信息 免费试学
  • 06_centos的文件和目录 免费试学
  • 07_远程连接工具 免费试学
  • 08_快照 免费试学
  • 09_学习终端命令的原因 免费试学
  • 10_命令格式_自动补全 免费试学
  • 11_查阅命令帮助信息 免费试学
  • 12_文件和目录的目标 免费试学
  • 13_ls命令说明 免费试学
  • 14_ls通配符的使用 免费试学
  • 15_切换目录 免费试学
  • 16_相对路径 免费试学
  • 17_绝对路径 免费试学
  • 18_创建文件_touch 免费试学
  • 19_创建目录 免费试学
  • 20_删除文件和目录 免费试学
  • 21_tree命令 免费试学
  • 22_cp命令_复制 免费试学
  • 23_mv指令_移动_重命名 免费试学
  • 24_cat命令_显示小文件内容 免费试学
  • 25_less命令_查看大文件内容 免费试学
  • 26_head_tail命令_展示文档内容 免费试学
  • 27_grep_搜索文件中存在关键字的行 免费试学
  • 28_管道 免费试学
  • 29_重定向 免费试学
  • 30_双与和双或的效果 免费试学
  • 31_软链接 免费试学
2-2 linux_打包压缩_vim编辑器_系统管理_用户权限
  • 01_find命令 免费试学
  • 02_打包和解包 免费试学
  • 03_使用gzip进行压缩和解压缩_重点 免费试学
  • 04_使用bzip2进行压缩和解压缩 免费试学
  • 05_vim编辑器简介 免费试学
  • 06_vi编辑器的快速入门 免费试学
  • 07_vi编辑器的三种工作模式 免费试学
  • 08_末行模式的常用命令 免费试学
  • 09_移动光标1 免费试学
  • 10_移动光标2_段落移动_括号切换_标记 免费试学
  • 11_可视模式_撤销_删除文本 免费试学
  • 12_复制和剪切 免费试学
  • 13_替换_缩排_重复执行 免费试学
  • 14_查找_查找并替换 免费试学
  • 15_插入命令 免费试学
  • 16_vi编辑器_练习1_练习2 免费试学
  • 17_vi_编辑器_案例3 免费试学
  • 18_用户_组_权限的基本概念 免费试学
  • 19_组用户管理 免费试学
  • 20_用户的增删改 免费试学
  • 21_查看用户信息 免费试学
  • 22_su_切换用户 免费试学
  • 23_sudo_临时让普通用户具有管理员 免费试学
  • 24_修改用户权限_方式1 免费试学
  • 25_修改用户权限_方式2_方式3 免费试学
  • 26_日期和日历命令 免费试学
  • 27_查看磁盘信息 免费试学
  • 28_进程相关内容 免费试学
2-3 linux_管道_shell编程
  • 01_学习目标 免费试学
  • 02_cut_截取文件内容 免费试学
  • 03_sort_排序 免费试学
  • 04_通过wc统计行数和字节数 免费试学
  • 05_uniq和tee命令 免费试学
  • 06_tr命令 免费试学
  • 07_split_将大文件切分成若干小文件 免费试学
  • 08_awk命令1 免费试学
  • 09_awk命令2 免费试学
  • 10_sed的查询功能 免费试学
  • 11_sed的删除功能 免费试学
  • 12_sed的修改功能 免费试学
  • 13_sed的替换功能 免费试学
  • 14_sed修改文件的原有内容 免费试学
  • 15_sed_综合练习 免费试学
  • 16_shell编程简介 免费试学
  • 17_shell编程的快速入门 免费试学
  • 18_变量 免费试学
  • 19_字符串 免费试学
  • 20_获取参数 免费试学
  • 21_算符运算符 免费试学
  • 22_if判断 免费试学
  • 23_for循环 免费试学
  • 24_while循环 免费试学
  • 25_case_分支结构 免费试学
  • 26_break_continue 免费试学
  • 27_函数 免费试学
  • 28_数组 免费试学
  • 29_加载其他文件的变量 免费试学
第三章 会员版(2.0)-就业课(2.0)-JVM优化(上)
3-1 JVM优化1
  • 01.今日内容_D01
  • 02.我们为什么要对jvm做优化?
  • 03.JVM运行参数之-参数类型以及标准参数
  • 04.JVM运行参数之-server与-client
  • 05.JVM运行参数之-Xint、-Xcomp、-Xmined
  • 06.JVM运行参数之-XX参数
  • 07.JVM运行参数之-Xms与-Xmx参数
  • 08.JVM运行参数之查看jvm运行参数
  • 09.JVM内存模型之jdk1.7与jdk1.8内存模型(很重要)
  • 10.JVM内存模型之jstat命令的使用
  • 11.jmap命令的使用
  • 12.使用jhat对dump文件进行分析
  • 13.通过MAT工具对dump文件进行分析
  • 14.实战:内存溢出的定位与分析
  • 15.jstack命令的使用
  • 16.实战:死锁问题
  • 17.VisualVM工具的使用(监控本地进程)
  • 18.VisualVM工具的使用(监控远程进程)
第四章 会员版(2.0)-就业课(2.0)-JVM优化(中)
4-1 JVM优化2
  • 01.今日内容_D02
  • 02.什么垃圾回收?
  • 03.垃圾回收算法之-引用计数法
  • 04.垃圾回收算法之-标记清除法
  • 05.标记清除算法中的应用程序暂停的问题说明
  • 06.垃圾回收算法之-标记压缩算法
  • 07.垃圾回收算法之-复制算法
  • 08.垃圾回收算法之-分代算法
  • 09.垃圾收集器之串行垃圾收集器
  • 10.垃圾收集器之并行垃圾收集器
  • 11.垃圾收集器之CMS垃圾收集器
  • 12.垃圾收集器之G1垃圾收集器的原理
  • 13.垃圾收集器之G1垃圾收集器中的YoungGC
  • 14.垃圾收集器之G1垃圾收集器中的MixedGC
  • 15.垃圾收集器之G1垃圾收集器中的参数以及测试
  • 16.垃圾收集器之G1垃圾收集器的优化建议
  • 17.可视化GC日志分析工具
第五章 会员版(2.0)-就业课(2.0)-JVM优化(下)
5-1 JVM优化3
  • 01.今日内容_D03
  • 02.Tomcat8优化之部署安装
  • 03.Tomcat8优化之禁用AJP服务
  • 04.Tomcat8优化之配置执行器(线程池)
  • 05.Tomcat8优化之3种运行模式(启用nio2模式)
  • 06.Tomcat8优化之部署web项目
  • 07.Tomcat8优化之Apache JMeter的使用(对首页进行压力测试)
  • 08.Tomcat8优化之禁用AJP服务的压力测试
  • 09.Tomcat8优化之设置线程池进行压力测试
  • 10.Tomcat8优化之设置nio2运行模式进行测试
  • 11.Tomcat8优化之设置设置并行垃圾收集器进行测试
  • 12.Tomcat8优化之通过GC报表进行分析
  • 13.Tomcat8优化之设置G1垃圾收集器进行测试
  • 14.Tomcat8优化之G1牢记收集器的测试结果以及小结
  • 15.JVM字节码之javap的使用
  • 16.JVM字节码之常量池、字段描述符、方法描述符
  • 17.JVM字节码之解读方法字节码
  • 18.JVM字节码之解读方法字节码(图解)
  • 19.JVM字节码之研究 i++ 与 ++i 的不同
  • 20.JVM字节码之探究字符串的拼接
  • 21.代码优化建议

阶段二 大数据 Hadoop 离线分布式系统

展开
第一章 大数据 Hadoop 离线分布式系统-导学
1-1 大数据 Hadoop 离线分布式系统-导学
  • 大数据 Hadoop 离线分布式系统-导学
第二章 会员版(2.1)-大数据基础和 硬件介绍
2-1 大数据预备知识
  • 1-大数据导论
  • 2-服务器介绍
  • 3-存储磁盘基本介绍
  • 4-交换机和网卡的介绍
  • 5-局域网、机架和IDC
  • 6-磁盘阵列RAID
2-2 集群Linux环境搭建和Shell脚本
  • 7-集群Linux环境搭建-注意事项
  • 8-集群Linux环境搭建-复制虚拟机
  • 9-集群Linux环境搭建-配置Mac地址
  • 10-集群Linux环境搭建-配置ip地址
  • 11-集群Linux环境搭建-配置主机名和域名映射
  • 12-集群Linux环境搭建-关闭防火墙和SELinux
  • 13-集群Linux环境搭建-ssh免密登录
  • 14-集群Linux环境搭建-时钟同步
  • 15-集群Linux环境搭建-辅助软件-jdk安装
  • 16-集群Linux环境搭建-辅助软件-mysql安装
  • 17-shell脚本基础增强1
  • 18-shell脚本基础增强2
第三章 会员版(2.1)-Zookeeper
3-1 Zookeeper
  • 19-zookeeper-概述
  • 20-zookeeper-特点
  • 21-zookeeper-架构
  • 22-zookeeper-应用场景1
  • 23-zookeeper-应用场景2
  • 24-zookeeper-选举机制
  • 25-zookeeper-环境搭建
  • 1-Zookeeper的数据模型
  • 2-Zookeeper的节点特性
  • 3-Zookeeper的命令操作
  • 4-Zookeeper的节点属性
  • 5-Zookeeper的watch机制
  • 6-Zookeeper的JavaAPI操作-创建工程和导入jar包
  • 7-Zookeeper的JavaAPI操作-创建永久性节点
  • 8-Zookeeper的JavaAPI操作-节点其他操作,
  • 9-Zookeeper的JavaAPI操作-watch机制
第四章 会员版(2.1)-HDFS组件
4-1 hadoop概述_架构_安装
  • 10-hadoop的介绍
  • 11-hadoop的版本和发行版公司介绍
  • 12-hadoop的架构-1.x架构
  • 13-hadoop的架构-2.x架构
  • 14-hadoop重新编译-准备工作1
  • 15-hadoop重新编译-准备工作2和完成编译
  • 16-hadoop安装-上传安装包
  • 17-hadoop安装-修改配置文件-上
  • 18-hadoop安装-修改配置文件-下
  • 19-hadoop安装-配置hadoop环境变量
  • 20-hadoop安装-启动集群
4-2 Hadoop 核心-HDFS
  • 1-hdfs的概述
  • 2-hdfs的应用场景
  • 3-hdfs的架构
  • 4-hdfs的namenode和datanode
  • 5-hdfs的副本机制和机架感知
  • 6-hdfs的命令行操作1
  • 6-hdfs的命令行操作2
  • 8-hdfs的命令行操作3
  • 9-hdfs的高级命令-文件限额配置-文件数量限额
  • 10-hdfs的高级命令-文件限额配置-文件大小限额
  • 11-hdfs的高级命令-安全模式
  • 12-hdfs的高级命令-基准测试
  • 13-hdfs的文件写入过程
  • 14-hdfs的文件读取过程
  • 15-hdfs的元数据管理-fsimage文件和edits文件
  • 16-hdfs的元数据管理-SecondaryNameNode
  • 1-HDFS的API操作-准备工作-配置windows的hadoop环境
  • 2-HDFS的API操作-准备工作-导入maven坐标
  • 3-HDFS的API操作-url访问方式
  • 4-HDFS的API操作-获取FileSystem-第一种方式
  • 5-HDFS的API操作-获取FileSystem-其他方式
  • 6-HDFS的API操作-遍历所有文件
  • 7-HDFS的API操作-创建文件夹
  • 8-HDFS的API操作-文件的下载和上传
  • 9-HDFS的API操作-hdfs的权限访问控制
  • 10-HDFS的API操作-小文件的合并
  • 11-HDFS的高可用机制-概述和组件
  • 12-HDFS的高可用机制-工作原理
  • 13-HDFS的联邦机制
第五章 会员版(2.1)-MapReduce组件
5-1 MapReduce 概述_架构_编写流程
  • 14-MapReduce-概述
  • 15-MapReduce-设计构思
  • 16-MapReduce-编程流程
  • 17-MapReduce-编程流程-详解1
  • 18-MapReduce-编程流程-详解2
  • 1-MapReduce案例-WordCount-步骤分析
  • 2-MapReduce案例-WordCount-准备工作
  • 3-MapReduce案例-WordCount-Map代码编写
  • 4-MapReduce案例-WordCount-Reduce代码编写
  • 5-MapReduce案例-WordCount-主类代码编写
  • 6-MapReduce案例-WordCount-代码测试运行
  • 7-MapReduce案例-WordCount-问题补充
  • 8-MapReduce分区-概念和原理
  • 9-MapReduce分区-代码编写步骤
  • 10-MapReduce分区-代码实现1
  • 11-MapReduce分区-代码实现2
  • 12-MapReduce分区-代码运行
  • 13-MapReduce计数器
5-2 MapReduce-排序和序列化
  • 1-MapReduce-排序和序列化-概述
  • 2-MapReduce-排序和序列化-编程流程
  • 3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现
  • 4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码
  • 5-MapReduce-排序和序列化-代码编写-主类代码实现
  • 6-MapReduce-排序和序列化-测试运行
  • 7-MapReduce-规约(Combiner)概述
  • 8-MapReduce-规约(Combiner)-代码实现
5-3 mapreduce统计求和案例
  • 9-MapReduce综合案例-统计求和-需求和步骤分析
  • 10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写
  • 11-MapReduce综合案例-统计求和-其他代码和测试运行
  • 12-MapReduce综合案例-流量排序-FlowBean编写
  • 13-MapReduce综合案例-流量排序-Mapper编写
  • 14-MapReduce综合案例-流量排序-其他代码编写和运行
  • 15-MapReduce综合案例-手机号码分区-代码编写和运行
5-4 mapreduce运行机制
  • 1-MapReduce运行机制-MapTask的工作机制
  • 2-MapReduce运行机制-MapTask的工作机制-细节补充
  • 3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段
5-5 mapreduce 实现Reduce以及map端 join
  • 4-MapReduce案例-Reduce端join操作-分析
  • 5-MapReduce案例-Reduce端join操作-Mapper代码编写
  • 6-MapReduce案例-Reduce端join操作-Reducer代码编写
  • 7-MapReduce案例-Reduce端join操作-主类代码编写
  • 8-MapReduce案例-Reduce端join操作-测试运行
  • 9-MapReduce案例-Reduce端join操作-问题分析
  • 10-MapReduce案例-Map端join操作-概述和步骤分析
  • 11-MapReduce案例-Map端join操作-主类代码编写
  • 12-MapReduce案例-Map端join操作-setup方法编写
  • 13-MapReduce案例-Map端join操作-map方法编写
  • 14-MapReduce案例-Map端join操作-测试运行
5-6 mapreduce 求共同好友案例
  • 15-MapReduce案例-求共同好友-需求分析
  • 16-MapReduce案例-求共同好友-MapReduce编程步骤
  • 17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写
  • 18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行
  • 19-MapReduce案例-求共同好友-阶段2-Mapper代码编写
  • 20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行
5-7 自定义输入和输出组件实现
  • 1-自定义InputFormat实现小文件合并-需求分析
  • 2-自定义InputFormat实现小文件合并-自定义inputformat步骤
  • 3-自定义InputFormat实现小文件合并-代码实现-准备工作
  • 4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写
  • 5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写
  • 6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行
  • 7-自定义OutputFormat-步骤分析
  • 8-自定义OutputFormat-源码分析
  • 9-自定义OutputFormat-代码编写-上
  • 10-自定义OutputFormat-代码编写-下
5-8 topn案例
  • 11-自定义分组-求TopN-步骤分析
  • 12-自定义分组-求TopN-代码编写-OrderBean
  • 13-自定义分组-求TopN-代码编写-Mapper代码
  • 14-自定义分组-求TopN-代码编写-自定义分区代码
  • 15-自定义分组-求TopN-代码编写-自定义分组代码
  • 16-自定义分组-求TopN-代码编写-Reducer代码
  • 17-自定义分组-求TopN-代码编写-主类代码和测试运行
第六章 会员版(2.1)-Yarn组件
6-1 yarn资源调度
  • 18-yarn资源调度-yarn介绍
  • 19-yarn资源调度-主要组件及作用
  • 20-yarn资源调度-架构和工作流程
  • 21-yarn资源调度-调度器
  • 22-yarn资源调度-常用参数设置
第七章 会员版(2.1)-Hive组件
7-1 hive 数据仓库
  • 1-数据仓库-基本概念和主要特征
  • 2-数据仓库-与数据库区别
  • 3-数据仓库-分层架构和元数据管理
  • 4-hive-基本简介
  • 5-hive-分层架构
  • 6-hive-与hadoop关系以及与数据库的对比
  • 7-hive-安装
  • 8-hive-交互方式
  • 9-hive基本操作-数据库操作-上
  • 10-hive基本操作-数据库操作-下
  • 11-hive基本操作-数据库表操作-语法格式
  • 12-hive基本操作-数据库表操作-建表入门
  • 13-hive基本操作-数据库表操作-内部表基本操作
  • 14-hive基本操作-数据库表操作-外部表基本操作-上
  • 15-hive基本操作-数据库表操作-外部表基本操作-下
  • 16-hive基本操作-分区表操作-概述
  • 17-hive基本操作-分区表操作-创建表和加载表数据
  • 18-hive基本操作-分区表操作-分区表练习
7-2 hive查询以及调优
  • 1-hive表基本操作-分桶表操作
  • 2-hive表基本操作-修改表结构
  • 3-Hive表查询语法-语法分析
  • 4-Hive表查询语法-基本查询语句1
  • 5-Hive表查询语法-基本查询语句2
  • 6-Hive表查询语法-分组和having语句
  • 7-Hive表查询语法-join操作
  • 8-Hive表查询语法-排序-上
  • 9-Hive表查询语法-排序-sort by
  • 10-Hive表查询语法-排序-distribute by和cluster by
  • 11-Hive参数设置
  • 12-Hive函数-内置函数
  • 13-Hive函数-自定义函数
  • 14-Hive的压缩方式
  • 15-Hive的数据存储格式
  • 16-Hive的数据存储格式和数据压缩结合
  • 17-Hive的调优-Fetch抓取和本地模式
  • 18-Hive的调优-MapJoin和GroupBy
  • 19-Hive的调优-动态分区介绍
  • 20-Hive的调优-动态分区案例实现
  • 21-Hive的调优-其他
第八章 会员版(2.1)-Impala组件
8-1 Impala
  • 01--Apache Impala--概述介绍&和hive关系、异同
  • 02--Apache Impala--架构组件&查询处理流程
  • 03--Apache Impala--架构组件&查询处理流程--笔记总结
  • 04--Apache Impala--安装部署--rpm包本地yum源制作
  • 05--Apache Impala--安装部署--虚拟机新增磁盘操作(可选步骤)
  • 06--Apache Impala--安装部署--hadoop、hive配置修改&impala配置
  • 07--Apache Impala--安装部署--impala服务启动、关闭
  • 08--Apache Impala--shell命令行--内外部参数
  • 09--Apache Impala--sql语法--数据库特定语句
  • 10--Apache Impala--sql语法--表特定语句--create、insert、desc
  • 11--Apache Impala--sql语法--表特定语句--alter、drop、view
  • 12--Apache Impala--sql语法--表特定语句--分组、排序、过滤
  • 13--Apache Impala--sql语法--表数据导入方式
  • 14--Apache Impala--jdbc 操作impala
第九章 会员版(2.1)-辅助系统工具
9-1 Sqoop
  • 01--Apache Sqoop--软件介绍
  • 02--Apache Sqoop--安装部署
  • 03--Apache Sqoop--导入import--全量数据导入hdfs
  • 04--Apache Sqoop--导入import--全量数据导入hdfs--并行度设置&注意事项
  • 05--Apache Sqoop--导入import--全量数据导入hive
  • 06--Apache Sqoop--导入import--表子集数据导入
  • 07--Apache Sqoop--导入import--增量导入--append模式
  • 08--Apache Sqoop--导入import--增量导入--lastmodified模式(附加数据)
  • 09--Apache Sqoop--导入import--增量导入--lastmodified模式(mergekey合并数据)
  • 10--Apache Sqoop--导出export--默认模式导出(insert)
  • 11--Apache Sqoop--导出export--默认模式导出(insert)--配置参数
  • 12--Apache Sqoop--导出export--更新模式导出(insert)--updateonly
  • 13--Apache Sqoop--导出export--更新模式导出(insert)--allowinsert
  • 14--Apache Sqoop--job作业的使用--创建、查看、执行、删除
  • 15--Apache Sqoop--job作业的使用--免密执行
9-2 Flume
  • 01--Apache Flume--软件概述
  • 02--Apache Flume--运行机制&运行结构图
  • 03--Apache Flume--安装部署&简单入门
  • 04--Apache Flume--案例--监控采集文件夹变化(sqoopdir、HDFS)
  • 05--Apache Flume--案例--监控采集文件夹变化--执行演示&注意事项
  • 06--Apache Flume--案例--监控文件变化(exec source)
  • 07--Apache Flume--高阶--负载均衡功能
  • 08--Apache Flume--高阶--容错(故障转移)功能
  • 09--Apache Flume--静态拦截器--案例业务需求描述
  • 10--Apache Flume--静态拦截器--功能实现
  • 11--Apache Flume--自定义拦截器--需求描述
  • 12--Apache Flume--自定义拦截器--代码逻辑梳理
  • 13--Apache Flume--自定义拦截器--功能实现
  • 14--Apache Flume--自定义source(扩展)--需求、代码逻辑梳理
  • 15--Apache Flume--自定义source(扩展)--功能测试实现
  • 16--Apache Flume--自定义sink(扩展)--数据写入本地
9-3 azkaban
  • 01--工作流调度--概念、产生背景
  • 02--azkaban--介绍、架构、部署模式
  • 03--azkaban--安装部署--源码编译
  • 04--azkaban--安装部署--solo server模式安装--azkaban使用初体验
  • 05--azkaban--安装部署--two server模式安装--服务器配置上
  • 06--azkaban--安装部署--two server模式安装--服务器配置下
  • 07--azkaban--安装部署--multiple-executor模式&executor激活问题
  • 08--azkaban--使用实战--shell、command调度
  • 09--azkaban--使用实战--多job依赖调度
  • 10--azkaban--使用实战--hadoop调度(hdfs、mapreduce)
  • 11--azkaban--使用实战--hive调度
  • 12--azkaban--使用实战--定时任务调度
9-4 Oozie
  • 01--Apache Oozie--概述&架构介绍
  • 02--Apache Oozie--节点类型(control flow、action)&工作流类型(coordinator、bundle)
  • 03--Apache Oozie--安装部署--修改hadoop&解压拷贝依赖包
  • 04--Apache Oozie--安装部署--配置文件修改&数据库、war包初始化
  • 05--Apache Oozie--安装部署--服务启动&web UI
  • 06--Apache Oozie--实战操作--修改hadoop资源分配属性
  • 07--Apache Oozie--实战操作--调度shell脚本
  • 08--Apache Oozie--实战操作--调度hive脚本
  • 09--Apache Oozie--实战操作--调度mapreduce程序
  • 10--Apache Oozie--实战操作--串联任务调度(依赖关系)
  • 11--Apache Oozie--实战操作--定时调度任务
  • 12--Apache Oozie--实战操作--集成hue&调度shell程序
  • 13--Apache Oozie--实战操作--集成hue&调度hive脚本
  • 14--Apache Oozie--实战操作--集成hue&调度mapreduce程序
  • 15--Apache Oozie--实战操作--集成hue&定时调度配置
9-5 Hue
  • 01--Apache Hue--介绍、功能、架构
  • 02--Apache Hue--编译、安装部署
  • 03--Apache Hue--集成hadoop服务(HDFS、YARN)
  • 04--Apache Hue--集成hadoop服务--页面操作使用
  • 05--Apache Hue--集成hive服务
  • 06--Apache Hue--集成mysql服务
  • 07--Apache Hue--集成oozie服务&调度shell程序
  • 08--Apache Hue--集成oozie服务&调度hive脚本
  • 09--Apache Hue--集成oozie服务&调度mapreduce程序
  • 10--Apache Hue--集成oozie服务&定时调度配置
  • 11--Apache Hue--集成oozie服务&集成hbase服务
  • 12--Apache Hue--集成oozie服务&集成impala服务
第十章 会员版(2.1)-网站流量日志分析
10-1 网站流量日志分析_架构_埋点采集
  • 01--网站流量日志分析背景介绍--网站分析的意义
  • 02--网站流量日志分析背景介绍--如何进行网站分析--流量分析(质量、多维细分)
  • 03--网站流量日志分析背景介绍--如何进行网站分析--内容导航分析
  • 04--网站流量日志分析背景介绍--如何进行网站分析--转化分析(漏斗模型)
  • 05--整体技术流程-数据采集和数据预处理
  • 06--整体技术流程-数据入库(ETL)
  • 07--整体技术流程-数据分析和数据可视化
  • 08--整体技术流程-系统架构图
  • 09--网站流量日志分析--数据采集--使用web服务器自带日志记录采集
  • 10--网站流量日志分析--数据采集--页面埋点JavaScript收集数据
  • 11--网站流量日志埋点收集--原理实现雏形--如何解决js和html页面耦合问题
  • 12--网站流量日志埋点收集--原理实现雏形--如何解决js跨域问题(伪装图片)
  • 13--网站流量日志埋点收集--原理实现分析
  • 14--网站流量日志埋点收集--确定收集信息和途径
  • 15--网站流量日志埋点收集--埋点代码编写--src属性直接引入
  • 16--网站流量日志埋点收集--埋点代码编写--匿名函数自调用创建标签引入
  • 17--网站流量日志埋点收集--前端收集数据脚本
  • 18--网站流量日志埋点收集--后端脚本(nginx+lua)
  • 19--网站流量日志埋点收集--日志格式、日志切分
10-2 网站流量日志分析-数据预处理
  • 01--网站流量日志埋点收集--系统部署架构图和采集流程梳理
  • 02--网站流量日志埋点收集--系统部署环境搭建
  • 03--网站流量日志埋点收集--方案一--基本功能数据采集实现
  • 04--网站流量日志埋点收集--方案二--点击事件数据采集实现
  • 05--网站流量日志埋点收集--方案二--中文乱码问题解决
  • 06--网站流量日志flume收集--新组件taildir source介绍
  • 07--网站流量日志flume收集--配置文件编写和实操
  • 08--网站流量日志flume收集--hdfs--基于文件闲置策略滚动
  • 09--网站流量日志分析--数据预处理--目的意义和mr编程技巧
  • 10--网站流量日志分析--数据预处理--实现思路详解
  • 11--网站流量日志分析--数据预处理--mr代码实现
  • 12--网站流量日志分析--数据预处理--点击流模型概念
  • 13--网站流量日志分析--数据预处理--点击流模型之pageviews模型
  • 14--网站流量日志分析--数据预处理--点击流模型之visit模型
  • 15--网站流量日志分析--数据预处理--点击流模型pageviews编程实现思路
  • 16--网站流量日志分析--数据预处理--点击流模型pageviews代码实现
  • 17--网站流量日志分析--数据预处理--点击流模型visit编程实现思路
  • 18--网站流量日志分析--数据预处理--点击流模型visit代码实现
10-3 网站流量日志分析-数仓设计-模型设计-指标分析
  • 01--网站流量日志分析--数仓设计--维度建模(事实表、维度表)&多维数据分析
  • 02--网站流量日志分析--数仓设计--维度建模三种模式(星型、雪花、星座)
  • 03--网站流量日志分析--数仓设计--本项目中模式设计(星型模式)
  • 04--网站流量日志分析--数据入库--含义和ETL本质解释
  • 05--网站流量日志分析--数据入库--ODS建表操作
  • 06--网站流量日志分析--数据入库--ODS数据导入操作
  • 07--网站流量日志分析--数据入库--宽表、窄表由来概述
  • 08--网站流量日志分析--扩展--hive函数分类(udf、udtf、udaf)
  • 09--网站流量日志分析--扩展--hive lateral view侧视图的使用
  • 10--网站流量日志分析--数据入库--宽表具体实现1--时间拓宽
  • 11--网站流量日志分析--数据入库--宽表具体实现2--解析url
  • 12--网站流量日志分析--分析指标和分析模型--基础级指标
  • 13--网站流量日志分析--分析指标和分析模型--复合级指标
  • 14--网站流量日志分析--分析指标和分析模型--基础、来源分析模型
  • 15--网站流量日志分析--分析指标和分析模型--受访、访客分析模型
  • 16--网站流量日志分析--分析指标和分析模型--漏斗分析模型
10-4 网站流量日志分析-多维统计
  • 01--网站流量日志分析--统计分析--基础指标统计分析(pv、uv)
  • 02--网站流量日志分析--统计分析--基础指标统计分析(vv、ip)
  • 03--网站流量日志分析--统计分析--复合指标分析--平均访问深度
  • 04--网站流量日志分析--统计分析--复合指标分析--平均访问频度
  • 05--网站流量日志分析--统计分析--复合指标分析--平均访问时长
  • 06--网站流量日志分析--统计分析--复合指标分析--跳出率
  • 07--网站流量日志分析--统计分析--多维统计分析--概念
  • 08--网站流量日志分析--统计分析--多维统计分析--时间维度--每小时指标统计
  • 09--网站流量日志分析--统计分析--多维统计分析--时间维度--每天pv统计
  • 10--网站流量日志分析--统计分析--多维统计分析--时间维度--维表关联查询
  • 11--网站流量日志分析--统计分析--多维统计分析--来访referer、时间维度
  • 12--网站流量日志分析--统计分析--多维统计分析--来访host、时间维度
  • 13--网站流量日志分析--统计分析--多维统计分析--终端维度--UA概述
  • 14--网站流量日志分析--统计分析--多维统计分析--终端维度--自定义UDF解析UA
  • 15--网站流量日志分析--统计分析--多维统计分析--了解其他维度分析
  • 16--网站流量日志分析--统计分析--sql补充扩展--如何编写hive sql
  • 17--网站流量日志分析--统计分析--sql补充扩展--group by语法限制解析
10-5 网站流量日志分析-窗口函数-统计分析
  • 01--网站流量日志分析--统计分析--分组topN--业务需求
  • 02--网站流量日志分析--统计分析--分组topN--row_number over函数使用
  • 03--Hive高阶--分组窗口函数--常见的分组函数(rank、denserank、rownumber、ntile)
  • 04--Hive高阶--分组窗口函数--聚合函数集成分组函数(SUM)
  • 05--Hive高阶--分组窗口函数--序列分组函数(CUME_DIST)
  • 06--Hive高阶--分组窗口函数--取值分组函数( LAG,LEAD,FIRST_VALUE,LAST_VALUE)
  • 07--Hive高阶--分组窗口函数--OLAP相关分组函数(GROUPING SETS,CUBE,ROLLUP)
  • 08--网站流量日志分析--统计分析--受访分析热门页面topN
  • 09--网站流量日志分析--统计分析--独立访客分析
  • 10--网站流量日志分析--统计分析--新老访客需求剖析
  • 11--网站流量日志分析--统计分析--新老访客实现(join语句)
  • 12--网站流量日志分析--统计分析--回头单次访客分析
  • 13--网站流量日志分析--统计分析--漏斗模型转化分析&hive级联求和问题
  • 14--网站流量日志分析--统计分析--hive级联求和问题案例
  • 15--网站流量日志分析--统计分析--漏斗模型转化分析实现
10-6 网站流量日志分析-调度-可视化
  • 01--网站流量日志分析--数据导出--概述含义
  • 02--网站流量日志分析--数据导出--全量数据导出详解
  • 03--网站流量日志分析--数据导出--增量数据导出详解
  • 04--网站流量日志分析--数据导出--定时增量数据导出详解
  • 05--网站流量日志分析--工作流调度--概述含义
  • 06--网站流量日志分析--工作流调度--预处理调度--程序打包job编写
  • 07--网站流量日志分析--工作流调度--预处理调度--功能实现
  • 08--网站流量日志分析--工作流调度--数据入库调度
  • 09--网站流量日志分析--工作流调度--数据指标统计分析调度
  • 10--网站流量日志分析--数据可视化--概述含义
  • 11--网站流量日志分析--数据可视化--echarts简单入门
  • 12--网站流量日志分析--数据可视化--后端web工程架构
  • 13--网站流量日志分析--数据可视化--后端web工程整合搭建
  • 14--网站流量日志分析--数据可视化--动态加载数据--数据格式、排序问题剖析
  • 15--网站流量日志分析--数据可视化--动态加载数据--mybatis逆向工程
  • 16--网站流量日志分析--数据可视化--动态加载数据--代码实现
  • 17--(扩展)网站流量日志分析--数据可视化--vue版--前端项目搭建、接口规则说明
  • 18--(扩展)网站流量日志分析--数据可视化--vue版--复杂json格式数据剖析
  • 19--(扩展)网站流量日志分析--数据可视化--vue版--复杂json具体实现

阶段三 大数据 NoSQL、Kafka和ELK技术实战

展开
第一章 大数据 NoSQL、Kafka和ELK技术实战-导学
1-1 大数据 NoSQL、Kafka和ELK技术实战-导学
  • 大数据 NoSQL、Kafka和ELK技术实战-导学
第二章 大数据redis
2-1 redis
  • 001.NoSQL数据库发展历史简介
  • 002.Redis介绍
  • 003.Redis安装
  • 004.String数据类型操作
  • 005.对常用数据结构的操作
  • 006.对位图Bitmaps的操作
  • 007.HyperLogLog结构操作
  • 008.离线架构和实时架构_Redis应用
  • 009.Redis Java操作_Redis连接
  • 010.Jedis String操作
  • 011.Jedis的list_hash_set的操作
  • 012.Redis的两种持久化策略
  • 013.Redis的事务
  • 014.Redis的过期策略和内存淘汰策略
  • 015.主从复制架构
  • 016.三台服务器搭建Redis主从复制
  • 017.哨兵介绍与环境搭建
  • 018.Redis的sentinel模式代码开发连接
  • 019.Redis集群与分区策略
  • 020.Redis集群的特点与集群的规划
  • 021.Redis集群搭建
  • 022.问题解决&学习技术三点
  • 023.主从切换
  • 024.JavaAPI操作redis集群
  • 025.Redis缓存穿透
  • 026.Redis的击穿和雪崩
  • 027.常见Redis高频面试题总结
第三章 大数据kafka
3-1 kafka
  • 001.Kafka简介 - 消息队列
  • 002.Kafka简介 - 应用背景
  • 003.消息队列的两种模型
  • 004.Kafka集群搭建
  • 005.Kafka生产者、消费者测试、KafkaTool工具avi
  • 006.Kafka的基准测试
  • 007.JavaAPI - 生产者程序开发
  • 008.JavaAPI - 消费者程序开发
  • 009.JavaAPI - 生产者使用异步方式生产消息
  • 010.Kafka中的重要概念
  • 011.消费者组演示
  • 012.Kafka幂等性
  • 013.Kafka生产者的分区写入策略
  • 014.Consumer Group Rebalance机制
  • 015.消费者的分区分配策略
  • 016.producer的ACK机制
  • 017.高级API(High-Level API)、低级API(Low-Level API)
  • 018.安装Kafka egale
  • 019.leader和follower
  • 020.topic中的partition的ar、isr、osr
  • 021.controller介绍与leader选举
  • 022.leader的负载均衡
  • 023.Kafka读写流程
  • 024.Kafka的物理存储
  • 025.Kafka的消息不丢失
  • 026.数据积压
  • 027.日志清理
第四章 大数据Elasticstack
4-1 ELASTICSEARCH
  • 001.ElasticSearach的简介
  • 002.使用Lucence建立索引
  • 003.使用Lucence查询关键字
  • 004.ES的核心概念
  • 005.ES集群安装
  • 006.ES集群安装head插件_IK分词器
  • 007.VSCode开发环境与IK分词器
  • 008.创建索引avi
  • 009.使用REST方式演示查询、创建文档
  • 010.使用ES的scroll分页查询解决深分页的问题
  • 011.构建Java ES项目_初始化连接
  • 012.JavaAPI-添加职位数据到ES中
  • 013.JavaAPI-ES查询_删除_搜索_分页
  • 014.JavaAPI-使用scroll分页方式查询
  • 015.JavaAPI-高亮查询
  • 016.架构原理-节点类型分片和副本
  • 017.索引的写入和读取过程
  • 018.Elasticsearch准实时索引实现
  • 019.ES_SQL简介
  • 020.ES_SQL基础的查询
  • 021.ES_SQL_JDBC查询
  • 022.FileBeat基本应用
  • 023.FileBeat的原理架构
  • 024.Logstash
  • 025.Logstash写ES、Grok插件
  • 026.使用Grok解析所有的字段
  • 027.上午总结
  • 028.解决索引名称日期失效的问题
  • 029.使用Logstash配合插件写入数据到ES中
  • 030.Kibana介绍
  • 031.Kibana索引模式和Discovery
  • 032.Discovery组件
  • 033.可视化展示
  • 034.索引生命周期管理
第五章 大数据hbase
5-1 hbase
  • 001.Hadoop和HBase
  • 002.HBase的应用场景
  • 003.HBase对比mysq、对比Hive
  • 004.HBase安装
  • 005.参考硬件配置
  • 006.HBase的数据模型
  • 007.HBase_shell操作
  • 008.计数器和简单scan扫描操作
  • 009.使用RowFilter过滤器来进行过滤
  • 010.使用列过滤器和组合过滤器
  • 012.HBase计数器
  • 013.HBase的管理命令
  • 014.Java编程——建表操作
  • 015.Java编程——插入数据操作
  • 016.Java编程——根据rowkey获取数据
  • 017.Java编程——scan + filter过滤操作
  • 018.HBase的HMaster高可用
  • 019.HBase的架构模型
  • 020.昨日回顾_今日目标
  • 021.案例介绍+环境搭建
  • 022.名称空间
  • 023.列蔟设计_版本设计_数据压缩
  • 024.避免热点的关键操作
  • 025.预分区
  • 026.项目初始化
  • 027.Java代码开发——随机生成一条数据
  • 028.Java代码开发——生成rowkey
  • 029.Java代码开发——将随机生成的数据推入到HBase
  • 030.Java代码开发——实现getMessage数据接口
  • 031.Apache Phoenix介绍
  • 032.Phoenix安装
  • 033.Phoenix的建表语法
  • 034.Phoenix数据操作语法
  • 035.Phoenix的分页查询
  • 036.Phoenix预分区
  • 037.Phoenix创建视图
  • 038.Phoenix JDBC开发
  • 039.Phoenix4种索引类型
  • 040.Phoenix全局索引_覆盖索引
  • 041.Phoenix本地索引_函数索引
  • 042.关于Phoenix本地索引SALT_BUCKETS不支持问题
  • 043.HBase的读流程
  • 044.HBase的写数据流程和2.x_in_meory_compaction
  • 045.写数据的两阶段合并
  • 046.Region的管理
  • 047.Master上下线
  • 048.Bulkload和Mapper实现
  • 049.Bulkload Driver开发和排错技巧
  • 050.HBase协处理器
  • 051.HBase事务
  • 052.常见数据结构理解
  • 053.LSM树
  • 054.布隆过滤器BloomFilter
  • 055.StoreFile结构

阶段四 大数据 Spark 内存计算系统

展开
第一章 大数据 Spark 内存计算系统-导学
1-1 大数据 Spark 内存计算系统-导学
  • 大数据 Spark 内存计算系统-导学
第二章 会员版(2.1)-Scala语言
2-1 scala_语法基础
  • 01.学习目标
  • 02.scala语言简介
  • 03.scala开发环境安装
  • 04.scala解释器
  • 05.变量
  • 06.字符串
  • 07.数据类型与操作符
  • 08.条件表达式
  • 09.循环
  • 10.break和continue
  • 11.方法定义
  • 12.方法参数
  • 13.方法调用方式
  • 14.函数
  • 15.数组-定长数组
  • 16.数组-变长数组
  • 17.数组-遍历数组
  • 18.数组-常用算法
  • 19.元组
  • 20.不可变列表
  • 21.可变列表
  • 22.列表常用操作一
  • 23.列表常用操作二avi
  • 24.不可变集
  • 25.可变集
  • 26.映射
  • 27.iterator迭代器
  • 28.函数式编程-foreach方法
  • 29.函数式编程 -map方法
  • 30.函数式编程-flatMap方法
  • 31.函数式编程-filter方法
  • 32.函数式编程-排序
  • 33.函数式编程-groupBy
  • 34.函数式编程-reduce、fold
2-2 scala_类_对象
  • 01.学习目标
  • 02.类和对象-创建类和对象
  • 03.类和对象-定义成员变量
  • 04.类和对象-使用下划线初始化成员变量
  • 05.类和对象-定义成员方法
  • 06.类和对象-访问修饰符
  • 07.类和对象-主构造器
  • 08.类和对象-辅助构造器
  • 09.单例对象
  • 10.单例对象-工具类案例
  • 11.单例对象-main方法
  • 12.伴生对象
  • 13.伴生对象-apply方法
  • 14.继承
  • 15.override和super
  • 16.isInstanceOf和asInstanceOf.avi
  • 17.getClass和classOf
  • 18.抽象类_抽象方法
  • 19.匿名内部类
  • 20.特质-作为接口使用
  • 21.特质-定义具体方法
  • 22.特质-定义具体字段和抽象字段
  • 23.特质-使用trait实现模板模式
  • 24.特质-对象混入trait
  • 25.特质-trait实现调用链模式
2-3 scala_模式匹配_异常处理
  • 01.课程目标
  • 02.样例类
  • 03.样例类-样例类生成的方法
  • 04.样例对象
  • 05.模式匹配-简单模式匹配
  • 06.模式匹配-匹配类型
  • 07.模式匹配-守卫
  • 08.模式匹配-匹配样例类
  • 09.模式匹配-匹配集合
  • 10.模式匹配-变量声明中的模式匹配
  • 11.Option类型
  • 12.偏函数
  • 13.正则表达式
  • 14.异常处理-捕获异常
  • 15.异常处理-抛出异常
  • 16.提取器
  • 17.泛型-定义泛型方法
  • 18.泛型-定义泛型类
  • 19.泛型-上下界
  • 20.泛型-协变、逆变、非变
  • 21.Actor并发编程-Actor介绍
  • 22.Actor并发编程-创建Actor
  • 23.Actor并发编程-发送接收消息
  • 24.Actor并发编程-持续接收消息
  • 25.Actor并发编程-发送接收自定义消息(同步方式)
  • 26.Actor并发编程-发送接收自定义消息(异步无返回方式)
  • 27.Actor并发编程-发送接收自定消息(异步有返回消息)
  • 28.WordCount案例 - 思路分析
  • 29.WordCount案例 - 获取文件列表
  • 30.WordCount案例 - 创建WordCountActor
  • 31.WordCount案例 - 启动Actor、发送接收消息
  • 32.WordCount案例 - 消息统计文件单词计数
  • 33.WordCount案例 - 封装单词计数结果返回给mainactor
  • 34.WordCount案例 - 合并结果
2-4 scala_高阶函数
  • 01.今日目标
  • 02.高阶函数 - 作为值的函数
  • 03.高阶函数 - 匿名函数
  • 04.高阶函数 - 柯里化
  • 05.高阶函数 - 闭包
  • 06.隐式转换
  • 07.自动导入隐式转换
  • 08.隐式参数
  • 09.Akka - Akka简介
  • 10.Akka入门案例 - Maven项目构建
  • 11.Akka入门案例 - 创建并加载Actor
  • 12.Akka入门案例 - 发送接收消息
  • 13.Akka定时任务
  • 14.Akka进程间通信 - Worker实现
  • 15.Akka进程间通信 - Master实现
  • 16.简易Spark通信框架 - 实现思路
  • 17.简易Spark通信框架 - 工程搭建
  • 18.简易Spark通信框架 - 构建master和worker
  • 19.简易Spark通信框架 - worker注册阶段实现
  • 20.简易Spark通信框架 - worker定时发送心跳消息
  • 21.简易Spark通信框架 - master定时心跳检测阶段
  • 22.简易Spark通信框架 - 多个worker测试阶段
第三章 会员版(2.1)-Spark入门以及集群搭建
3-1 Spark入门以及集群搭建
  • 01_Spark概述_目标
  • 02_Spark概述_Spark是什么
  • 03_Spark概述_Spark的特点
  • 04_Spark概述_Spark的组成
  • 05_Spark集群搭建_Spark集群结构
  • 06_Spark集群搭建_Spark集群结构_扩展
  • 07_Spark环境搭建_下载和解压Spark安装包
  • 08_Spark环境搭建_配置HistoryServer
  • 09_Spark集群搭建_分发和启动
  • 10_Spark集群搭建_高可用配置
  • 11_Spark集群搭建_第一个案例
  • 12_Spark入门_代码编写方式
  • 13_Spark入门_SparkShell本地文件读取
  • 14_Spark入门_执行过程
  • 15_Spark入门_读取HDFS上的文件
  • 16_Spark入门_独立应用编写
  • 17_Spark入门_独立应用的运行方式
  • 18_RDD入门_RDD是什么
  • 19_RDD入门_SparkContext
  • 20_RDD入门_创建RDD的三种方式
  • 21_RDD入门_Map算子
  • 22_RDD入门_FlatMap算子
  • 23_RDD入门_ReduceByKey算子
第四章 会员版(2.1)-spark_rdd算子
4-1 RDD_定义_转换算子
  • 01_深入RDD_课程结构
  • 02_深入RDD_初始案例_步骤
  • 03_深入RDD_初始案例_代码编写
  • 04_深入RDD_问题_如何运行在集群中
  • 05_深入RDD_问题_分解和容错
  • 06_深入RDD_定义_出现的背景
  • 07_深入RDD_定义_RDD的特点
  • 08_深入RDD_定义_什么叫做弹性分布式数据集
  • 09_深入RDD_定义_五大属性
  • 10_RDD算子_分类
  • 11_RDD算子_转换_回顾
  • 12_RDD算子_转换_mapPartitions
  • 13_RDD算子_转换_Filter
  • 14_RDD算子_转换_Sample
  • 15_RDD算子_转换_mapValues
  • 16_RDD算子_转换_集合操作
  • 17_RDD算子_转换_groupByKey
  • 18_RDD算子_转换_combineByKey
  • 19_RDD算子_转换_foldByKey
  • 20_RDD算子_转换_aggregateByKey
  • 21_RDD算子_转换_join
  • 22_RDD算子_转换_排序
  • 23_RDD算子_转换_重分区
  • 24_RDD算子_转换_总结
4-2 RDD_action算子_分区_缓存
  • 01_RDD算子_Action_reduce
  • 02_RDD算子_Action_foreach
  • 03_RDD算子_Action_countByKey
  • 04_RDD算子_Action_take
  • 05_RDD算子_Action_总结
  • 06_RDD算子_KV类型的支持
  • 07_RDD算子_数字型的支持
  • 08_阶段练习_需求介绍和明确步骤
  • 09_阶段练习_代码编写
  • 10_阶段练习_总结
  • 11_RDD的分区和Shuffle_介绍
  • 12_RDD的分区和Shuffle_查看分区
  • 13_RDD的分区和Shuffle_创建RDD时指定分区数
  • 14_RDD的分区和Shuffle_通过算子重分区
  • 15_RDD的分区和Shuffle_通过其他算子指定分区数
  • 16_RDD的分区和Shuffle_Shuffle过程扫盲
  • 17_RDD的缓存_缓存的意义_案例介绍
  • 18_RDD的缓存_缓存的意义_过程代码
  • 19_RDD的缓存_缓存的意义_结论
  • 20_RDD的缓存_缓存的API
  • 21_RDD的缓存_缓存级别
  • 22_Checkpoint_意义
  • 23_Checkpoint_使用
第五章 会员版(2.1)-Spark原理_运行过程_高级特性
5-1 Spark原理_运行过程_高级特性
  • 01_Spark原理_概述和思路
  • 02_Spark原理_总体介绍_概要
  • 03_Spark原理_总结介绍_案例编写
  • 04_Spark原理_总体介绍_集群环境
  • 05_Spark原理_总体介绍_逻辑执行图
  • 06_Spark原理_总体介绍_物理执行图
  • 07_Spark原理_逻辑图_HadoopRDD的生成
  • 08_Spark原理_逻辑图_MapPartitionsRDD
  • 09_Spark原理_逻辑图_小结
  • 10_Spark原理_逻辑图_RDD之间的关系_一对一
  • 11_Spark原理_逻辑图_RDD之间的关系_多对一
  • 12_Spark原理_逻辑图_窄依赖_案例
  • 13_Spark原理_逻辑图_窄依赖_分析
  • 14_Spark原理_逻辑图_宽依赖_分析
  • 15_Spark原理_逻辑图_宽窄依赖判断
  • 16_Spark原理_逻辑图_窄依赖的分类_看源码
  • 17_Spark原理_逻辑图_窄依赖的分类_分析
  • 18_Spark原理_逻辑图_总结
  • 19_Spark原理_物理图_介绍
  • 20_Spark原理_物理图_Task设计
  • 21_Spark原理_物理图_Stage划分
  • 22_Spark原理_物理图_案例总结
  • 23_Spark原理_运行过程_概念介绍
  • 24_Spark原理_运行过程_Job和Stage的关系
  • 25_Spark原理_运行过程_Stage和Task的关系
  • 26_Spark原理_运行过程_总结和流程
  • 27_高级特性_闭包_概念
  • 28_高级特性_闭包_Spark闭包分发
  • 29_高级特性_累加器
  • 30_高级特性_广播
第六章 会员版(2.1)-sparksql
6-1 SparkSQL_使用场景_优化器_Dataset
  • 01_SparkSQL是什么_命令式和声明式的区别
  • 02_SparkSQL是什么_历史和重要性
  • 03_SparkSQL是什么_适用场景
  • 04_SparkSQL初体验_命令式案例
  • 05_SparkSQL初体验_Dataset和DataFrame
  • 06_SparkSQL初体验_SQL案例
  • 07_扩展_Catalyst优化器_SparkSQL和RDD的区别
  • 08_扩展_Catalyst优化器_优化过程
  • 09_扩展_Catalyst优化器_查看计划
  • 10_Dataset介绍_Dataset是什么
  • 11_Dataset介绍_Dataset底层类型
  • 12_Dataset介绍_将Dataset转为同泛型的RDD
  • 13_DataFrame介绍_DataFrame是什么
  • 14_DataFrame介绍_创建_toDF
  • 15_DataFrame介绍_创建_read
  • 16_DataFrame介绍_操作
  • 17_Dataset和DataFrame的区别_区别
  • 18_Dataset和DataFrame的区别_Row对象
6-2 SparkSQL读写_hive_mysql_案例
  • 01_SparkSQL读写_介绍
  • 02_SparkSQL读写_Reader
  • 03_SparkSQL读写_Writer
  • 04_SparkSQL读写_Parquet
  • 05_SparkSQL读写_分区
  • 06_SparkSQL读写_JSON
  • 07_SparkSQL读写_JSON小技巧
  • 08_SparkSQL读写_Hive_整合
  • 09_SparkSQL读写_Hive_创建Hive表
  • 10_SparkSQL读写_Hive_读取Hive表
  • 11_SparkSQL读写_Hive_SparkSQL创建Hive表
  • 12_SparkSQL读写_Hive_写入数据_配置
  • 13_SparkSQL读写_Hive_写入数据_编码和运行
  • 14_SparkSQL读写_JDBC_MySQL环境准备
  • 15_SparkSQL读写_JDBC_写入数据
6-3 Dataset (DataFrame) 的基础操作
  • 01_有类型转换_map
  • 02_有类型转换_transform_
  • 03_有类型转换_as
  • 04_有类型转换_filter
  • 05_有类型转换_groupByKey
  • 06_有类型转换_split_
  • 07_有类型转换_orderBy
  • 08_有类型转换_去重
  • 09_有类型转换_集合操作
  • 10_无类型转换_选择
  • 11_无类型转换_列操作
  • 12_无类型转换_groupBy
  • 13_Column对象_创建1
  • 14_Column对象_创建_有绑定
  • 15_Column对象_操作_别名和类型
  • 16_Column对象_操作_API
  • 17_缺失值处理_什么是缺失值
  • 18_缺失值处理_null&NaN_读取文件
  • 19_缺失值处理_null&NaN_处理
  • 20_缺失值处理_字符串缺失值
6-4 SparkSQL_聚合操作_连接操作
  • 01_聚合操作_groupBy_数据读取
  • 02_聚合操作_groupBy_聚合操作
  • 03_聚合操作_多维聚合_需求介绍
  • 04_聚合操作_多维聚合_编写代码
  • 05_聚合操作_多维聚合_rollup
  • 06_聚合操作_多维聚合_rollup案例
  • 07_聚合操作_多维聚合_cube
  • 08_聚合操作_多维聚合_cubeSQL
  • 09_聚合操作_多维聚合_GroupedDataset
  • 10_连接操作_入门_介绍
  • 11_连接操作_入门_案例
  • 12_连接操作_连接类型_cross
  • 13_连接操作_连接类型_inner
  • 14_连接操作_连接类型_fullouter
  • 15_连接操作_连接类型_left
  • 16_连接操作_连接类型_semi&anti
  • 17_函数_UDF
  • 18_函数_窗口1
  • 19_函数_窗口2
6-5 SparkSQL_出租车利用率分析案例
  • 01_项目分析_业务场景
  • 02_项目分析_流程分析
  • 03_工程搭建_创建
  • 04_工程搭建_读取数据
  • 05_数据清洗_思路和步骤
  • 06_数据清洗_创建Trip类
  • 07_数据清洗_包装Row处理空值
  • 08_数据清洗_数据转换
  • 09_数据清洗_异常处理_Either
  • 10_数据清洗_异常处理_完成逻辑
  • 11_数据清洗_转换完成
  • 12_数据清洗_剪除反常数据_统计分布
  • 13_数据清洗_剪除反常数据
  • 14_行政区信息_介绍
  • 15_行政区信息_JSON解析
  • 16_行政区信息_GeoJSON介绍
  • 17_行政区信息_JSON解析实现
  • 18_行政区信息_Geometry实现
  • 19_行政区统计_功能实现
  • 20_会话统计_得出结果
第七章 会员版(2.1)-SparkStreaming原理_运行过程_高级特性
7-1 SparkStreaming_原理_案例
  • 01_SparkStreaming介绍_场景
  • 02_SparkStreaming介绍_流计算和批计算的区别
  • 03_SparkStreaming介绍_架构
  • 04_SparkStreaming介绍_特点
  • 05_SparkStreaming案例_Socket回顾
  • 06_SparkStreaming案例_Netcat
  • 07_SparkStreaming案例_创建工程
  • 08_SparkStreaming案例_代码编写
  • 09_SparkStreaming案例_运行
  • 10_SparkStreaming案例_解释说明
  • 11_SparkStreaming原理_问题提出
  • 12_SparkStreaming原理_DStream的有向无环图
  • 13_SparkStreaming原理_DStream的静态和动态
  • 14_SparkStreaming原理_Receiver
  • 15_SparkStreaming原理_容错
第八章 会员版(2.1)-Structured Streaming_介绍_案例
8-1 Structured Streaming_介绍_案例
  • 01_Structured_介绍_历史更迭
  • 02_Structured_介绍_序列化更迭
  • 03_Structured_介绍_对比
  • 04_Structured_案例_介绍
  • 05_Structured_案例_代码编写
  • 06_Structured_案例_运行和总结
  • 07_Structured_体系结构_无限扩展的表
  • 08_Structured_体系结构
  • 09_Structured_Source_HDFS_案例介绍
  • 10_Structured_Source_HDFS_生成并上传文件到HDFS
  • 11_Structured_Source_HDFS_Spark代码
  • 12_Structured_Source_Kafka_回顾
  • 13_Structured_Source_Kafka_整合
  • 14_Structured_Source_Kafka_需求
  • 15_Structured_Source_Kafka_连接
  • 16_Structured_Sink_HDFS
  • 17_Structured_Sink_Kafka
  • 18_Structured_Sink_Foreach
  • 19_Structured_Sink_Trigger
  • 20_Structured_Sink_容错语义

阶段五 大数据 Spark 内存计算系统项目实战

展开
第一章 大数据 Spark 项目实战-导学
1-1 大数据 Spark 项目实战-导学
  • 大数据 Spark 项目实战-导学
第二章 会员版(2.1)-Kudu入门_项目介绍_ CDH搭建
2-1 Kudu入门_原理_ CDH搭建
  • 01_Kudu入门_应用场景_项目介绍
  • 02_Kudu入门_应用场景_方案一
  • 03_Kudu入门_应用场景_方案二
  • 04_Kudu入门_应用场景_方案三
  • 05_Kudu入门_应用场景_Kudu
  • 06_Kudu入门_对比_OLAP和OLTP
  • 07_Kudu入门_对比_列式和行式
  • 08_Kudu入门_对比
  • 09_Kudu原理_Kudu是什么
  • 10_Kudu原理_总体设计
  • 11_Kudu原理_各个角色的作用
  • 12_Kudu原理_存储原理
  • 13_CDH搭建_创建虚拟机
  • 14_CDH搭建_安装CentOS
  • 15_CDH搭建_网络配置
  • 16_CDH搭建_时间同步
  • 17_CDH搭建_主机名修改
  • 18_CDH搭建_关闭SELinux
  • 19_CDH搭建_关闭防火墙
  • 20_CDH搭建_免密登录
  • 21_CDH搭建_安装Java
  • 22_CDH搭建_仓库搭建_仓库下载
  • 23_CDH搭建_仓库搭建_配置仓库服务器和源
第三章 会员版(2.1)-Kudu_javaApi使用_Spark整合
3-1 Kudu_javaapi使用_Spark整合
  • 01_CDH搭建_Zookeeper(1)
  • 02_CDH搭建_Hadoop_安装包
  • 03_CDH搭建_Hadoop_HDFS_主节点
  • 04_CDH搭建_Hadoop_HDFS_从节点和总结
  • 05_CDH搭建_Hadoop_Yarn搭建
  • 06_CDH搭建_Hadoop_MySQL
  • 07_CDH搭建_Hive_安装和创建用户
  • 08_CDH搭建_Hive_搭建完成
  • 09_CDH搭建_Kudu
  • 10_CDH搭建_Impala
  • 11_CDH搭建_Hue
  • 12_Kudu使用_创建工程
  • 13_Kudu使用_JavaAPI_创建表
  • 14_Kudu使用_JavaAPI_插入数据
  • 15_Kudu使用_JavaAPI_扫描
  • 16_KuduSpark_DDL
  • 17_KuduSpark_CRUD
  • 18_KuduSpark_DF优势
  • 19_KuduSpark_DF读写Kudu表
  • 20_KuduSpark_Impala访问Kudu
第四章 会员版(2.1)-DMP项目_业务介绍_框架搭建
4-1 DMP项目_业务介绍_框架搭建
  • 01_业务介绍_概念
  • 02_业务介绍_AdNetwork
  • 03_业务介绍_AdExchange
  • 04_业务介绍_RTB
  • 05_业务介绍_DMP介绍
  • 06_方案_技术方案
  • 07_方案_我们能学到什么
  • 08_方案_数据集介绍
  • 09_框架搭建_创建工程
  • 10_框架搭建_需求介绍
  • 11_框架搭建_配置文件加载
  • 12_框架搭建_配置文件工具类思路介绍
  • 13_框架搭建_配置文件工具类编写
  • 14_框架搭建_Kudu工具类_介绍
  • 15_框架搭建_Kudu工具类_隐式转换
  • 16_框架搭建_Kudu工具类_创建表
  • 17_框架搭建_Kudu工具类_读取表
  • 18_框架搭建_Kudu工具类_写入数据
第五章 会员版(2.1)-DMP项目_IP转换_报表统计
5-1 DMP项目_IP转换_报表统计
  • 01_IP转换_IP2Region
  • 02_IP转换_GeoLite
  • 03_IP转换_框架设计
  • 04_IP转换_环境准备
  • 05_IP转换_思路梳理
  • 06_IP转换_功能实现
  • 07_IP转换_数据落地
  • 08_报表统计_数据的区域分布_环境准备
  • 09_报表统计_数据的区域分布_代码开发
  • 10_报表统计_执行框架_设计
  • 11_报表统计_执行框架_框架编写
  • 12_报表统计_执行框架_旧模块改造
  • 13_报表统计_广告投放统计_需求介绍
  • 14_报表统计_广告投放统计_代码实现
第六章 会员版(2.1)-DMP项目_实现商圈库功能
6-1 DMP项目_实现商圈库功能
  • 01_商圈库_思路梳理
  • 02_商圈库_Http_TCP
  • 03_商圈库_Http_协议
  • 04_商圈库_Http_请求方式
  • 05_商圈库_Http_Http工具
  • 06_商圈库_Http_Okhttp使用和封装
  • 07_商圈库_Json_介绍
  • 08_商圈库_Json_JSON4S
  • 09_商圈库_Json_工具类
  • 10_商圈库_功能_环境代码编写
  • 11_商圈库_功能_思路
  • 12_商圈库_功能_UDF实现功能
  • 13_商圈库_功能_求差获取商圈
  • 14_商圈库_功能_完成
第七章 会员版(2.1)-DMP项目_统一识别
7-1 DMP项目_统一识别
  • 01_打标签_环境准备
  • 02_打标签_生成标签
  • 03_打标签_完成
  • 04_统一识别_图计算
  • 05_统一识别_定义类型
  • 06_统一识别_图计算
  • 07_统一识别_标签聚合
  • 08_统一识别_完成

阶段六 大数据 flink 实时计算系统

展开
第一章 大数据 Flink 实时计算系统-导学
1-1 大数据 Flink 实时计算系统-导学
  • 大数据 Flink 实时计算系统-导学
第二章 会员版(2.1)-Flink基础
2-1 Flink基础介绍
  • 01_学习目标
  • 02_Flink介绍_Flink引入
  • 03_Flink介绍_什么是Flink
  • 04_Flink介绍_性能比较
  • 05_Flink和阿里巴巴
  • 06_Flink部署_伪集群模式安装
  • 07_Flink部署_StandAlone集群模式安装
  • 08_Flink部署_StandAlone集群HA模式安装
  • 09_Flink部署_Yarn集群环境
  • 10_Flink部署_Yarn-session介绍_会话模式
  • 11_Flink部署_分离模式
  • 12_Flink基石介绍
  • 13_Flink组件栈
  • 14_Flink编程模型
  • 15_Flink程序结构
  • 16_Flink并行数据流
  • 17_任务调度与执行
  • 18_Flink统一的流处理与批处理
  • 19_Flink的应用场景
2-2 Flink批处理开发
  • 01_学习目标
  • 02_批处理环境搭建
  • 03_加载本地数据源
  • 04_加载文件数据源
  • 05_Transformation简介
  • 06_转换操作_map
  • 07_转换操作_flatmap
  • 08_转换操作_mapPartition
  • 09_转换操作_filter
  • 10_转换操作_reduce
  • 11_转换操作_reduceGruop
  • 12_转换操作_aggregate
  • 13_转换操作_distinct
  • 14_转换操作_union
  • 15_转换操作_rebalance
  • 16_转换操作_PartitionByHash
  • 17_转换操作_sortPartition
  • 18_落地操作_本地集合
  • 19_落地操作_本地文件
  • 20_Flink本地执行环境
  • 21_Flink集群执行环境
  • 22_广播变量
  • 23_Flink的累加器
  • 24_分布式缓存
2-3 Flink流处理开发
  • 01_学习目标
  • 02_数据源_集合
  • 03_数据源_基于文件
  • 04_数据源_基于网络套接字
  • 05_数据源_自定义source
  • 06_数据源_Kafka
  • 07_数据源_MySQL
  • 08_转换操作_keyBy
  • 09_转换操作_Connect
  • 10_转换操作_Split和select
  • 11_数据落地_Kafka
  • 12_数据落地_MySql
  • 13_Window操作_什么是Window
  • 14_Window操作_时间窗口介绍
  • 15_Window操作_TumblingTimeWindow
  • 16_Window操作_SlidingTimeWindow
  • 17_Window操作_CountWindow
  • 18_Window操作_ apply
  • 19_水印机制_时间类型
  • 20_水印机制_介绍
  • 21_水印机制_代码实现
第三章 会员版(2.1)-Flink 高级进阶
3-1 Flink高级开发
  • 01_学习目标
  • 02_State介绍
  • 03_Keyed State介绍
  • 04_Operate State介绍
  • 05_CheckPoint介绍
  • 06_Barrier介绍
  • 07_Checkpoint持久化方案
  • 08_CheckPoint案例介绍
  • 09_CheckPoint案例开发-自定义数据源
  • 10_CheckPoint案例开发-自定义状态
  • 11_CheckPoint案例开发-自定义Window和检查点
  • 12_CheckPoint案例开发-主业务
  • 13_FlinkSql_介绍
  • 14_Table API和SQL程序的结构
  • 15_FlinkSql_入门案例_DataStream或DataSet转换为表格
  • 16_FlinkSql_入门案例_表转换为DataStream
  • 17_FlinkSql_入门案例_表转换为DataSet
  • 18_FlinkSql_批处理案例1
  • 19_FlinkSql_批处理案例2
  • 20_FlinkSql_流处理案例

阶段七 大数据 flink 项目实战

展开
第一章 大数据 Flink 项目实战-导学
1-1 大数据 Flink 项目实战-导学
  • 大数据 Flink 项目实战-导学
第二章 会员版(2.1)-Flink电商指标分析项目
2-1 项目简介以及上报服务系统开发
  • 01_项目简介
  • 02_项目流程介绍
  • 03_项目的技术选型
  • 04_IDEA工程搭建
  • 05_SpringBoot简介
  • 06_SpringBoot入门案例
  • 07_Kafka-Manager安装
  • 08_KafkaTemplate创建
  • 09_KafkaTemplate测试
  • 10_自定义分区
  • 11_上报服务模块编写
  • 12_消息模拟器
2-2 Flink整合kafka开发
  • 13_实时分析系统介绍
  • 14_ConfigFactory使用
  • 15_初始化Flink流式环境
  • 16_添加checkpoint的支持
  • 17_整合Kafka
  • 18_消息转换为元组
  • 19_消息转换为样例类ClickLog
  • 20_消息转换为样例类Message
  • 21_添加水印支持
2-3 HBaseUtil工具类开发
  • 01_HBase工具类介绍
  • 02_HBaseUtil基本设置
  • 03_HBaseUtil之getTable编写
  • 04_HBaseUtil之putData
  • 05_HBaseUtil之getData
  • 06_HBaseUtil之putMapData
  • 07_HBaseUtil之getMapData
  • 08_HBaseUtil之deleteData
2-4 实时数据业务分析开发
  • 09_业务开发流程介绍
  • 10_实时数据预处理_创建宽表样例类
  • 11_实时数据预处理_扩宽地域时间
  • 12_实时数据预处理_扩宽isNew
  • 13_实时数据预处理_扩宽isHourNew_isDayNew_isMonthNew
  • 14_业务分析_实时频道热点
  • 15_业务分析_实时频道热点_落地HBase
  • 16_业务分析_频道小时维度PVUV
  • 17_业务分析_频道天月维度PVUV
  • 18_业务分析_用户新鲜度
  • 19_业务分析_用户新鲜度_落地HBase
  • 1_业务分析_模板方法抽取BaseTask
  • 2_业务分析_重构新鲜度分析
  • 3_业务分析_频道地域
  • 4_业务分析_频道地域落地HBase
  • 5_业务分析_运营商分析
  • 6_业务分析_运营商分析_落地HBase
  • 7_业务分析_浏览器分析
2-5 实时数据同步系统开发
  • 8_实时同步系统介绍
  • 9_采集方案_LogStash介绍
  • 10_采集方案_Canal介绍
  • 11_数据库采集系统介绍
  • 12_MySql离线安装
  • 13_MySql开启binlog
  • 14_MySql主从复制介绍
  • 15_Cananl原理介绍
  • 16_Canal安装
  • 17_Canal采集程序搭建【废弃待重录】
  • 01_binlog说明
  • 02_Flink实时同步应用开发介绍
  • 03_项目初始化
  • 04_Flink初始化
  • 05_Flink整合Kafka
  • 06_消息转换为Canal样例类
  • 07_添加水印
  • 08_HBaseOperation样例类
  • 09_Canal转HBaseOperation介绍
  • 10_PreprocessTask开发
  • 11_Canal数据存储到HBase
2-6 Flink离线分析系统开发
  • 12_离线分析系统简介
  • 13_初始化Flink批处理环境
  • 14_导入测试数据
  • 15_整合HBase
  • 16_测试读取HBase表数据_解决版本冲突
  • 17_JSON转换为样例类
  • 18_数据预处理_拓宽时间字段
  • 19_业务分析_不同支付方式
  • 20_业务分析_不同商家
  • 21_项目总结

阶段八 大数据新技术实战详解

展开
第一章 大数据新技术实战详解-导学
1-1 大数据新技术实战详解-导学
  • 大数据新技术实战详解-导学
第二章 会员版(2.1)-druid
2-1 druid_集群搭建_架构
  • 1-druid介绍
  • 2-druid单机版安装
  • 3-druid单机版加载&查询数据
  • 4-druid重要概念roll-up
  • 5-druid重要概念-列式存储
  • 6-druid中的datasource与segment概念介绍
  • 7-segment的存储结构
  • 8-druid中的位图索引
  • 9-druid架构及原理介绍
  • 10druid集群搭建-historical配置
  • 11druid集群搭建-middlemanager配置
  • 12-druid集群搭建-broker节点配置
  • 13-druid集群搭建coordinator&overlord
  • 14-druid集群搭建启动验证
  • 15-druid离线-本地索引方式加载数据
  • 16-druid离线-hadoopdruidindexer方式摄取数据
  • 17-druid-实时摄取数据-kafkaindexingservice
2-2 druid_数据查询_广告点击项目案例开发
  • 01-druid数据查询-filter-selector
  • 2-正则过滤器(regexfilter)
  • 03-druid数据查询-(logical expression filter)
  • 04-druid数据查询-filter-in过滤器
  • 05-druid数据查询(boundfilter)
  • 06-granularity-simple
  • 07-granularity(duration&period)
  • 08-aggregator之countAggregator&sumAggregator
  • 09-aggregator-Min&MaxAggregator
  • 10-aggregator-去重聚合器datasketch-aggregator
  • 11-postAggregator-点击率
  • 12-时间序列查询
  • 13-topN查询
  • 14-groupBy查询
  • 15-druid项目介绍
  • 16-druid项目日志模拟程序
  • 17-模拟程序发送日志数据到kafka
  • 18-项目案例预处理
  • 19-flink生产消息到kafka
  • 20-druid从kafka实时摄取数据
  • 21-项目案例可视化

阶段九 大项目实战—企业级360°全方位用户画像

展开
第一章 用户画像项目-项目介绍
1-1 项目介绍
  • 001-项目介绍-课程体系
  • 002-项目介绍-什么是用户画像-应用场景-精细化运营
  • 003-项目介绍-什么是用户画像-应用场景-推荐系统
  • 004-项目介绍-什么是用户画像-概念
1-2 计算框架选型
  • 005-项目介绍-计算框架选型-离线数仓
  • 006-项目介绍-计算框架选型-实时数仓
  • 007-项目介绍-计算框架选型-离线画像
  • 008-项目介绍-计算框架选型-实时画像
1-3 项目结构
  • 009-项目介绍-项目结构-项目功能
  • 010-项目介绍-项目结构-项目架构
  • 011-项目介绍-项目结构-项目情况
第二章 用户画像项目-集群搭建
2-1 集群介绍
  • 012_集群搭建_设计集群_资源预估
  • 013_集群搭建_设计集群_完成
  • 014_集群搭建_部署和管理集群的工具_介绍
  • 015_集群搭建_部署和管理集群的工具_三种部署方式
2-2 自动化部署
  • 016_集群搭建_自动创建虚拟机_介绍Vagrant
  • 017_集群搭建_自动创建虚拟机_初体验
  • 018_集群搭建_自动创建虚拟机_Provision
  • 019_集群搭建_自动创建虚拟机_创建集群
  • 020_集群搭建_自动化部署_Ansible介绍
  • 021_集群搭建_自动化部署_脚本结构
  • 022_集群搭建_自动化部署_部署完成
第三章 用户画像项目-数据抽取
3-1 数据抽取介绍
  • 023_数据抽取_BulkLoad介绍
  • 024_数据抽取_ToHive
  • 025_数据抽取_ToHBase_工程创建
  • 026_数据抽取_ToHBase_思路梳理
3-2 数据抽取实现
  • 027_数据抽取_ToHBase_SaveAsHFile
  • 028_数据抽取_ToHBase_BulkLoad
  • 029_数据抽取_ToHBase_任务执行
第四章 用户画像项目-调度平台介绍
4-1 调度平台
  • 030_调度平台_项目结构
  • 031_调度平台_Oozie介绍
  • 032_调度平台_Oozie组件
  • 033_调度平台_访问流程
  • 034_调度平台_调用Oozie的流程
第五章 用户画像项目-匹配型标签
5-1 SHC 介绍
  • 035_匹配型标签_SHC读取
  • 036_匹配型标签_SHC写入
  • 037_匹配型标签_SHC使用JSON的Catalog
5-2 性别标签
  • 038_匹配型标签_性别标签_标签处理流程
  • 039_匹配型标签_性别标签_读取四级标签数据
  • 040_匹配型标签_性别标签_标签转对象和读取五级标签
  • 041_匹配型标签_性别标签_读取元数据
  • 042_匹配型标签_性别标签_元数据分类
  • 043_匹配型标签_性别标签_源数据读取
  • 044_匹配型标签_性别标签_标签匹配
  • 045_匹配型标签_性别标签_存入画像表
  • 046_匹配型标签_优化点_SHC工具类
5-3 职业标签
  • 047_匹配型标签_职业标签_上线流程
  • 048_匹配型标签_职业标签_读取标签
  • 049_匹配型标签_职业标签_读取数据源
  • 050_匹配型标签_职业标签_计算保存
5-4 其它标签
  • 051_匹配型标签_基类抽取_完成
  • 052_匹配型标签_国籍标签
  • 053_匹配型标签_政治面貌
  • 054_匹配型标签_调度执行
第六章 用户画像项目-存储选型
6-1 MySQL
  • 055-项目介绍-存储选型-访问特点
  • 056-项目介绍-存储选型-MySQL-查找二叉树
  • 057-项目介绍-存储选型-MySQL-B树
  • 058-项目介绍-存储选型-MySQL-B树-插入
  • 059-项目介绍-存储选型-MySQL-B+树-问题1(950剪辑)
  • 060-项目介绍-存储选型-MySQL-B+树-问题2
  • 061-项目介绍-存储选型-MySQL-总结
6-2 Hbase
  • 062-项目介绍-存储选型-HBase-LSM
  • 063-项目介绍-存储选型-HBase-特点-回顾
  • 064-项目介绍-存储选型-HBase-特点-优化1
  • 065-项目介绍-存储选型-HBase-特点-优化2
  • 066-项目介绍-存储选型-HBase-总结
  • 067-项目介绍-存储选型-总结
第七章 用户画像项目-统计型标签
7-1 统计型标签
  • 068_统计型标签_年龄段
  • 069_统计型标签_支付方式_统计数量
  • 070_统计型标签_支付方式_分组的迷思
  • 071_统计型标签_支付方式_完成
  • 072_统计型标签_支付方式_最近
  • 073_统计型标签_消费周期
第八章 用户画像项目-机器学习入门
8-1 机器学习介绍
  • 074_机器学习入门_什么是学习型算法
  • 075_机器学习入门_概念
8-2 Zeppelin
  • 076_机器学习入门_Zeppelin_安装
  • 077_机器学习入门_Zeppelin_介绍
  • 078_机器学习入门_Zeppelin_基础使用
8-3 房价案例
  • 079_机器学习入门_房价预测_绘制价格直方图
  • 080_机器学习入门_房价预测_绘制特征关系
  • 081_机器学习入门_房价预测_算法选择
  • 082_机器学习入门_房价预测_空值处理
  • 083_机器学习入门_房价预测_顺序特征编码
  • 084_机器学习入门_房价预测_组合特征
  • 085_机器学习入门_房价预测_特征编码_查看特征
  • 086_机器学习入门_房价预测_特征编码_Indexer
  • 087_机器学习入门_房价预测_OneHot
  • 088_机器学习入门_房价预测_生成特征列
  • 089_机器学习入门_房价预测_模型建立
第九章 用户画像项目-挖掘型标签
9-1 RFM
  • 090_挖掘型标签_用户价值模型_需求
  • 091_挖掘型标签_用户价值模型_RFM
  • 092_挖掘型标签_用户价值模型_实现步骤
  • 093_挖掘型标签_用户价值模型_求得RFM
  • 094_挖掘型标签_用户价值模型_打分
  • 095_挖掘型标签_用户价值模型_训练
  • 095_挖掘型标签_用户价值模型_预测
  • 096_挖掘型标签_用户价值模型_生成标签
  • 097_挖掘型标签_用户活跃度模型
9-2 PSM
  • 098_挖掘型标签_价格敏感度_PSM求值思路
  • 099_挖掘型标签_价格敏感度_PSM打分
  • 100_挖掘型标签_价格敏感度_肘部法则
9-3 购物性别
  • 101_挖掘型标签_购物性别_决策树
  • 102_挖掘型标签_购物性别_创建多源基类
  • 103_挖掘型标签_购物性别_数据处理
  • 104_挖掘型标签_购物性别_训练预测
  • 105_挖掘型标签_购物性别_完结

阶段十 大项目实战二 千亿级数据仓库

展开
第一章 千亿级电商数仓项目-离线部分-数仓概述及kettle框架学习
1-1 项目概述
  • 01-课程目标
  • 02-电商行业与电商系统介绍
  • 03-数仓项目整体技术架构介绍
  • 04-数仓项目架构-kylin补充
  • 05-数仓具体技术介绍与项目环境介绍
1-2 kettle安装及使用
  • 06-kettle的介绍与安装
  • 07-kettle的入门案例
  • 08-kettle输入组件之json输入与表输入
  • 09-kettle输入组件之生成记录组件
  • 10-kettle输出组件之文本文件输出
  • 11-kettle输出组件之表输出插入更新删除组件
1-3 kettle整合大数据框架
  • 12-kettle整合hadoop
  • 13-kettle-hadoopfileinput组件
  • 14-kettle-hadoopfileoutput组件
  • 15-kettle整合hive
  • 16-kettle-hive表输入组件
  • 17-kettle-hive表输出组件
  • 18-kettle执行hivesql组件
1-4 kettle转换组件
  • 19-kettle转换组件之值映射增加序列字段选择
1-5 kettle流程控件
  • 20-kettle流程控件-switchcase组件
  • 21-kettle流程控件-过滤记录组件
1-6 kettle连接组件
  • 22-kettle连接组件
1-7 kettle作业及linux部署
  • 23-kettle的作业介绍
  • 24-kettle-转换命名参数
  • 25-linux部署kettle
  • 26-pansh执行转换任务
  • 27-kitchensh执行转换任务
第二章 千亿级电商数仓项目-离线部分-数仓分层设计及业务数据采集
2-1 数仓理论
  • 01-课程目标与课程内容介绍
  • 02-数仓维度建模设计
  • 03-数仓为什么分层
  • 04-数仓分层思想和作用
  • 05-数仓中表的分类和同步策略
  • 06-数仓中表字段介绍以及表关系梳理
2-2 项目环境初始化
  • 07-项目环境初始化
2-3 缓慢变化维
  • 08-缓慢变化维问题以及常见解决方案
  • 09-商品案例-每日全量采集方案
  • 10-每日全量案例实现
2-4 拉链表技术
  • 11-拉链表技术介绍
  • 12-拉链表技术实现-第一次导入数据到拉链表
  • 13-拉链表技术实现--历史数据更新
  • 14-拉链表技术实现-新增数据插入以及合并
2-5 数据采集
  • 15-商品维度数据第一次全量导入拉链表
  • 16-商品维度数据第二次增量导入
  • 17-周期性事实表同步操作
  • 18-其余表增量抽取
第三章 千亿级数仓-离线部分-订单业务指标实现
3-1 订单时间维度指标实现
  • 01-今日课程内容和课程目标
  • 02-订单时间维度指标需求分析
  • 03-使用kettle生成日期维度数据
  • 04-订单指标时间维度分析--每个季度
  • 05-订单指标时间维度-每个月-每个周-休息日节假日工作日
3-2 订单指标区域维度商品分类维度实现
  • 06-订单指标区域维度和分类维度需求分析
  • 07-店铺区域维度数据拉宽
  • 08-商品分类表维度数据拉宽
  • 09-事实表维度数据拉宽操作
  • 10-全国无商品分类维度指标统计
  • 11-全国一级商品分类维度指标开发
  • 12-大区二级商品分类维度指标统计
3-3 用户订单行为指标
  • 13-用户订单行为指标需求分析
  • 14-ETL处理-订单时间标志宽表处理
  • 15-用户订单行为指标开发一
  • 16-指标开发第二部分
  • 17-指标开发第四部分
  • 18-创建ads层指标表存储数据
第四章 千亿级电商数仓项目-离线部分-日志数据采集及ETL处理
4-1 数据采集-flume0
  • 01-今日课程目标与课程内容介绍
  • 02-网站流量日志获取方式介绍
  • 03-埋点js自定义采集原理分析
  • 04-网站流量日志-flume采集
  • 05-flume采集核心配置介绍
  • 06-flume采集程序启动验证
  • 07-flume采集输出hdfs目录分析
  • 08-flume自定义拦截器代码编写- (1)
  • 08-flume自定义拦截器代码编写- (2)
4-2 ETL处理-点击流模型
  • 10-ETL处理pageview-visit模型介绍及实现思路
  • 11-ETL处理-创建hive表接收ETL处理后数据
  • 12-ETL处理代码-普通版本-数据清洗过滤实现
  • 13-ETL处理代码-普通版本-pageview模型实现
  • 14-ETL处理代码-visit模型以及程序运行验证
  • 15-ETL处理代码-数据倾斜解决思路
  • 16-ETL处理代码-数据倾斜版本-rangepartitioner均匀分区实现
  • 17-ETL处理代码-数据倾斜版本-第一次生成sessionid
  • 18-ETL处理代码-数据倾斜版本-使用累加器修复分区边界
  • 19-ETL处理代码-数据倾斜版本-边界修复验证
  • 20-ETL处理代码-数据倾斜版本-最终实现以及验证
第五章 千亿级电商数仓项目-离线部分-流量指标开发
5-1 流量指标开发
  • 01-今日课程目标与课程内容介绍
  • 02-生成明细表数据
  • 03-流量分析常见指标-基础级-复合级指标
  • 04-常见流量分析模型
  • 05-基础级指标统计
  • 06-基础级指标多维统计分析
  • 07-复合指标统计
  • 08-分组topn问题-开窗函数
  • 09-受访分析
  • 10-访客分析
  • 11-访客visit分析
  • 12-数据导出
5-2 工作流调度
  • 13-工作流调度和实现方式
  • 14-数据导出脚本编写-第一部分
  • 15-数据导出脚本编写-第二部分
  • 16-增量抽取数据脚本编写
  • 17-flume启动停止脚本与数据预处理脚本
  • 18-ETL以及指标计算脚本编写
  • 19-azkaban定时调度job编写
第六章 千亿级电商数仓项目-离线部分-Apache kylin
6-1 kylin介绍与入门
  • 01今日课程目标与课程内容介绍
  • 02-kylin简介以及应用场景
  • 03-kylin的优势以及数据流程图
  • 04-kylin的安装
  • 05-kylin入门案例
  • 06-kylin入门案例结果验证
  • 07-kylin入门案例-多张表
  • 08-kylin入门案例-一张事实表多张维度表
6-2 kylin工作原理
  • 09-kylin维度和度量以及cube与cuboid
  • 10-kylin工作原理-技术架构
6-3 kylin增量构建与碎片管理
  • 11-kylin全量构建与增量构建介绍
  • 12-增量构建model准备
  • 13-kylin中cube增量构建演示
  • 14-kylin增量构建restapi方式
  • 15-kylin碎片管理-手动合并
  • 16-kylin碎片管理-手动删除segment
  • 17-kylin碎片管理自动合并策略及案例
  • 18-kylin自动保留策略以及案例
  • 19-jdbc方式查询kylin
第七章 千亿级电商数仓项目-离线部分-Apache superset
7-1 kylin优化
  • 01-kylincube优化-确定cuboid数量与cubesize
  • 02-cube优化-衍生维度
  • 03-cube优化-聚合组
  • 04-cube调优案例
7-2 数仓指标-kylin实现
  • 05-kylin接入数仓开发
7-3 Apache superset
  • 06-apache superset简介
  • 07-superset的安装
  • 08-superset入门案例
  • 09-superset菜单功能介绍
  • 10-superset订单案例实战
  • 11-superset dashboard实战
  • 12-superset的权限控制
  • 13-superset业务开发
第八章 千亿级电商数仓项目-实时部分-项目介绍及环境搭建
8-1 实时计算应用场景及技术选型
  • 01.【实时数仓-day01】课程目标
  • 02.【实时数仓-day01】实时计算应用场景和技术选型
  • 03.【实时数仓-day01】项目实施环境
8-2 项目背景及架构
  • 04.【实时数仓-day01】需求分析介绍
  • 05.【实时数仓-day01】常见的软件工程模型
  • 06.【实时数仓-day01】实施方案
  • 07.【实时数仓-day01】实时数仓的整体架构
8-3 canal的介绍及安装部署
  • 08.【实时数仓-day01】canal的介绍
  • 09.【实时数仓-day01】canal的安装部署
  • 10.【实时数仓-day01】canal的客户端代码编写
  • 11.【实时数仓-day01】canal的客户端测试
8-4 protobuf介绍及使用
  • 12.【实时数仓-day01】potobuf数据格式化的引入
  • 13.【实时数仓-day01】protobuf的介绍及环境初始化
  • 14.【实时数仓-day01】protobuf的使用
  • 15.【实时数仓-day01】protobuf整合canalClient
8-5 canal架构及原理
  • 16.【实时数仓-day01】mysql的主备原理
  • 17.【实时数仓-day01】canal的工作原理及架构
  • 18.【实数数仓-day01】canal的工作原理-客户端和服务端交互协议以及组件介绍
  • 19.【实时数仓-day01】canal的工作原理EventStore
  • 20.【实时数仓-day01】canal的工作原理Eventparser
第九章 千亿级电商数仓项目-实时部分-canal客户端开发
9-1 canal的高可用部署
  • 01.【实时数仓-day02】课程目标
  • 02.【实时数仓-day02】canal服务端的ha设置及演示
  • 03.【实时数仓-day02】canal客户端的ha配置
9-2 canal客户端模块开发
  • 04.【实时数仓-day02】项目开发-环境初始化
  • 05.【实时数仓-day02】项目开发-canal客户端-环境初始化
  • 06.【实时数仓-day02】项目开发-canal客户端-核心代码编写
  • 07.【实时数仓-day02】项目开发-canal客户端-自定义序列化
  • 08.【实时数仓-day02】项目开发-canal客户端-binlog的protobuf序列化实现
  • 09.【实时数仓-day02】项目开发-canal客户端-将binlog日志使用protobuf序列化后写入kafka集群
9-3 实时ETL模块开发环境初始化
  • 10.【实时数仓-day02】项目开发-实时ETL-环境初始化
  • 11.【实时数仓-day02】项目开发-实时ETL-Flink流式计算程序的初始化
  • 12.【实时数仓-day02】项目开发-实时ETL-根据数据来源封装ETL基类
第十章 千亿级电商数仓项目-实时部分-维度数据处理及logpasing框架使用
10-1 实时ETL模块维度数据处理
  • 01.【实时数仓-day03】课程目标
  • 02.【实时数仓-day03】实时ETL-Flink程序解析Kafka中的ProtoBuf
  • 03.【实时数仓-day03】实时ETL-维度数据的样例类定义
  • 04.【实时数仓-day03】实时ETL-维度数据的全量装载
  • 05.【实时数仓-day03】实时ETL-维度数据的增量更新
10-2 实时ETL模块-logparsing框架使用
  • 06.【实时数仓-day03】实时ETL-点击流日志ETL引入logparsing框架介绍
  • 07.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing官方案例介绍
  • 08.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing入门案例
  • 09.【实时数仓-day03】实时ETL-点击流日志ETLlogparsing框架应用到点击流日志样例类中
第十一章 千亿级电商数仓项目-实时部分-点击流及订单业务数据开发
11-1 实时ETL模块-点击流数据开发
  • 01.【实时数仓-day04】课程目标
  • 02.【实时数仓-day04】实时ETL-点击流ETL-定义拉宽后的点击流对象样例类
  • 03.【实时数仓-day04】实时ETL-点击流ETL-实时拉宽实现方案
  • 04.【实时数仓-day04】实时ETL-点击流ETL-点击流日志转换成对象
  • 05.【实时数仓-day04】实时ETL-点击流ETL-将点击流对象转换成拉宽后的点击流对象
  • 06.【实时数仓-day04】实时ETL-点击流ETL-将拉宽后的点击流对象写入到kafka集群
  • 07.【实时数仓-day04】实时ETL-点击流ETL-阶段总结
11-2 实时ETL模块-订单明细数据开发
  • 08.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL需求分析
  • 08.【实时数仓-day04】实时ETL-订单ETL-订单实时ETL业务开发
  • 09.【实时数仓-day04】实时ETL-订单明细ETL-订单明细样例类定义
  • 10.【实时数仓-day04】实时ETL-订单明细ETL-订单明细异步请求关联维度表数据
  • 11.【实时数仓-day04】实时ETL-订单明细ETL-异步IO的原理
  • 12.【实时数仓-day04】实时ETL-订单明细ETL-将订单明细数据写入到kafka集群
  • 13.【实时数仓-day04】实时ETL-订单明细ETL-订单明细实时ETL到hbase并测试
  • 14.【实时数仓-day04】实时ETL-商品数据ETL-商品表数据实时拉宽写入到kafka集群
11-3 实时ETL模块-商品购物车评论数据开发
  • 15.【实时数仓-day04】实时ETL-购物车数据ETL-购物车数据实时拉宽写入到kafka集群
  • 16.【实时数仓-day04】实时ETL-评论数据ETL-评论数据实时拉宽写入到kafka集群
  • 17.【实时数仓-day04】实时ETL-导入数据模拟生成器
第十二章 千亿级电商数仓项目-实时部分-Phoenix及Druid部署
12-1 Phoenix的安装部署及使用
  • 01.【实时数仓-day05】课程目标
  • 02.【实时数仓-day05】Phoenix的介绍
  • 03.【实时数仓-day05】Phoenix的安装部署
  • 04.【实时数仓-day05】Phoenix的入门案例
  • 05.【实时数仓-day05】Phoenix创建与Hbase的映射
  • 06.【实时数仓-day05】使用Phoenix构建二级索引加快查询效率
  • 07.【实时数仓-day05】Phoenix-使用订单明细创建Phoenix映射表并jdbc连接Phoenix
12-2 Flink的程序优化
  • 08.【实时数仓-day05】Flink的程序优化
12-3 Druid安装部署及使用
  • 09.【实时数仓-day05】Druid的介绍
  • 10.【实时数仓-day05】Druid的安装和部署
  • 11.【实时数仓-day05】Druid-Druid的入门案例
  • 12.【实时数仓-day05】Druid-Druid的摄取本地文件案例
  • 13.【实时数仓-day05】Druid-Druid的摄取HDFS文件案例
  • 14.【实时数仓-day05】Druid-Druid的摄取Kafka流式数据案例
  • 15.【实时数仓-day05】Druid-Druid的摄取配置文件格式说明
  • 16.【实时数仓-day05】Druid-Druid的数据查询
第十三章 千亿级电商数仓项目-实时部分-Druid进行OLAP分析及superset可视化
13-1 使用Druid进行OLAP分析
  • 01.【实时数仓-day06】课程目标
  • 02.【实时数仓-day06】Druid-jdbc操作Druid
  • 03.【实时数仓-day06】Druid-点击流日志指标分析
  • 04.【实时数仓-day06】Druid-订单数指标分析
13-2 数仓可视化模块介绍
  • 05.【实时数仓-day06】导入数据可视化项目模块
13-3 Druid的架构及原理
  • 06.【实时数仓-day06】Druid的架构和原理-索引服务介绍
  • 07.【实时数仓-day06】Druid的架构和原理-存储服务和查询服务节点介绍
  • 08.【实时数仓-day06】Druid的架构和原理-Druid数据存储
13-4 Superset安装部署及使用
  • 09.【实时数仓-day06】superset的介绍
  • 10.【实时数仓-day06】superset的安装部署
  • 11.【实时数仓-day06】superset的入门案例
  • 12.【实时数仓-day06】Mysql订单分析案例
  • 13.【实时数仓-day06】superset的权限介绍
  • 14.【实时数仓-day06】superset的自定义角色

阶段十一 机器学习 (拓展课程)

展开
第一章 会员版(2.0)-就业课(2.0)-机器学习入门
1-1 机器学习概念入门
  • 01-机器学习基础-课程设置及大数据和机器学习区别
  • 02-机器学习基础-大数据时代究竟改变了什么
  • 03-机器学习基础-大数据架构体系和机器学习在大数据架构位置
  • 04-机器学习基础-以推荐系统为例
  • 05-机器学习基础-人工智能应用场景
  • 06-机器学习基础-人工智能各概念的区别和联系
  • 07-机器学习基础-什么是机器学习问题
  • 08-机器学习基础-基于规则的学习和基于模型的学习
  • 09-机器学习基础-机器学习各概念详解
  • 10-机器学习基础-机器学习概念补充及分类浅析
  • 11-机器学习基础-监督学习详解
  • 12-机器学习基础-无监督学习详解
  • 13-机器学习基础-半监督学习详解
  • 14-机器学习基础-强化学习和迁移学习
  • 15-机器学习基础-机器学习三要素理解
  • 16-机器学习基础-机器学习模型选择
  • 17-机器学习基础-进入机器学习最佳时机
1-2 机器学习数学基础
  • 01-高中基础
  • 02-sigmod函数求导
  • 03-tanh函数
  • 04-凸函数
  • 05-机器学习高数必备
第二章 会员版(2.0)-就业课(2.0)-机器学习语言基础之Python语言
2-1 机器学习语言基础之Python语言(上)
  • 01.课前小序
  • 02-机器学习语言基础-昨日回顾
  • 03-机器学习语言基础-昨日回顾(2)
  • 04-机器学习语言基础-昨日补充
  • 05-机器学习语言基础-Python基础介绍
  • 06-机器学习语言基础-Python安装及第三方库使用
  • 07-机器学习语言基础-安装Anaconda及组件介绍
  • 08-机器学习语言基础-jupyter详解
  • 09-机器学习语言基础-Pycharm和Anaconda整合
  • 10-机器学习语言基础-Python3编码和解码原理
  • 11-机器学习语言基础-包的导入多种形式
  • 12-机器学习语言基础-Python数据类型
  • 13-机器学习语言基础-Python随机数和常变量表示
  • 14-机器学习语言基础-Python输入详解
  • 15-机器学习语言基础-Python格式化输出
  • 16.机器学习语言-Python快捷键详解
2-2 机器学习语言基础之Python语言(下)
  • 01-机器学习基础-昨日回顾
  • 02-机器学习基础-四大数据结构详解
  • 03-机器学习基础-list集合
  • 04-机器学习基础-list函数详解
  • 05-机器学习基础-tuple函数详解
  • 06-机器学习基础-dict数据结构详解
  • 07-机器学习基础-dict函数详解
  • 08-机器学习基础-集合的内容
  • 09-机器学习基础-列表表达式
  • 10-机器学习基础-元祖和生成器推导式
  • 11-机器学习语言基础-函数类型详解
  • 12-机器学习语言基础-函数参数类型
  • 13-机器学习语言基础-lambda和reduce含糊
  • 14-机器学习语言基础-条件控制语句
  • 15-机器学习语言基础-文件读写异常信息
  • 16-机器学习语言基础-面向对象过程
  • 17-机器学习语言基础-GUI程序设计
第三章 会员版(2.0)-就业课(2.0)-Python数据分析库实战
3-1 Python数据分析库实战(上)
  • 1-机器学习基础-昨日回顾及作业1
  • 2-机器学习基础-卷积操作实践1
  • 3-机器学习基础-卷积操作实践2
  • 4-机器学习基础-随机数创建方式
  • 5-机器学习基础-array创建方式
  • 6-机器学习基础-矩阵的其他创建方式
  • 8-机器学习基础-矩阵的分析方法
  • 9-机器学习基础-矩阵的运算及分解实战详解
  • 10-机器学习基础-Series
  • 11-机器学习基础-DataFrame的详解
  • 12-机器学习基础-Pandas统计计算实践
  • 13-机器学习基础-Pandas的读取文件操作
3-2 Python数据分析库实战(下)
  • 01-机器学习语言基础-昨日回顾及今日重点
  • 02-机器学习语言基础-矩阵基础知识详解
  • 03-机器学习语言基础-了解其他矩阵
  • 04-机器学习语言基础-矩阵分解
  • 05-机器学习语言基础-特征降维及PCA引入
  • 06-机器学习语言基础-新坐标基的表示
  • 07-机器学习语言基础-PCA算法思想及步骤
  • 08-机器学习语言基础-PCA算法举例
  • 09-机器学习语言基础-PCA实践
  • 10-机器学习语言基础-matplotlib绘图基础
  • 11-机器学习语言基础-Matlotlib绘制不同图形
  • 12-机器学习语言基础-Grid和legend实战
  • 13-机器学习语言基础-基础方式绘制图形
  • 14-机器学习语言-面相对象方式绘制及总结
第四章 会员版(2.0)-就业课(2.0)-用户标签预测项目实战
4-1 用户画像标签预测实战
  • 01-机器学习应用-昨日回顾与今日重点
  • 02-机器学习应用-用户画像基础回顾
  • 03-机器学习应用-理解用户画像数据
  • 04-机器学习应用-应用标签系统
  • 05-机器学习应用-用户画像建模基础
  • 06-机器学习应用-决策时引入
  • 07-机器学习应用-基于规则建树
  • 08-机器学习应用-构建决策树三要素及熵定义
  • 09-机器学习应用-ID3算法及改进
  • 10-机器学习应用-剪枝
  • 11-机器学习应用-如何计算信息增益举例
  • 12-机器学习应用-相亲数据集实战
  • 13-机器学习应用-相亲数据集实践改进
  • 14-机器学习应用-iris鸢尾花识别
  • 15-机器学习应用-手写体识别数据
4-2 集成学习算法
  • 01-数据挖掘实战-昨日回顾1
  • 02-数据挖掘实战-昨日回顾2
  • 03-数据挖掘实战-Gini系数详解
  • 04-数据挖掘实战-Cart树举例
  • 05-数据挖掘实战-Gini系数演变过程
  • 06-数据挖掘实战-集成学习分类
  • 07.数据挖掘实战-随机森林原理详解
  • 08-数据挖掘实战-Bagging算法
  • 09-数据挖掘实战-模型偏差和方差理解
  • 10-数据挖掘实战-Adaboost算法详解
  • 11-Adaboost算法数学原理
  • 12-数据挖掘实战-Adaboost算法原理举例
  • 13-数据挖掘实战-Adaboost算法推广到多分类
  • 14-数据挖掘实战-GBDT算法了解
  • 15-数据挖掘实战-实战
4-3 数据挖掘项目:构建人才(用户)流失模型
  • 01-数据挖掘项目-昨日回顾
  • 02-数据挖掘项目-昨日回顾2
  • 03-数据挖掘项目-项目需求说明及架构
  • 04-数据挖掘项目-数据导入及分析
  • 05-数据挖掘项目-数据展现
  • 06-数据挖掘项目-不同类型数据的处理及数据切分
  • 07-数据挖掘项目-类别型数据处理
  • 08-数据挖掘项目-类别型数据的DictVec处理
  • 09-数据挖掘项目-特征组合以及建模
  • 10-数据挖掘项目-不平衡数据处理
第五章 会员版(2.0)-就业课(2.0)-推荐系统
5-1 推荐系统入门
  • 01-推荐系统-昨日回顾及总结
  • 02-推荐系统-模型保存
  • 03-推荐系统-交叉验证方法
  • 04-推荐系统-网格搜索
  • 05-推荐系统-管道pipeline
  • 06-推荐系统-什么是推荐系统及了解推荐引擎
  • 07-推荐系统-推荐系统算法简介
  • 08-推荐系统-用户的相似度和物品相似度度量
  • 09-推荐系统-相似度计算
  • 10-推荐系统-UserCF
  • 11-推荐系统-itemCF
  • 12-推荐系统-UserCF和ItemCF区别和联系
  • 13-推荐系统-代码讲解
  • 14-推荐系统-UserCF代码实战
  • 15-推荐系统-ItemCF
  • 16-推荐系统-架构设计
5-2 推荐案例实战(上)
  • 01-推荐系统-昨日回顾及重点
  • 02-推荐系统-基于KNN推荐详解
  • 03-推荐系统-基于surprise库API实践
  • 04-推荐系统-基于surprise电影推荐
  • 05-推荐系统-基于SVD分解
  • 06-推荐系统-音乐推荐
  • 07-推荐系统-SaprkMllib简介
  • 08-推荐系统-SparkMLLIB的Vec
  • 09-推荐系统-SparkMLLIB基本数据类型及统计量实现
  • 10-推荐系统-SparkMLLIB特征处理
  • 11-推荐系统-SparkMLLIB随机森林及GBDT
  • 12-推荐系统-LFM隐因子分解理论基础
  • 13-推荐系统-SparkALS推荐
  • 14-推荐系统-SparkALS代码实战
  • 15-推荐系统-电商数据推荐案例实战
5-3 推荐案例实战(下)
  • 01-推荐算法-昨日回顾
  • 02-推荐算法-基于知识的推荐简介
  • 03-推荐算法-使用关联挖掘算法的基础概念
  • 04-推荐算法-Apriori算法
  • 05-推荐算法-候选项集产生其他方法
  • 06-推荐算法-Apriori算法举例
  • 07-推荐算法-Aprori算法和FPGrowth算法总结
  • 08-推荐算法-FPGrowth算法Spark实现详解
  • 09-推荐算法-FPGrowth实战推荐算法项目
  • 10-推荐算法-基于内容的推荐简介
  • 11-推荐算法-朴素贝叶斯算法及推荐适应
  • 12-推荐算法-图数据库
第六章 会员版(2.0)-就业课(2.0)-CTR点击率预估实战
6-1 CTR点击率预估实战
  • 01-推荐算法-昨日回顾
  • 02-推荐系统-Ctr业务描述
  • 02-推荐系统-混合推荐算法(架构)
  • 03-推荐系统-推荐系统评测方法
  • 04-推荐系统-推荐项目实例简介
  • 05-推荐系统-天池比赛
  • 06-推荐系统-LR基础
  • 07-推荐系统-LR原理详解
  • 08-推荐系统-各大平台使用Ctr技术架构
  • 09-推荐系统-Ctr的前沿技术
第七章 会员版(2.0)-就业课(2.0)-机器学习面试必备
7-1 机器学习面试必备
  • 10-推荐系统-简历写法及注意事项

阶段十二 云计算 (拓展课程)

展开
第一章 虚拟化
1-1 kvm虚拟化部署实践(上)
  • 01_虚拟化技术学习目标
  • 02_虚拟化技术分类-资源提供角度
  • 03_虚拟化技术分类-虚拟化实现方式角度
  • 04_传统虚拟机与容器对比
  • 05_hypervisor管理类工具介绍
  • 06_QEMU介绍
  • 07_KVM介绍
  • 08_QEMU-KVM介绍
  • 09_libvirt介绍
  • 10_kvm虚拟机管理工具部署环境检查
  • 11_kvm虚拟机使用环境检查
  • 12_前段内容回顾
  • 13_虚拟机安装前配置
  • 14_虚拟机安装自定义配置
  • 15_安装windows虚拟机(全虚拟化驱动)
  • 16_安装windows虚拟机(磁盘半虚拟化驱动)
  • 17_安装windows虚拟机(网卡及pci驱动)
  • 18_virt-install安装linux虚拟机
  • 19_virt-install安装虚拟机案例说明
  • 20_查看虚拟机及虚拟机组成文件介绍
  • 21_设置虚拟机开启自启动
  • 22_网络配置文件
  • 23_存储池配置文件
  • 24_CPU热添加
  • 25_内存气球
1-2 kvm虚拟化部署实践(下)
  • 01_kvm虚拟机网络技术-vm连接网络方法
  • 02_kvm是否使用半虚拟化驱动查看方法
  • 03_kvm虚拟机添加网卡
  • 04_设置虚拟机网卡驱动
  • 05_通过xml删除网卡
  • 06_virt-manager创建网络
  • 07_测试新添加网络可用性
  • 08_生成新网络配置文件
  • 09_通过网络配置文件创建网络
  • 10_通过virt-manager及virsh命令创建网桥
  • 11_删除桥接方法
  • 12_虚拟机使用桥接的方式
  • 13_通过virt-manager添加硬盘
  • 14_通过virsh命令添加硬盘
  • 15_硬盘持久化添加
  • 16_本地存储池添加
  • 17_网络存储池添加
  • 18_网络与存储总结
  • 19_镜像格式介绍
  • 20_磁盘镜像创建
  • 21_查看磁盘镜像信息
  • 22_磁盘镜像格式转换
  • 23_后备镜像及前端镜像介绍
  • 24_基于前端镜像创建虚拟机
  • 25_guestfish使用
  • 26_虚拟机管理
  • 27_kvm模板机准备
  • 28_获取磁盘镜像模板
  • 29_获取配置文件模板
  • 30_通过模板文件创建虚拟机的思路
  • 31_编写kvm虚拟机批量管理脚本
  • 32_kvm虚拟化管理平台介绍
第二章 阿里云
2-1 01_ECS
  • 01_阿里云介绍及注册
  • 02_阿里云控制台介绍
  • 03_阿里云管理控制台介绍
  • 04_阿里云专有网络介绍及创建
  • 05_阿里云安全组介绍及创建
  • 06_阿里云ECS购买
  • 07_阿里云ECS使用
2-2 02_RDS
  • 01_阿里云RDS购买
  • 02_阿里云RDS使用
2-3 03_NAS
  • 01_阿里云NAS
2-4 04_OSS
  • 01_存储类型介绍
  • 02_阿里云对象存储-bucket创建
  • 03_阿里云对象存储-accesskey创建
  • 04_阿里云对象存储-oss挂载
  • 05_阿里云对象存储-验证
2-5 05_SLB
  • 01_阿里云SLB购买
  • 02_阿里云SLB使用
2-6 06_CDN
  • 01_CDN加速器介绍
  • 02_CDN设置
第三章 私有云
3-1 OpenStack私有云企业级实战
  • 01_主机使用情况_为什么使用云计算_云计算历史
  • 02_云计算是什么
  • 03_云计算技术实现的分类
  • 04_云计算分类
  • 05_云计算基本架构
  • 06_云计算基本架构几点思考
  • 07_虚拟化与云计算之间的关系
  • 08_openstack历史
  • 09_openstack官方介绍
  • 10_openstack核心服务及其它介绍
  • 11_openstack逻辑图
  • 12_openstack架构图及概念图
  • 13_openstack组件介绍
  • 14_openstack网络介绍及实现环境说明
  • 15_openstack手动部署-主机规划
  • 16_openstack手动部署-controller系统准备
  • 17_openstack手动部署-computer系统准备
  • 18_openstack手动部署-cinder系统准备
  • 19_openstack手动部署-主机IP准备
  • 20_openstack手动部署-基础环境准备
  • 21_openstack手动部署-YUM源准备
  • 22_openstack手动部署-openstack客户端软件准备
  • 23_openstack手动部署-mariadb数据库准备
  • 24_openstack手动部署-rabbitmq基础配置
  • 25_openstack手动部署-rabbitmq web页面管理配置
  • 26_openstack手动部署-memcached安装并配置
  • 27_openstack手动部署-keystone功能
  • 28_openstack手动部署-keystone核心概念
  • 29_openstack手动部署-keystone-数据库配置
  • 30_openstack手动部署-keystone-软件安装
  • 31_openstack手动部署-keystone-配置文件修改
  • 32_openstack手动部署-keystone-初始化信息-同步数据库信息
  • 33_openstack手动部署-keystone-初始化信息-keystone认证信息
  • 34_openstack手动部署-keystone-初始化信息-openstack管理员admin账户初始化
  • 35_openstack手动部署-keystone-httpd服务启动
  • 36_openstack手动部署-keystone-在命令行添加变量用于操作云平台
  • 37_openstack手动部署-keystone-创建service项目
  • 38_openstack手动部署-keystone-创建demo项目
  • 39_openstack手动部署-keystone-创建demo用户
  • 40_openstack手动部署-keystone-创建user角色
  • 41_openstack手动部署-keystone-添加demo用户到user角色
  • 42_openstack手动部署-keystone-验证keystone可用性
  • 43_openstack手动部署-glance组件介绍-
  • 44_openstack手动部署-glance镜像介绍
  • 45_openstack手动部署-glance数据库创建
  • 46_openstack手动部署-glance安装
  • 47_openstack手动部署-glance-api配置文件修改
  • 48_openstack手动部署-glance-registry配置文件修改
  • 49_openstack手动部署-glance数据库同步
  • 50_openstack手动部署-glance权限配置
  • 51_openstack手动部署-glance服务启动及上传镜像
  • 52_前段内容总结
  • 53_openstack手动部署-nova-组件介绍
  • 53_openstack手动部署-nova-调度策略
  • 54_openstack手动部署-nova-数据库准备
  • 55_openstack手动部署-nova-controller软件安装
  • 56_openstack手动部署-nova-nova.conf配置文件修改
  • 57_openstack手动部署-nova-placement-api配置文件修改
  • 58_openstack手动部署-nova-同步数据库信息
  • 59_openstack手动部署-nova-添加nova用户-compute server-endpoint
  • 59_openstack手动部署-nova-添加placement用户及服务及端点
  • 60_openstack手动部署-nova-controller节点启动服务
  • 61_openstack手动部署-nova-computer节点配置nova
  • 62_openstack手动部署-nova-computer节点配置启动nova服务
  • 63_openstack手动部署-nova-controller节点验证计算节点并添加到数据库
  • 64_openstack手动部署-neutron-概念
  • 65_openstack手动部署-neutron-组件
  • 66_openstack手动部署-neutron-数据库准备
  • 67_openstack手动部署-neutron-软件安装
  • 68_openstack手动部署-neutron-权限配置
  • 69_openstack手动部署-neutron-ml2配置文件修改
  • 69_openstack手动部署-neutron-neutron配置文件修改
  • 71_openstack手动部署-neutron-linuxbridge配置文件修改
  • 72_openstack手动部署-neutron-dhcp配置文件修改
  • 72_openstack手动部署-neutron-l3配置文件修改
  • 72_openstack手动部署-neutron-metadata配置文件修改
  • 73_openstack手动部署-neutron-nova配置文件修改
  • 73_openstack手动部署-neutron-同步数据库及服务启动
  • 74_openstack手动部署-neutron-computer节点neutron配置
  • 75_openstack手动部署-neutron-controller节点验证
  • 76_openstack手动部署-nova总结
  • 77_openstack手动部署-neutron总结
  • 78_openstack手动部署-nova-排错过程
  • 79_openstack手动部署-neutron-排错过程
  • 80_openstack手动部署-dashboard-horizon介绍
  • 81_openstack手动部署-dashboard-local_settings配置文件修改
  • 82_openstack手动部署-dashboard-启动及登录
  • 83_openstack手动部署-dashboard-dashboard介绍
  • 84_openstack手动部署-cinder-cinder介绍
  • 85_openstack手动部署-cinder-cinder组件介绍
  • 86_openstack手动部署-cinder-cinder数据库
  • 87_openstack手动部署-cinder-cinder配置文件修改
  • 88_openstack手动部署-cinder-配置nova使用cinder
  • 89_openstack手动部署-cinder-权限配置
  • 90_openstack手动部署-cinder-启动服务并验证
  • 91_openstack手动部署-cinder-cinder后端lvm配置
  • 92_openstack手动部署-cinder-cinder配置文件修改
  • 93_openstack手动部署-cinder-cinder使用验证
  • 94_openstack手动部署-云平台使用-创建网络
  • 95_openstack手动部署-云平台使用-创建云主机并验证连网功能
  • 96_openstack手动部署-前段总结-3
  • 97_openstack总结
第四章 容器
4-1 企业级容器实战之Docker
  • 01_虚拟化技术回顾
  • 02_主机虚拟化与容器虚拟化区别及优缺点
  • 03_云平台技术实现方式
  • 04_容器涉及的内核技术-NameSpace
  • 05_容器涉及的内核技术-CGroups
  • 06_Cgroup九大子系统介绍
  • 07_Cgroup限制进程对CPU使用案例
  • 08_Cgroup限制进程对memory使用案例
  • 09_容器技术发展历史及容器管理工具介绍
  • 10_docker版本介绍
  • 11-docker部署YUM源获取
  • 12_docker-ce安装及服务启动
  • 13_容器镜像获取
  • 14_运行一个容器
  • 15_docker_daemon配置远程及本地管理
  • 16_docker命令行命令介绍
  • 17_docker获取镜像
  • 18_docker容器镜像传输
  • 19_docker容器运行bash命令
  • 20_docker容器运行httpd服务
  • 21_把正在运行的容器打包后导入为容器镜像
  • 22_查看容器IP地址方法
  • 23_停止一个或多个正在运行的容器
  • 24_启动一个已停止的容器及删除一个已停止容器
  • 25_容器端口映射
  • 26_数据持久化存储
  • 27_容器时间同步
  • 28_在容器外执行容器内命令
  • 29_容器之间使用link连接
  • 30_容器镜像介绍
  • 31_基础镜像制作
  • 32_应用镜像制作-commit
  • 33_docker build使用Dockerfile创建应用镜像介绍
  • 33_docker build使用Dockerfile创建应用镜像过程分析
  • 34_docker build使用Dockerfile创建应用镜像案例
  • 35_docker build使用Dockerfile创建应用镜像案例-替代原网站内容
  • 36_docker build使用Dockerfile创建nginx应用镜像案例
  • 37_容器镜像—容器本身存储数据的位置及方法
  • 38_overlay及overlay2工作原理
  • 39_overlay2存储容器数据方法验证
  • 40_容器公有仓库注册及登录
  • 41_公有仓库容器镜像上传及下载
  • 42_docker中国镜像加速器介绍及应用
  • 43_阿里云镜像加速器介绍及应用
  • 44_创建本地非安全镜像仓库
  • 45_创建本地非安全镜像仓库-其它主机中验证是否可用
  • 46_准备pip-docker-compose-harbor
  • 47_harbor部署及镜像上传
  • 48_下载harbor仓库中容器镜像并应用
  • 49_docker网络介绍-四种网络
  • 50_docker跨主机容器间通信网络介绍
  • 51_docker跨主机容器间通信网络-环境准备
  • 52_docker跨主机容器间通信网络-配置etcd及flannel
  • 53_docker跨主机容器间通信网络-node1验证
  • 54_docker跨主机容器间通信网络-node2验证
  • 55_容器编排部署介绍
  • 56_容器编排部署工具介绍
  • 57_docker-compose编排工具介绍
  • 58_docker-compose编排应用案例-haproxy
  • 59_docker-compose编排应用案例-flask-redis
  • 60_docker-compose编排应用案例-wordpress
  • 61_docker_swarm是什么
  • 62_docker_swarm架构
  • 63_docker_swarm集群环境准备
  • 64_docker_swarm初始化
  • 65_docker_swarm发布服务前镜像准备
  • 66_docker_swarm发布服务
  • 67_docker_swarm多服务发布
  • 68_docker_swarm发布服务挂载本地卷
  • 69_docker_swarm网络存储卷-nfs准备
  • 70_docker_swarm网络存储卷-存储卷创建
  • 71_docker_swarm网络存储卷-手动创建service使用卷
  • 72_docker_swarm网络存储卷-编排部署service使用卷
  • 73_代码自动发布系统介绍-流程及工具
  • 74_代码自动发布系统介绍-主机规划
  • 75_代码自动发布系统介绍-主机准备
  • 76_代码自动发布系统介绍-jenkins-server安装jdk-jenkins
  • 77_代码自动发布系统介绍-开发人员主机及gitlab主机安装软件
  • 78_代码自动发布系统介绍-jenkins-server安装maven-git-docker
  • 79_代码自动发布系统介绍-harbor-server安装harbor-docker
  • 80_代码自动发布系统介绍-web-server安装docker
  • 81_代码自动发布系统介绍-添加开发者密钥至gitlab
  • 82_代码自动发布系统介绍-添加jenkins密钥至gitlab及添加jenkins-server访问gitlab-server凭据
  • 83_代码自动发布系统介绍-添加jenkins用户到docker用户组
  • 84_代码自动发布系统介绍-jenkins-server添加插件
  • 85_代码自动发布系统介绍-jenkins全局工具配置
  • 86_代码自动发布系统介绍-jenkins系统配置-ssh配置
  • 87_代码自动发布系统介绍-项目代码获取及数据库配置
  • 88_代码自动发布系统介绍-项目代码上传至gitlab-server
  • 89_代码自动发布系统介绍-准备项目发布基础应用镜像-tomcat镜像
  • 90_代码自动发布系统介绍-jenkins任务创建
  • 91_代码自动发布系统介绍-项目发布过程
第五章 容器编排k8s
5-1 Kubernetes/K8S容器编排工具(上)
  • 2-docker三剑客名词介绍
  • 3-docker-machine与docker-compose介绍
  • 4-docker-compose使用的三步
  • 5-docker-compose语法讲解1
  • 6-docker-compose语法讲解2avi
  • 7-docker-compose案例1
  • 8-docker-compose案例2
  • 9-docker-compose案例3
  • 10-docker-swarm简介与集群环境准备
  • 11-docker-swarm集群搭建
  • 12-harbor准备两个版本的nginx镜像
  • 13-发布服务-路由网格
  • 14-负载均衡-扩展与裁减
  • 15-版本更新-版本回退-滚动间隔更新
  • 16-本地存储卷与网络存储卷
  • 17-服务互联与服务发现
  • 18-小结
  • 1-容器认识1
  • 2-容器认识2
  • 3-docker介绍-版本
  • 4-docker容器使用的内核技术介绍
  • 5-docker安装
  • 6-docker客户端与服务端分离
  • 7-远程docker操作演示-还原环境
  • 8-镜像-容器-仓库概念
  • 9-查找镜像-下载镜像-删除镜像
  • 10-配置镜像加速器
  • 11-镜像导出与导入方法
  • 12-镜像仓库分类-公网仓库创建与操作演示
  • 13-harbor介绍-harbor安装过程1
  • 14-harbor安装过程2
  • 15-harbor上传下载
  • 16-镜像小结avi
  • 17-容器常见操作1
  • 18-容器常见操作2
  • 1-docker命令回顾-commit提交镜像
  • 2-docker-exec操作
  • 3-docker常见操作总结(重点)
  • 4-写时复制和用时分配技术讲解
  • 5-联合文件系统介绍-autfs介绍
  • 6-aufs过渡到overlay
  • 7-通过操作来理解overlay
  • 8-docker存储驱动小结
  • 9-容器跑httpd案例1
  • 10-自定义httpd容器并提交为镜像-docker-run启动应用详解
  • 11-docker数据卷
  • 12-docker数据卷小结-官方httpd镜像运行容器
  • 13-docker跑mariadb或mysql应用
  • 14-docker跑应用补充与小结
  • 1-dockerfile介绍-参数讲解1
  • 2-dockerfile参数讲解2
  • 3-dockerfile构建httpd镜像
  • 4-dockerfile构建httpd镜像2
  • 5-dockerfile构建tomcat镜像
  • 6-dockerfile构建tomcat多种方法之间的比较
  • 7-dockerfile构建mariadb镜像
  • 8-docker构建mariadb镜像2-小结
  • 9-docker单宿主机容器互联
  • 10-docker本地网络-bridge模式
  • 11-docker本地网络-host-none-container模式
  • 12-跨docker_host网络方案flannel介绍
  • 13-flanned网络搭建过程
  • 14-flanned网络测试与网络小结
  • 15-docker的web管理平台-小结
  • 5-kubernetes介绍
  • 6-kubernetes架构介绍1
  • 7-k8s附件介绍
  • 8-k8s核心概念
  • 9-k8s核心概念2
  • 10-微服务架构
  • 11-k8s部署前准备
  • 12-k8s基础环境准备过程
  • 13-k8s软件包安装-初始化1
  • 14-k8s初始化2-启动集群-安装flannel网络-加入node节点
5-2 Kubernetes/K8S容器编排工具(中)
  • 1-k8s环境恢复与kubectl命令说明
  • 2-k8s节点基础操作-node标签
  • 3-node相关操作小结
  • 4-namespace命名空间
  • 5-工作负载-pod介绍与pod的YAML格式说明
  • 6-编排并创建自主式pod
  • 7-pod节点选择器-pod限制资源
  • 8-pod内包含多个容器-吃饭pod里的容器进行操作
  • 9-pod的生命周期说明
  • 10-pod的liveness-exec健康检查
  • 11-pod的liveness-httpget健康检查
  • 12-pod的liveness-tcp健康检查
  • 13-pod的readiness健康检查-readiness+liveness综合应用
  • 14-post-start与pre-stop
  • 15-pod调度与约束方法
5-3 Kubernetes/K8S容器编排工具(下)
  • 2-控制器分类与介绍avi
  • 3-命令方式与YAML方式创建depolyment
  • 4-pod与rs分开的讨论(拓展)
  • 5-删除与访问deployment-通过rs实现pod的高可用测试
  • 6-pod版本升级与回退
  • 7-关于deployment标签的错误更正说明
  • 8-deployment扩容-裁减-滚动更新
  • 9-deployment和replicaset小结
  • 10-daemonset控制器
  • 11- service作用与底层实现原理
  • 11-job控制器
  • 12-cronjob控制器
  • 13-命令创建clusterIP类型service并验证
  • 14-YAML编排创建ClusterIP类型service并修改算法验证
  • 15-修改service调度算法由iptables变为ipvs
  • 16-headless-service无头服务(了解)
  • 17-NodePort类型service与loadbalancer类型service
  • 18-ingress与externalName类型服务简介
  • 19-rancher简单演示