课程试听
正在播放

阶段一 项目1 基于stom日志监控告警系统

展开
第一章 Storm编程快速入门
1-1 Storm架构分析
  • 1、Storm编程快速入门-什么是离线计算
  • 2、Storm编程快速入门-实时计算代表性技术及如何实时获取数据
  • 3、Storm编程快速入门-Storm如何实时计算数据
1-2 Storm WordCount案例及常用Api分析
  • 4、Storm编程快速入门-Storm单词计算需求分析
  • 5、Storm编程快速入门-在idea中创建storm项目并导入依赖
  • 6、Storm编程快速入门-编写WordCount的MyLocalFilterSpout类
  • 7、Storm编程快速入门-编写WordCount的MySplitBolt类
  • 8、Storm编程快速入门-编写WordCount的MyWordCountBolt类
  • 9、Storm编程快速入门-编写Storm TopologyBuilder驱动类及本地模式运行与调错
  • 10、Storm编程快速入门-Storm WordCount在集群模式下运行及打包注意事项
1-3 Storm并发度和分组的概念
  • 11、Storm编程快速入门-Storm并行度的概念
  • 12、Storm编程快速入门-Storm分组的概念
  • 13、Storm编程快速入门-Storm Local or Shuffle Grouping分组策略及worker的默认值，组件并行度的默认值
  • 14、Storm编程快速入门-改变WordCount的worker数和每个组件的并行度，观察task的平均分配
1-4 Storm集群部署实战
  • 15、Storm编程快速入门-Storm集群安装部署示意
  • 16、Storm编程快速入门-Storm的Nmbus、Ui、Supervisor、Worker组件介绍及任务提交的简单过程
  • 17、Storm编程快速入门-Storm基础知识总结梳理（Storm是什么、Storm编程模型、Storm集群架构）
1-5 Storm+Kafka+Redis整合
  • 18、Storm编程快速入门-从零开始整合kafka+storm+redis，并调试遇到错误
第二章 Storm集群启动及任务执行过程
2-1 Strom集群启动及源码分析
  • 19、Storm集群启动及任务执行过程-集群启动过程分析之python脚本storm的分析
  • 20、Storm集群启动及任务执行过程-集群启动过程分析之supervisor启动worker的分析
2-2 Storm任务提交及源码分析
  • 21、Storm集群启动及任务执行过程-Client任务提交过程分析
  • 22、Storm集群启动及任务执行过程-Nimbus任务分配过程分析
  • 23、Storm集群启动及任务执行过程-梳理任务提交、任务分配及worker启动流程
  • 24、Storm集群启动及任务执行过程-worker启动Task过程分析
第三章 Storm核心机制
3-1 Storm核心机制-Ack容错机制
  • 25、Storm核心机制-Ack机制概述
  • 26、Storm核心机制-Ack机制编程之AckSpout类编写
  • 27、Storm核心机制-Ack机制编程之Bolt类的实现
  • 28、Storm核心机制-Ack机制编程之验证消息处理成功和失败后的状态
  • 29、Storm核心机制-Ack机制编程API总结及不需要手动锚点的BaseBasicBolt接口
  • 30、Storm核心机制-ACK机制编程之BaseBasicBolt演编写，不需要手动锚点和反馈
  • 31、Storm核心机制-ACK机制的实现原理--异或算法与Acker Bolt
3-2 Storm核心机制-Storm通信机制和数据分发机制
  • 32、Storm核心机制-Storm通信机制（Netty和Disruptor）
  • 33、Storm核心机制-Storm数据分发机制
第四章 Storm上游消息平台Kafka
4-1 Kafka的介绍和安装
  • 1、Storm上游消息平台Kafka-Kafka快速入门-Kakfa的基本介绍
  • 2、Storm上游消息平台Kafka-Kafka快速入门-Kafka集群搭建
  • 3、Storm上游消息平台Kafka-Kafka快速入门-通过Kafka脚本创建topic、并进行生产数据及消费
4-2 kafka的生产者和消费者
  • 4、Storm上游消息平台Kafka-Kafka快速入门-Kafka生产者java api编写
  • 5、Storm上游消息平台Kafka-Kafka快速入门-Kafka消费者java api说明
4-3 kafka之Partition
  • 6、Storm上游消息平台Kafka-Kafka快速入门-Kafka partition的概念
  • 7、Storm上游消息平台Kafka-Kafka快速入门-Kafka partition的三个问题（partition有什么用，数据丢失怎么办，leader的作用）
  • 8、Storm上游消息平台Kafka-Kafka快速入门-producer端负责数据的分发，默认分发策略是hashpartition
  • 9、Storm上游消息平台Kafka-Kafka快速入门-Producer端自定义partition并配置运行的步骤
  • 10、Storm上游消息平台Kafka-Kafka快速入门-Producer端自定义partition两个源码中的小细节
  • 11、Storm上游消息平台Kafka-Kafka快速入门-Partition的Segment段的说明及展示
4-4 kafka进阶
  • 12、Storm上游消息平台Kafka-Kafka快速入门-了解Kafka为什么这么快（pagecahe,sendfile）
  • 13、Storm上游消息平台Kafka-Kafka快速入门-kafka consumer及consumerGroup的概念
  • 14、Storm上游消息平台Kafka-Kafka快速入门-Kafka集群整体概念梳理
  • 15、Storm上游消息平台Kafka-day02-Kafka快速入门-kafkaKakfa配置文件说明
  • 16、Storm上游消息平台Kafka-数据从kakfa生产到storm消费阶段不丢失和重复消费的分析
  • 17、Storm上游消息平台Kafka-打通实时计算技术架构-模拟Nginx+flume数据采集+Kafka集群+Storm+Redis
第五章 项目篇---日志监控告警系统功能分析
5-1 数据采集以及模块设计
  • 1、日志监控告警系统需求说明
  • 2、日志监控告警系统功能分析
  • 3、日志监控告警系统功能分析-Flume日志采集模块设计（appid申请及flumeNg部署流程）
  • 4、日志监控告警系统功能分析-Flume日志采集模块开发-编写flume配置文件及开发自定义拦截器并打包部署
  • 5、日志监控告警系统功能分析-Kafka日志存储模块设计（分片数量，broker数量，集群容量）
  • 6、日志监控告警系统功能分析-Kafka日志存储之创建Topic
  • 7、日志监控告警系统功能分析-Storm实时计算模块设计-整体流程设计
  • 8、日志监控告警系统功能分析-Storm实时计算模块设计-定时更新模块设计
5-2 日志监控告警系统--代码实现
  • 9、日志监控告警系统功能分析-数据库表结构设计（表结构说明及sql语句）
  • 10、日志监控告警系统功能分析-后台管理操作说明
  • 11、日志监控告警系统功能分析-系统整体流程梳理
  • 12、日志监控告警系统功能分析-通过debug的方式运行并演示程序
  • 13、日志监控告警系统功能分析-代码整体流程说明及避免重复告警
  • 14、日志监控告警系统功能分析-定时加载和每个worker中只加载一次
  • 15、日志监控告警系统功能分析-其他代码说明（数据库C3P0、发短信、发邮件）
  • 16、日志监控告警系统功能分析-项目核心知识点总结

阶段二 项目2 基于spark的用户画像系统

展开
第一章 用户画像
1-1 用户画像介绍
  • 1、电商大数据之应用--用户画像是什么
  • 2、电商大数据之应用--构建用户画像的意义
1-2 用户画像建模
  • 3、电商大数据之应用--构建用户画像流程和技术
  • 4、电商大数据之应用--用户画像建模--用户基本属性表
  • 5、电商大数据之应用--用户画像建模--客户消费订单表
  • 6、电商大数据之应用--用户画像建模--客户购买类目表
  • 7、电商大数据之应用--用户画像建模--用户访问信息表
1-3 sparksql与hive整合以及数仓建立
  • 8、电商大数据之应用--sparksql与hive整合
  • 9、电商大数据之应用--数据仓库建立
1-4 客户基本属性表模型开发
  • 10、电商大数据之应用--用户画像数据开发步骤流程
  • 11、电商大数据之应用-用户画像开发-客户基本属性表模型开发（shell脚本封装案例）
1-5 订单宽表模型开发
  • 12、电商大数据之应用-用户画像开发-订单宽表模型开发
  • 13、电商大数据之应用-用户画像开发-客户消费订单表模型开发
1-6 客户购买类目表模型开发
  • 14、电商大数据之应用-用户画像开发-客户购买类目表模型开发
1-7 客户访问信息表模型开发
  • 15、电商大数据之应用-用户画像开发-客户访问信息表模型开发
1-8 用户画像宽表模型+hive与hbase整合
  • 16、电商大数据之应用-用户画像开发-用户画像宽表模型+hive与hbase整合
1-9 hive数据导入hbase表中
  • 17、电商大数据之应用-用户画像开发-用户画像宽表模型--hive数据导入hbase表中
1-10 数据可视化
  • 18、电商大数据之应用-用户画像开发-用户画像宽表模型--数据可视化（数据导入phoenix）
  • 19、电商大数据之应用-用户画像开发-数据展现
  • 20、电商大数据之应用-用户画像开发-查询演示