在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么?需要掌握Spark SQL核心知识,分析Nginx访问日志掌握SparkSQL数据分析能力,SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用,让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理,DataFrame、DataSet和RDD的相互转化和使用场景,并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤,分组,排序操作和列值的增删改,以及对Join的优化。
3.1 一般操作:查找和过滤
3.2 聚合操作:groupBy和agg
3.3 单表操作:列的增删改与空值处理
3.4 多表操作:join
4、自定义函数和开窗函数
讲解自定义函数的使用,以及开窗函数在分组求TopN中的应用。
4.1 自定义函数:UDF
4.2 自定义聚合函数:UDAF
4.3 开窗函数:row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗,存储,监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗:格式化原始日志数据
5.3 第二次数据清洗:解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92,支持各种数理统计与计算。目前,日志服务支持保存查询语句为快速查询,对查询设置触发周期(间隔),并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
数据科学家人才需求缺口大的原因
数据科学家人才需求缺口大的原因,很多公司需要资深的、经验丰富的数据科学家,帮助企业管理数据并利用这些信息为公司的发展服务,各行业排名前三分之一的企业中,使用了数据驱动决策分析,其生产率平均比竞争对手高5%,利润率高6%。
6103
2019-08-28 16:45:53
Redis是什么?Redis有哪些数据类型?
Redis是什么?Redis是一个高性能且免费的key-value数据库,它可以解决高并发、高扩展和大数据存储等等问题,因此Redis对大数据的作用至关重要。那么Redis有哪些数据类型呢?简单来说有string、hash、list、set、zset五种,下面小编将来详细分析一下这五种数据类型。
7487
2019-11-11 17:51:24
无基础人员转行做机器学习可以吗?
机器学习需要一定数学基础,没有相关的了解需要重新学习。转行机器学习不适用所有人,可不可以转行需要具体结合自身的情况。入门机器学习有一定的门槛要慎重决定。
4445
2020-10-23 14:55:11
数据仓库、数据湖、智能湖仓分别是什么?
数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合;数据湖,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的;强大的数据湖及其配套的专用构建数据服务体系,智能湖仓称为架构。
4070
2021-05-28 14:54:10
ZooKeeper的节点类型有哪些?
ZooKeeper是个分布式开放源码的分布式应用程序协调服务,是Hadoop和Hbase的重要组件。ZooKeeper服务端支持7种节点类型分别是:持久、持久顺序、临时、临时顺序、容器、持久 TTL、持久顺序 TTL。
5364
2021-05-28 15:12:05