在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么?需要掌握Spark SQL核心知识,分析Nginx访问日志掌握SparkSQL数据分析能力,SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用,让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理,DataFrame、DataSet和RDD的相互转化和使用场景,并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤,分组,排序操作和列值的增删改,以及对Join的优化。
3.1 一般操作:查找和过滤
3.2 聚合操作:groupBy和agg
3.3 单表操作:列的增删改与空值处理
3.4 多表操作:join
4、自定义函数和开窗函数
讲解自定义函数的使用,以及开窗函数在分组求TopN中的应用。
4.1 自定义函数:UDF
4.2 自定义聚合函数:UDAF
4.3 开窗函数:row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗,存储,监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗:格式化原始日志数据
5.3 第二次数据清洗:解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92,支持各种数理统计与计算。目前,日志服务支持保存查询语句为快速查询,对查询设置触发周期(间隔),并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据行业必须掌握的核心技术
大数据为什么这么火?企业现在大数据人才招聘更注重哪些技能?博学谷小编通过在招聘网站的大量招聘数据发现,目前大部分企业招聘要求中重点体现5点大数据的核心技术。
9355
2019-06-11 16:31:43
大数据在电子商务的应用有哪些?
我们身处在一个大数据时代,随着近几年来,互联网服务的飞速发展,国内的互联网三大巨头之一的阿里,从好几年前就开始引入了大数据进行电子商务决策。那么到底大数据在电子商务的应用有哪些?具体来讲,电子商务行业的大数据应用有以下几个方面:精准营销、个性化服务、商品个性化推荐。
14672
2019-07-23 19:21:20
仅会使用Excel能做数据分析师吗?
数据分析师就是在各行各业中与数据打交道的重要岗位。为企业提供数据采集、数据处理、数据分析并制作相关业务报告、提供业务决策、管理企业数据资产等服务。那仅会使用Excel,能做数据分析师吗?
6851
2019-08-08 18:06:48
大数据专业学习难度大吗?需要学习什么技术?
众所周知,大数据专业是目前互联网行业中高薪岗位之一。然而看到高薪的机会,大部分同学立刻行动投入大数据专业的学习中,也有一部分同学发表自己的疑问:大数据专业这样高薪是否学习难度非常大?如果从事大数据专业工作,需要学习什么技术呢?
11914
2019-09-02 19:04:37
大数据在零售供应链管理方面的应用
零售商可通过多种方式使用大量信息来改善其零售供应链,分析解决方案将供应商的实际绩效与其关键绩效指标进行比较,帮助供应商在按时交货、提升客户满意度等。
3010
2020-12-31 10:38:03