在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
数据分析师的薪资水平如何？就业前景好吗？
互联网的快速发展为市场带来的巨大的潜力，数据时代的降临也为市场提供了更多的就业岗位，很多人都在关注数据分析师相关的岗位情况，现在数据分析师的薪资水平如何？就业前景好吗？
8280
2019-08-23 18:36:20
ETL工程师是干什么的？ETL工程师工作内容介绍
随着大数据时代的来临，ETL工程师逐渐出现在大众的视野中，那么ETL工程师是干什么的呢？直白一点说，ETL工程师又叫数据库工程师，需要掌握各种流行的编程语言，每天的工作就是和数据库打交道，下面详细介绍一下ETL工程师的工作内容，以便于大家进一步了解这个职业。
59269
2019-09-15 12:34:13
Kylin开发教程 从原理讲解到实践演练
众所周知，Kylin是一个可扩展的超快OLAP引擎，它能够提供Hadoop ANSI SQL借口和交互式查询，还可以和BI工具无缝整合，为百亿用户构建立方体。既然学习Kylin这么有必要，那么我们该如何学习它呢？这里为大家介绍博学谷的Kylin开发教程，本教程将会对Kylin进行系统化梳理，包括了Kylin的技术架构、运维不熟、增量构建、实时构建、性能优化等内容，带领大家从原理讲解到实战演练。
5598
2019-11-25 12:22:09
程序员必须掌握的大数据分析核心技术有哪些？
程序员必须掌握的大数据分析核心技术有哪些？大数据分析技术现是一种传统的技术分析模型，主要对数据进行筛选、过滤之后进行分析。随着银行业、保险业，电子商务的不断发展，非结构数据的数量越来越多，增加了大数据分析的难度，对于大数据方面的程序员要求越来越高。
6489
2020-03-05 15:19:17
常用的数据分析方法及案例讲解
常用的数据分析方法有描述统计、信度分析、相关分析、回归分析、聚类分析等。本文将结合实际案例，为大家一一讲解这些数据分析的方法。如果你想了解如何做数据分析，就接着看下去吧~
5945
2020-08-13 16:38:58
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
