在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
了解前沿技术：大数据经典应用案例分享
目前国内大部分代行的企业已经将大数据充分的运用到原来的业务之中，对于哪些目前还在互联网转型甚至没有实现互联网+转型的企业来说，能否尽快布局大数据成为企业实现快速发展的核心问题。因此我们需要跟多的了解大数据到底都可以做什么。本文为大家分享了部分大数据应用成功案例。对于企业或者开发者都可以从中找到与自己实际工作业务相关的拓展思路。
9323
2019-07-22 16:28:07
哪里有比较好的大数据分析培训？
目前大部分关于大数据方向的培训课程都是关于大数据技术开发，主要培养与大数据挖掘、大数据爬虫、大数据存储以及算法开发工程师，相对来说说岗位偏向于开发技术。对于不想从事技术开发岗位的同学，关注更多的则是大数据分析培训课程。那目前国内哪里有比较好的大数据分析培训呢？
6377
2019-09-03 18:47:35
Redis是什么？Redis有哪些数据类型？
Redis是什么？Redis是一个高性能且免费的key-value数据库，它可以解决高并发、高扩展和大数据存储等等问题，因此Redis对大数据的作用至关重要。那么Redis有哪些数据类型呢？简单来说有string、hash、list、set、zset五种，下面小编将来详细分析一下这五种数据类型。
7237
2019-11-11 17:51:24
2020年云计算和容器的发展趋势如何？
2020年，混合云将解决企业现存问题，托管服务和供应商锁定的争论也愈演愈烈。越来越多的应用程序将分别部署在两个或更多的公共云中。中小企业将采用经常性收入业务模型。公共云的采用将增加，并使企业更容易利用其他新技术。
6209
2020-02-05 15:08:00
Pandas如何分块处理大文件？
在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。解决方法：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
5765
2020-08-14 16:16:47
