在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
大数据可视化相关工具介绍
大数据的实际应用中，有一个重要的环节，就是实现数据的可视化。这是数据分析结论导向的重要体现。你可以通过可视化的数据形式明晰的了解各种数据的分布以及占比，例如大数据招聘市场的分布、目前行业岗位薪资与学历的关系、大数据热门技术的应用比例等等。本文就和大家介绍一些大数据可视化的使用工具
8898
2019-08-09 18:04:01
大数据分析培训课程靠谱吗？主要课程内容是什么？
大数据分析是目前国内各行各业都非常关注的一个岗位，通过对大数据的挖掘分析，不仅仅能为企业提供有商业价值的重大决策，同时也可以优化企业运营生产过程中的过度消耗以及资源匹配不均等等现象。因此大量的技术人员开始进入大数据分析的相关领域学习，那现在市面上常见的大数据分析培训课程靠谱吗？大数据分析培训课程主要学习哪些知识？
8829
2019-08-23 18:33:37
什么是数据科学异常值检测原理？
什么是数据科学异常值检测原理？异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等。使用pandas，可以直接使用describe()来观察数据的统计性描述，或者简单使用散点图也能很清晰的观察到异常值的存在。
8605
2020-03-20 16:21:07
数据科学自然语言处理的应用领域
数据科学自然语言处理的应用领域，随着科技的发展自然语言已经应用到我们生活的方方面面，比如搜索自动更正和自动完成、语言翻译、社交媒体监控、聊天机器人、调查分析、定向广告等。
5902
2020-07-16 15:42:55
无基础人员转行做机器学习可以吗？
机器学习需要一定数学基础，没有相关的了解需要重新学习。转行机器学习不适用所有人，可不可以转行需要具体结合自身的情况。入门机器学习有一定的门槛要慎重决定。
4966
2020-10-23 14:55:11
