分析Nginx访问日志需要学什么？需要掌握Spark SQL核心知识，分析Nginx访问日志掌握SparkSQL数据分析能力，SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
1、Spark SQL介绍
Spark SQL在Spark生态圈的地位和作用，让大家对Spark SQL 的总体知识框架有个大概的轮廓。
2、认识Spark SQL
Spark SQL运行原理，DataFrame、DataSet和RDD的相互转化和使用场景，并讲解Parquet的使用。
2.1 Spark SQL和Hive
2.2 Spark SQL运行原理
2.3 DataFrame、DataSet和RDD的联系
2.4 Parquet列式存储
3、 DataFrame/DataSet常用操作
DataFrame的过滤，分组，排序操作和列值的增删改，以及对Join的优化。
3.1 一般操作：查找和过滤
3.2 聚合操作：groupBy和agg
3.3 单表操作：列的增删改与空值处理
3.4 多表操作：join
4、自定义函数和开窗函数
讲解自定义函数的使用，以及开窗函数在分组求TopN中的应用。
4.1 自定义函数：UDF
4.2 自定义聚合函数：UDAF
4.3 开窗函数：row_number()
5、Nginx访问日志分析完整实战
使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗，存储，监控和优化。
5.1 项目场景介绍及分析
5.2 第一次数据清洗：格式化原始日志数据
5.3 第二次数据清洗：解析数据并按天以Parquet格式存储
5.4 将分析结果批量写入MySql
5.5 性能监控及优化
日志服务查询分析能力是完整SQL92，支持各种数理统计与计算。目前，日志服务支持保存查询语句为快速查询，对查询设置触发周期（间隔），并对执行结果设定判断条件并且告警。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
2020年大数据技术发展趋势如何？
下一篇：
2020年大数据发展前景如何？
相关推荐 更多
大数据技术分享：Hive的静态分区与动态分区
Hive是机遇Hadoop的一个数据仓库工具，它的学习成本低，可以通过类SQL语句快速实现简单的MAPReduce统计，十分适合数据仓库的统计。在Hive学习过程中必定会接触到分区，这是Hive存放数据的一种形式。查询数据时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。分区分为静态分区和动态分区两种形式。
5115
2019-06-21 18:18:25
博学谷数据分析培训班课程好不好？
博学谷数据分析培训班课程好不好？数据分析学完做什么？博学谷数据分析培训班课程覆盖数据分析师应掌握的全部技能点，零基础开始入门数据分析师，数据分析师工具学习，数据分析语言等内容学习。
4473
2019-09-25 16:51:40
大数据应用技术的发展方向分析
如今，大数据的应用对企业公司以及个人都产生了深远影响，本文就来预测一下大数据应用技术的发展方向。可以预见的是，数据资产管理、数据资产管理、AI驱动的数据基础设施、面向AI的分布式计算框架和数据安全这些都将成为大数据应用技术的发展方向。对大数据应用技术感兴趣的小伙伴，可以接着往下看小编的的详细分析。
2743
2019-10-29 17:24:18
云数据安全之数据加密的要点分析
毫不夸张的说，当下是云计算和大数据的时代，我们的生活和工作都受到了云计算和大数据方方面面的影响，云计算和大数据不仅改变了我们的思维、生产方式，还改变了我们生活和学习方式。然而随之而来的云数据安全问题也是日益凸显，许多用户都遭受了大数据泄露带来的损失。本文就来和大家分析一下云数据安全中数据加密的要点。
2853
2019-10-31 19:21:05
大数据在零售供应链管理方面的应用
零售商可通过多种方式使用大量信息来改善其零售供应链，分析解决方案将供应商的实际绩效与其关键绩效指标进行比较，帮助供应商在按时交货、提升客户满意度等。
1030
2020-12-31 10:38:03
热门文章
- 创建表并给某个字段添加数据的SQL语句怎么写
- 如何使用连接更新表中某个字段数据？
- MySQL数据库应用之如何将查询结果插入到其它表中？
- 分组和聚合函数的组合怎么使用？代码怎么写？
- 外键SQL语句的编写怎么用？
- 数据库设计之三范式是什么？有什么作用？
- 子查询的SQL语句怎么写？如何使用？
- 连接查询自连接的SQL语句怎么写？
- 连接查询右连接的SQL语句怎么写？
- 连接查询左连接的SQL语句怎么写？ 查看更多
扫描二维码，了解更多信息
