• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 分析Nginx访问日志需要学什么?

发布时间:2020-02-04 14:13:42 浏览 4173 来源:博学谷 作者:吾非鱼

    分析Nginx访问日志需要学什么?需要掌握Spark SQL核心知识,分析Nginx访问日志掌握SparkSQL数据分析能力,SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。

     分析Nginx访问日志需要学什么

    1Spark SQL介绍

    Spark SQLSpark生态圈的地位和作用,让大家对Spark SQL 的总体知识框架有个大概的轮廓。

     

    2、认识Spark SQL

    Spark SQL运行原理,DataFrameDataSetRDD的相互转化和使用场景,并讲解Parquet的使用。

     2.1 Spark SQLHive

     2.2 Spark SQL运行原理

     2.3 DataFrameDataSetRDD的联系

     2.4 Parquet列式存储

     

    3 DataFrame/DataSet常用操作

    DataFrame的过滤,分组,排序操作和列值的增删改,以及对Join的优化。

     3.1 一般操作:查找和过滤

     3.2 聚合操作:groupByagg

     3.3 单表操作:列的增删改与空值处理

     3.4 多表操作:join

     

    4、自定义函数和开窗函数

    讲解自定义函数的使用,以及开窗函数在分组求TopN中的应用。

     4.1 自定义函数:UDF

     4.2 自定义聚合函数:UDAF

     4.3 开窗函数:row_number()

     

    5Nginx访问日志分析完整实战

    使用Spark SQL分析Nginx访问日志的项目。包括了数据清洗,存储,监控和优化。

     5.1 项目场景介绍及分析

     5.2 第一次数据清洗:格式化原始日志数据

     5.3 第二次数据清洗:解析数据并按天以Parquet格式存储

     5.4 将分析结果批量写入MySql

     5.5 性能监控及优化

     

    日志服务查询分析能力是完整SQL92,支持各种数理统计与计算。目前,日志服务支持保存查询语句为快速查询,对查询设置触发周期(间隔),并对执行结果设定判断条件并且告警。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 2020年大数据技术发展趋势如何? 下一篇: 2020年大数据发展前景如何?

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码