原创 2020年大数据零基础学习路线规划

发布时间:2020-04-23 17:38:31 浏览 1333 来源:博学谷 作者:照照

    对于零基础想要入门大数据的初学者来讲,需要学习的知识点很广泛也需要不停地深挖。为了帮助大家构建自己的大数据学习框架,本文以博学谷的课程为参考,为大家规划了一条详细的学习路线,总共是一个学习阶段。下面一起来看看这份最新的2020年大数据零基础学习路线规划吧!

     

    大数据学习路线

     

    阶段一 : Java基础

     

    1、编程基础

    DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门

    常量与变量、数据类型、运算符、流程控制语句、方法、数组

     

    2、面向对象入门

    面向对象思想、类与对象、成员变量和局部变量、封装、 this关键字、构造方法

    Object类、Scanner类、Random类、StringStringBuilder

    集合概述、集合特点、ArrayList集合

    字符输入流、字符输出流、字符缓冲输入流、字符缓冲输出流、 复制文件、集合与文件中数据相互读写

     

    阶段二 : JavaWeb

     

    1Java基础增强

    类加载器、反射、网络编程、端口和协议、TCP协议、服务端、客户端、多线程线程和进程、线程的生命周期、线程安全、代码同步、注解、JDK常用注解、自定义注解

     

    2Java web 核心

    HTMLCSSJavaSriptBootStrap

    MySQL数据库、MySQL单表操作、MySQL多表操作、MySQL事物、 MySQL存储引擎、JDBC、JDBCDataSource

    TomcatHttp协议、servlet入门、RquestResponseJSPMVC CookieSessionJSPETLJSTLFilterlistener

    JqueryAjaxajax跨域、分页

    Maven项目构建、管理、编译、仓库配置、 Git项目管理

     

    阶段三 : 主流框架

     

    1Spring 组件

    Spring简介、Spring配置文件、Spring配置数据源 、Spring注解开发、AOP简介、AOP的实现方式、JdbcTemplate基本使用、Spring的事务控制

     

    2SpringMVC组件

    Spring集成web开发环境、SpringMVC简介、SpringMVC组件解析、SpringMVC的数据响应、SpringMVC的请求参数绑定、SpringMVC的文件上传、SpringMVC的拦截器 、SpringMVC的异常处理

     

    3Mybatis组件

    Mybatis快速入门、Mybatis基本增删改查操作、Mybatis核心配置文件、Mybatisdao层实现原理、Mybatis映射文件深入-动态SQLMybatis核心配置文件深入、Mybatis的多表操作、Mybatis注解开发、SSM整合

     

    阶段四 : 流行框架

     

    1Lucene组件

    全文检索基本介绍、lucene入门案例中文分析器索引库维护

     

    2Spring Data JPA

    JPA的引入、JPA的入门案例主键生成策略、JPA的基本操作

     

    3Spring Boot

    spring boot 介绍、spring boot 入门、spring boot 原理分析、 spring boot 配置文件

     

    阶段五 : 大数据基础增强

     

    1linux操作基础

    虚拟机的联网以及基础命令增强、linux的查找命令、linux的用户与用户组、linux的权限管理、linux系统服务管理、网络管理 、shell的变量定义、变量引用、算数运算符、流程控制语句、函数使用

     

    2Jvm 优化

    熟悉jvm 参数,visualVM 工具,垃圾回收原理, JVM字节码分析等等

     

    阶段六 : 大数据Hadoop离线分布式系统

     

    1、大数据基础和硬件介绍

    大数据集群基本环境准备、大数据集群环境的基础准备

     

    2Hadoop 核心组件以及高级性能优化

    HDFS组件详解以及实战、mapreduce 组件详解以及高级性能优化、Yarn组件详解以及多租户的实现、hive组件实战以及性能优化、impala组件实战以及性能优化sqoop常见问题详解

     

    3、辅助系统工具

    sqoop hue impala kudu oozie flume azkaban组件功能介绍、架构和原理、多个案例整合

     

    4、网站流量日志分析项目

    项目背景,日志埋点收集,数据预处理,数据入库,指标分析,统计分析,可视化

     

    阶段七 : 大数据 NoSQLKafkaELK技术实战

     

    NoSQLKafkaELK技术实战

    NoSQL介绍、Redis的原理和架构、 Redis的集群搭建、Hbase的应用场景、Hbase架构和原理以及RowKey设计和优化策略、HBase+Redis微博实战案例、Elasticsearch的功能、架构和原理以及ELK案例实战

     

    阶段八 : 大数据 Spark 内存计算系统

     

    1、Scala语言基础

    Scala基础、声明变量、数据类型、条件表达式、块表达式、循环、方法和函数、数组、元组、集合、Iterator、构造器、伴生对象、akka

     

    2Spark入门以及集群搭建

    Spark集群环境搭建,spark入门程序,RDD入门

     

    3SparkRDD

    Spark的应用场景、架构和原理、入门案例、Spark Session讲解、RDD的概念和特性、Transformation RDD讲解、Action RDD讲解、PartitionTaskRDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制、RDD的广播操作、DAG思想、DAG的生成、DAG的处理过程、运行机制、DriverExecutor

     

    4Spark SQL

    Spark SQL功能介绍、DataFrameDataSetRDDDatasetDataFrame的转换、读写Hive表数据、读写HDFS的数据、DataFrameAPI操作、读取文件(txtCSVJsonparquet)、临时表、读写RDBMSSpark SQL执行计划、Spark SQL的性能优化

     

    5SparkStreaming原理_运行过程_高级特性

    sparkstring的功能介绍,架构,流计算Dstream运行原理

     

    6Structured Streaming_介绍_案例

    Structured String的功能介绍、input功能、output功能、window操作、watermark操作、过期数据操作、去重数据操作、整合Socket数据、整合Kafka数据、OutputModel(Append\complete\update)功能、Flume+kafka+Structured Streaming实现用户访问行为的实时分析

     

    7DMP项目

    Kudu应用场景,项目介绍, Kudu原理,cdh环境搭建,kudu整合spark开发,项目框架搭建,报表统计,商圈库功能。

     

    阶段九 : 大数据 Flink 实时计算系统

     

    1Flink基础介绍

    Flink的运行机制、Flink组件和逻辑计划、Flink执行计划生成、JobManager中的基本组件、TaskManager、算子、网络、水印WaterMark、任务调度

     

    2flink高级进阶

    flink的状态管理、CheckPointflinksqlflinkTableApi

     

    3Flink电商指标分析项目

    上报服务系统开发、Flink实时数据分析系统开发、实时频道热点分析业务开发、实时频道PV/UV分析、实时频道用户新鲜度分析、实时频道地域分析业务开发、实时运营商分析业务开发、实时数据同步系统、Canal数据采集平台

     

    阶段十 : 大数据新技术实战详解

     

    Druid

    Druid应用场景、集群搭建、数据加载、重要概念、架构及原理、数据查询、元数据、实时应用案例

     

    阶段十一 : 机器学习( 选修 )

     

    1、机器学习概念入门

    基本概念、数据的预处理、模型的评估

     

    2、机器学习数学基础

    初等数学基础、函数求导以及链式求导法则、方向导数、梯度、泰勒级数、 拉格朗日乘子法、线性代数与矩阵、特征值与特征向量、概率分析、 极大似然估计、梯度下降法代码实践、牛顿法代码实战、 矩阵分解实战(SVD,PCA,QR)

     

    3、机器学习语言基础之Python语言

    基础数据类型、list/tuple/dict/set、列表推导式、生成器推导式、 lambda函数、控制语句、文件读写、异常处理分析、面向对象编程、 GUI编程、Python基础项目实践

     

    4Python数据分析库实战

    Numpy矩阵运算库基础及实战、Scipy数值运算库基础及实战、 Matplotlib绘图库基础及实战、Seaborn绘图库基础及实战、 Pandas数据分析库基础及实战

     

    5Spark机器学习库实战

    SparkMLSparkMLLIB区别、Spark机器学习基础、Pipeline管道、 特征抽取(TF-IDFWord2VecCountVectorizer)、特征转换(Tokenizer PCAN-gramDCTone-hotMinMaxScalerNormalizerSqlTransformerVectorAssembler)、特征选择(VectorSlicerRFormula ChiSqSelector)

     

    6、机器学习算法之用户标签预测项目实战

    用户画像标签预测实战、KNNKMeans、决策树算法模型(ID3C4.5 Cart)、集成学习算法(Bagging、随机森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)

     

    7、人才流失模型项目实战

    机器学习算法之推荐系统实战

    基于记忆的CF实战(Surprise库实战)、基于模型的CF实战(SparkALS实战)、 基于Native-Bayes分类算法实战、基于内容推荐(jieba分词、提取词向量、 文本分类、特征聚类)、关联挖掘算法实战(基于SparkFP-Growth算法实战)、推荐项目实战

     

    8、机器学习算法之CTR点击率预估实战

    特征工程实战、CTR点击率预估应用场景分析、 逻辑斯特回归算法理论基础推导及项目实战、推荐系统指标分析、 推荐系统架构分析、基于Wideanddeep模型理论及实战(学会读学术Paper)

     

    9、机器学习算法之深度学习基础及图片分类实战

    神经网络和深度学习基础、MP神经元模型、感知机模型、BPNN模型实战、 CNN模型实战图像识别、Tensorflow基础、电影评论文本分析、 RNN文本情感分析实战

     

    阶段十二 : 云计算( 选修 )

     

    1、虚拟化

    hypervisor管理类工具、QEMUKVMQEMU-KVMlibvirt、虚拟化技术概述,XenVMwareKVM虚拟化对比与实践

     

    2、公有云(阿里云)

    公有云概述、阿里云应用实战

     

    3、私有云运维(OpenStack)

    Openstack概述,OpenStack组件功能介绍,OpenStack安装与配置,OpenStack私有云运维实战;

     

    4、容器Docker+监控

    Docker概述,Docker部署,Docker容器,Docker镜像仓库该学科热门课程

    Kubernetes概述、Kubernetes安装与部署、Docker+Kubernetes集群实战

     

    以上这份2020年大数据零基础学习路线规划,可以说基本涵盖了大数据最核心的技术,同时由浅入深,层层深入,十分适合初学者进行学习。如果大家对学习大数据有需求,不妨上博学谷体验一下相关的视频课程,相信可以让大家快速系统地熟悉大数据的应用场景、理解大数据技术原理、以及掌握大数据应用的技术方法。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: Flink从入门到实践课程介绍 下一篇: 大数据Apache Hadoop YARN 工作原理介绍

相关推荐 更多

热门文章

  • 旅行自媒体怎么赚钱?通过什么方式?
  • Java线上课程一般在哪买?
  • PMP考试哪个培训机构好些?怎么选?
  • 交互设计师主要做什么的工作?有哪些要求?
  • 求职面试屡面屡败 对症下药才是关键
  • 前端开发与后端开发的区别是什么?
  • PHP培训一般学什么内容?选什么从业方向?
  • 常用的Web前端开发框架有哪些?
  • 常见的Python数据可视化库介绍
  • IT学校学费一般多少钱?需要学多久?
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码