• 200h

    课程时长

  • 365

    服务期

  • 无限期

    有效期

  • 951

    学习人数

课程参数
教学服务
随到随学
随时随地皆可学习,无需等待,使你的学习更灵活,更高效。
学习计划
个性化制定每天学习任务
单元测试
根据每个小节学习的知识点测试学习情况

本课程为具有一定编程开发经验的学员而准备,从大数据基础增强开始, 内容精准聚焦大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等重要内容;涵盖了大数据体系中几乎所有的核心技术,包含Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、Impala、Hue、Oozie、Flink、kafka、Spark、Scala、SparkSQL、Hbase等。同时我们也提供了机器学习以及云计算的课程为学员的日后发展和就业保驾护航。

学完收获:

熟练掌握大数据开发思维,掌握jvm优化

熟练掌握hdfs的开发应用以及原理

熟练掌握MapReduce运行原理及程序开发能力

熟练掌握hive数据仓库的开发

熟练掌握hbase列式数据库优化及开发

熟练掌握azkaban,impala,oozie,hue,zookeeper等hadoop生态圈组件

熟练掌握分布式消息中间件kafka的原理及应用

熟练掌握storm流计算编程原理以及企业级应用

熟练掌握scala编程知识

熟练掌握spark内存计算的搭建使用及运行原理

熟练掌握sparksql,sparksteaming等spark一站式开发框架的应用

熟练掌握Flink开发框架的企业级应用

理解机器学习主流算法的应用

具有编程开发经验,想要转行从事大数据相关工作的人员
具有编程开发经验,想要将大数据应用于实践的在职人员

亮点1

课程重磅
升级
技术热点全
覆盖

本次升级新增当下大数据应用
技术热点,使课程更全涵盖大
数据体系中的技术点,包括但
不限于Linux、Zookeeper、
Hadoop、Yam、Redis、HD
FS、MapReduce、Hive、lm
pala、Hue、Oozie、Storm
、Kafka、Spark、Soark RDD
、Spark SQL、Soark Stream
ing、Sqoop、Flume、CDH
、Scala、Hbase、Flink、机器
学习等,将离线数据分析、实
时数据分析和内存数据计算中
的技术点覆盖

亮点2

原理讲解
深入浅出
通俗易懂

将晦涩难懂的理论一通俗易懂
的方式进行讲解,然后通过深
入分析源码让学员深入理解其
内在原理,在照顾基础薄弱学
习者的同时又融入核心技术点
加以实战,夯实了基础又快速
储备了丰富的实战经验

亮点3

实战项目/案
例贯穿始终
边学边练
及时强化

此课程涵盖网站点击流日志分
析系统、统一监控告警系统、
用户画像、Flume 实战案例、
Azkaban实战案例、Hbase实
战案例和Hbase整合读写数据
等源于企业中的真实项目和案
例,以项目/案例驱动教学,将
真实实例贯穿到知识点中,学
中练、练中学、及时训练、及
时强化,让学习者更快掌握大
数据实战技术

阶段一 : 大数据基础增强



linux操作基础

虚拟机的联网以及基础命令增强、linux的查找命令、linux的用户与用户组、linux的权限管理、linux系统服务管理、网络管理 、shell的变量定义、变量引用、算数运算符、流程控制语句、函数使用

JVM优化

熟悉jvm 参数,visualVM 工具,垃圾回收原理, JVM字节码分析等等

市场价值 : 能够完成中小型企业常见的自动化脚本。

阶段二 : 大数据Hadoop离线分布式系统

大数据基础和 硬件介绍

大数据集群基本环境准备、大数据集群环境的基础准备

Zookeeper组件

Zookeeper的应用场景、Zookeeper的架构和原理、Zookeeper的存储模型、Zookeeper的Znode创建、Zookeeper的选举机制、Zookeeper的客户端操作

HDFS组件

HDFS设计的特点、master-slave架构介绍、block块存储、RF拷贝因子、机架感知、block拷贝策略、namenode功能介绍、datanode功能介绍、Metadata元数据介绍、读写流程、HDFS Federation功能介绍、HDFS snapshots快照介绍、NameNode HA架构和原理、HDFS管理员常用操、HDFS权限控制

MapReduce

MapReduce设计的目标、MapReduce架构和原理、MapReduce快速入门、Mapper抽象类、Reducer抽象类、Split机制、Map和Reduce个数的确定、Combinar机制、Partition机制、自定义Partition、MapReduce序列化、MapReduce自定义排序、Mapreduce数据的压缩、InputFormat抽象类、自定义InputFormat、Recordreader机制、自定义、RecordReader、二次排序

Yarn组件

Yarn原理和架构、RM和NM功能介绍、Application Master功能介绍、Container介绍、Container资源的封装(CPU、内存和IO)
资源调度策略(FIFO、Fair和Capacity)、Fair Scheduler配置和使用、Yarn实现计算资源多租户配置和使用

Hive组件

Hive的功能介绍、创建表、本地加载数据、HDFS加载数据、基本数据类型、复合数据类型、静态分区、动态分区、临时表、Metastore服务、HiveServer2、内置函数、自定义UDF和UDAF、数据压缩、ORC、Parquet、自动化脚本、常见性能优化、explain执行计划详解

Impala组件

Impala的应用场景、架构和原理、安装、基本查询语法、shell交互窗口、数据加载、JDBC连接Impala、Impala的优化、invalidate metadata、compute stats使用

辅助系统工具

sqoop hue impala kudu oozie flume azkaban组件功能介绍、架构和原理、多个案例整合

网站流量日志分析

项目背景,日志埋点收集,数据预处理,数据入库,指标分析,统计分析,可视化

市场价值 : 可从事离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。

阶段三 : NoSQL、Kafka和ELK技术实战

redis组件

NoSQL介绍、Redis的原理和架构、Redis的使用、Redis的集群搭建、

hbase组件

Hbase的应用场景、Hbase架构和原理、表的的创建和使用、列簇、多版本控制、增删改查操作、Java API操作、HFile读取、split操作、flush操作、compact操作、过滤器、RowKey设计和优化策略、HBase+Redis微博实战案例

kafka组件

为什么需要消息系统、kafka应用场景、kafka架构和原理、Kafka的CAP特性、topic(创建、修改和删除)、partition策略、自定义Partition、offset、replication、Message读写过程、Message的存储策略、producer、consumer、Consumer Group使用、Java API操作、监控工具和优化

ELK技术栈

Elasticsearch的功能、架构和原理、拷贝机制、Head插件、Index索引、Get、Delete、Update、聚合操作、监控插件bigdesk、DSL、SQL插件使用、ELK的应用场景介绍、Logstash的功能介绍、Logstash常用插件介绍、kibana的功能介绍、数据探索、可视化、常用插件使用、ELK实战

市场价值 : 具备大数据高性能数据读写的常用技术解决方案开发思想,为以后学习大数据项目阶段打下坚实的基础

阶段四 : 大数据Spark内存计算系统

Scala语言基础

Scala基础、声明变量、数据类型、条件表达式、块表达式、循环、方法和函数、数组、元组、集合、Iterator、构造器、伴生对象、akka

Spark入门以及集群搭建

Spark集群环境搭建,spark入门程序,RDD入门

SparkRDD

Spark的应用场景、架构和原理、入门案例、Spark Session讲解、RDD的概念和特性、Transformation RDD讲解、Action RDD讲解、Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制、RDD的广播操作、DAG思想、DAG的生成、DAG的处理过程、运行机制、Driver和Executor

Spark SQL

Spark SQL功能介绍、DataFrame、DataSet、RDD、Dataset和DataFrame的转换、读写Hive表数据、读写HDFS的数据、DataFrame的API操作、读取文件(txt、CSV、Json、parquet)、临时表、读写RDBMS、Spark SQL执行计划、Spark SQL的性能优化

SparkStreaming原理_运行过程_特性g

sparkstring的功能介绍,架构,流计算Dstream运行原理

Structured Streaming_介绍_案例

Structured String的功能介绍、input功能、output功能、window操作、watermark操作、过期数据操作、去重数据操作、整合Socket数据、整合Kafka数据、OutputModel(Append\complete\update)功能、Flume+kafka+Structured Streaming实现用户访问行为的实时分析

市场价值 : 可从事Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。目前企业急缺Spark相关人才。

阶段五 : Spark 项目实战


DMP

Kudu应用场景,项目介绍, Kudu原理,cdh环境搭建,kudu整合spark开发,项目框架搭建,报表统计,商圈库功能。

市场价值 : 目前Spark是企业级大数据平台必备的使用技能,Spark对找工作有着决定性的优势,是企业级的大数据离线分析、数据挖掘、实时计算不可或缺的技术栈。

阶段六 : 大数据flink实时计算系统



Flink基础介绍

Flink的运行机制、Flink组件和逻辑计划、Flink执行计划生成、JobManager中的基本组件、TaskManager、算子、网络、水印WaterMark、任务调度

flink进阶

flink的状态管理、CheckPoint、flinksql及flinkTableApi

市场价值 : 目前Flink在大型互联网公司使用的的广泛,在传统行业Flink目前也是处在一个爆发的阶段。

阶段七 : 大数据 flink 项目实战



Flink电商指标分析项目

上报服务系统开发、Flink实时数据分析系统开发、实时频道热点分析业务开发、实时频道PV/UV分析、实时频道用户新鲜度分析、实时频道地域分析业务开发、实时运营商分析业务开发、实时数据同步系统、Canal数据采集平台、number函数使用说明 case when 和row

市场价值 : Flink目前的人才需求缺口大,目前Flink在大型互联网公司使用的的广泛,在传统行业Flink目前也是处在一个爆发的阶段。

阶段八 : 大数据新技术实战详解


Druid

Druid应用场景、集群搭建、数据加载、重要概念、架构及原理、数据查询、元数据、实时应用案例

市场价值 : 可解决企业级OLAP的解决方案。Druid目前人才需求量在不断的增加

阶段九 : 机器学习(选修)


机器学习概念入门

1.基本概念:属性、属性的度量、属性类型、数据集类型、数据集的特性、训练集、测试集、特征值、监督学习、非监督学习、半监督学习等概念
2.数据的预处理:聚集、抽样、维度规约、特征子集选择、特征创建、离散化和二元化、变量变换
3.模型的评估:模型的过分拟合(过拟合),欠拟合,评估分类器的性能(交叉验证和自助法),模型评估方法、损失函数和风险函数、参数优化等,模型复杂度(奥卡姆剃刀)4.机器学习处理的一般流程分析

机器学习数学基础

初等数学基础、函数求导以及链式求导法则、方向导数、梯度、泰勒级数、 拉格朗日乘子法、线性代数与矩阵、特征值与特征向量、概率分析、 极大似然估计、梯度下降法代码实践、牛顿法代码实战、 矩阵分解实战(SVD,PCA,QR)

机器学习语言基础之Python语言

基础数据类型、list/tuple/dict/set、列表推导式、生成器推导式、 lambda函数、控制语句、文件读写、异常处理分析、面向对象编程、 GUI编程、Python基础项目实践

Python数据分析库实战

Numpy矩阵运算库基础及实战、Scipy数值运算库基础及实战、 Matplotlib绘图库基础及实战、Seaborn绘图库基础及实战、 Pandas数据分析库基础及实战

Spark机器学习库实战

SparkML和SparkMLLIB区别、Spark机器学习基础、Pipeline管道、 特征抽取(TF-IDF、Word2Vec、CountVectorizer)、特征转换(Tokenizer、 PCA、N-gram、DCT、one-hot、MinMaxScaler、Normalizer、SqlTransformer、VectorAssembler)、特征选择(VectorSlicer、RFormula、 ChiSqSelector)

机器学习算法之用户标签预测项目实战

用户画像标签预测实战、KNN、KMeans、决策树算法模型(ID3、C4.5、 Cart树)、集成学习算法(Bagging、随机森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)、人才流失模型项目实战

机器学习算法之推荐系统实战

基于记忆的CF实战(Surprise库实战)、基于模型的CF实战(SparkALS实战)、 基于Native-Bayes分类算法实战、基于内容推荐(jieba分词、提取词向量、 文本分类、特征聚类)、关联挖掘算法实战(基于Spark的FP-Growth算法实战)、推荐项目实战

机器学习算法之CTR点击率预估实战

特征工程实战、CTR点击率预估应用场景分析、 逻辑斯特回归算法理论基础推导及项目实战、推荐系统指标分析、 推荐系统架构分析、基于Wideanddeep模型理论及实战(学会读学术Paper)

机器学习算法之深度学习基础及图片分类实战

神经网络和深度学习基础、MP神经元模型、感知机模型、BPNN模型实战、 CNN模型实战图像识别、Tensorflow基础、电影评论文本分析、 RNN文本情感分析实战

市场价值 : 可从事机器学习、数据挖掘等相关工作,包括推荐算法工程师、数据挖掘工程师、机器学习工程师,填补人工智能领域人才急剧增长缺口。

阶段十 : 云计算(选修)


虚拟化

hypervisor管理类工具、QEMU、KVM、QEMU-KVM、libvirt、虚拟化技术概述,Xen、VMware、KVM虚拟化对比与实践

公有云(阿里云)

公有云概述、阿里云应用实战

私有云运维(OpenStack)

Openstack概述,OpenStack组件功能介绍,OpenStack安装与配置,OpenStack私有云运维实战;

容器Docker+监控

Docker概述,Docker部署,Docker容器,Docker镜像仓库、Docker实战

容器编排工具(Kubernates)

Kubernetes概述、Kubernetes安装与部署、Docker+Kubernetes集群实战

市场价值 : 熟练掌握和学习后,可满足Linux云计算架构工程师的需求。

全方位用户画像

1、标签是表达人的基本属性、行为倾向、兴趣偏好等某一个维度的数据标识,它是一种相关性很强的关键字,可以简洁的描述和分类人群。
2、标签的定义来源于业务目标,基于不同的行业,不同的应用场景,同样的标签名称可能代表了不同的含义,也决定了不同的模型设计和数据处理方式。
3、标签标签是构建用户画像的基础,会产生两类用户画像,即个人用户画像和群体画像。个人画像,也叫360度用户视图,用于用户精准互动和一对一服务,销售和运营等操作实务指导为主。群体画像是群体行为分析,群体行为洞察有利于做趋势分析、产品规划、营销决策等层面的工作。

千亿级数据仓库

数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据,更加庞大的数据集。
数据仓库为企业所有级别的决策制定过程,提供所有类型数据支撑的战略集合,主要是用于数据挖掘和数据分析,以建立数据沙盘为基础,为消灭消息孤岛和支持决策为目的而创建的。
数据仓库的应用 1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。 2.数据化运营、精准运营。 3.广告精准、智能投放。

Flink电商指标分析项目

基于电商公司电商系统,使用Flink分析电商网站的各种用户行为(访问行为、购物行为、点击行为等),统计出PV、UV等数据,深入掌握Flink DataStream的核心理论知识。

DMP(数据管理系统)项目

DMP 全称数据管理系统, 为广告系统提供数据服务, 项目涉及标签处理, 用户识别, 图计算等技术点, 能够有效提升大数据开发能力。

网站流量日志分析项目

网站流量日志数据分析是一个纯粹的数据分析项目,主要分为:数据采集、数据预处理、数据入库、数据分析、数据展现5大步骤。

Openstack核心服务

OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。

Q1

学习本课程是否需要编程基础?

本课程内容面向Java编程基础的学员设计

A

还有问题,点击咨询