抢四月逆袭大礼包名额

(1000元优惠券+程序员大礼包+传智原创教材)

名额仅限50

*请放心填写,我们会对您的信息严格保密

活动时间:4月16日~23日,50个名额领完为止

恭喜你!成功领取优惠名额
请保持电话畅通!
你已领取过优惠
  请保持电话畅通!
|传智播客旗下高端IT在线教育平台
有位老师想和您聊一聊
课程大纲
薪资
行业前景
360°服务
进一步了解
免费领原创教程
查看课程详情
第一阶段 大数据基础增强

本阶段重点讲解Linux操作基础、Shell编程、Zookeeper集群 和Hadoop集群环境准备和JVM调优等内容,帮助没有Linux基础或者基础薄弱的学员,达到熟练使用Linux的水平及熟悉负载均衡、高可靠等集群相关概念并提高学员的java实力,为大数据的深入学习和调优做好充足的准备。

一、linux操作基础
1.虚拟机的创建并联网 2.linux的查找命令 3.linux的用户与用户组 4.linux的权限管理 5.系统服务管理 6.网络管理
二、shell编程
1.shell的变量定义 2.变量引用 3.Shell运算符 4.流程控制 5.函数使用
三、hadoop集群环境准备
大数据集群环境准备
四、zookeeper集群
1.zookeeper概述 2.zookeeper的架构图 3.zookeeper的特性 4.zookeeper集群的搭建 5.节点操作 6.zookeeper的watch机制 7.zookeeper节点的javaAPI操作
五、JVM优化
1.JVM运行参数 2.JVM内存模型 3.Jmap命令的使用 4.Jstack命令的使用 5.VisualVM工具的使用 6.JVM垃圾回收算法 7.JVM垃圾收集器 8.Tomcat8优化 9.JVM字节码 10.代码优化建议
查看详细大纲
免费试学
第二阶段:大数据Hadoop离线分布式系统

本阶段通过Hadoop集群部署、HDFS、Hive数据仓库等内容以及Impala、Hue等相关新技术的学习,使学习者达到具备企业数据部中高级应用开发、初级架构师、Hive工程师和数据仓库工程师的能力。

一、Hadoop集群部署
1.Hadoop的发展简史 2.Hadoop的历史版本介绍 3.Hadoop三大公司发行版本介绍 4.Hadoop1.x版本与2.x版本的架构模型比较 5.Apache版本Hadoop三种环境构建 6.CDH版本的Hadoop重新编译 7.CDH版本的zookeeper环境搭建 8.CDH伪分布式环境搭建
二、HDFS&MapReduce
1.HDFS的来源 2.HDFS设计目标 3.HDFS的架构图 4.HDFS的架构之文件的副本机制 5.Block块存储 6.HDFS的元数据信息FSimage以及edits、 SecondaryNN的作用 7.HDFS的文件写入过程 8.HDFS的文件读取过程 9.HDFS的API操作 10.HadoopMapReduce设计构思 11.MapReduce框架结构 12.MapReduce编程规范及示例编写 13.MapReduce程序运行模式
三、MapReduce优化
1.MapReduce的分区与ReduceTask的数量设置 2.MapReduce排序以及序列化 3.MapReduce当中的计数器 4.MapReduce的combiner 5.手机流量汇总求和 6.上行流量排序实现 7.手机号码分区 8.MapTask运行机制详解以及Map任务的并行度 9.ReduceTask工作机制以及ReduceTask的并行度 10.MapReduce shuffle过程 11.shuffle阶段数据的压缩机制
四、自定义及资源调度
1.Reduce join算法实现 2.Map端join算法实现 3.社交粉丝数据分析 4.倒排索引建立 5.自定义inputFormat合并小文件 6.自定义outputFormat 7.自定义GroupingComparator求取topN 8.Mapreduce参数优化 9.yarn资源调度 10.yarn集群中的调度器 11.关于yarn常用的参数设置
五、Hive数据仓库
1.数据仓库特征 2.数据仓库分层架构 3.Hive简介 4.Hive架构 5.Hive部署及使用 6.Hive命令行 7.Hive参数配置方式 8.Hive函数 9.UDF开发实例 10.Hive的数据压缩 11.Hive的数据存储格式 12.调优
六、网站流量日志分析
1.网站流量日志采集 2.数据分析系统介绍 3.系统的架构 4.Flume实现数据采集 5.数据预处理 6.数据仓库设计 7.ETL 8.统计分析 9.Sqoop结果导出 10.工作流调度 11.数据可视化
七、Impala&Hue
1.Impala的介绍 2.Impala安装环境准备 3.制作本地yum源 4.Impala的安装 5.Impala的使用 6.Impala的java开发 7.Hue的介绍与安装 8.Hue与HDFS集成 9.Hue与yarn集成 10.配置Hue与Hive集成 11.配置Hue与Impala的集成 12.配置Hue与Mysql的集成 13.重新启动Hue的服务
八、大数据新技术
1.Oozie介绍 2.Oozie架构 3.Oozie的执行流程 4.Oozie组件介绍 5.Oozie的安装 6.Oozie的使用 7.Hue整合Oozie 8.Hadoop HA集群的搭建 9.Hadoop Federation 10.CDH整体架构 11.CDH环境安装
查看详细大纲
领取免费学习资料
第三阶段 大数据Storm实时计算系统

本阶段通过全面Storm内部机制、原理以及storm实时看板案例的深入讲解和练习,让学习者能够拥有完整项目开发思路和架构设计的经验,具备从数据采集到实时计算到数据存储再到前台展示的编程能力。

一、kafka消息队列
1.kafka的基本介绍 2.kafka架构介绍 3.kafka组件介绍 4.kafka与传统消息系统的区别 5.kafka集群的安装 6.kafka的命令行的管理使用 7.Kafka的JavaAPI操作 8.Kafka的自定义分区 9.Kafka的配置文件server.properties的说明 10.flume与kafka的整合 11.kafka如何保证数据的不丢失 12.kafka-manager监控工具安装与使用
二、storm编程
1.storm概述 2.storm的架构模型 3.storm的编程模型及入门程序 4.storm的并行度分析以及如何解决线程安全问题 5.storm的分发策略 6.storm与kafka的整合
三、storm实时看板案例
1.指标需求 2.redis的安装使用 3.Kafka 当中的topic创建以及模拟消息生产程序 4.消息生产代码实现 5.消息消费代码实现
四、storm高级应用
1.storm与hdfs的整合使用 2.storm当中的ack机制 3.storm的ack机制验证超时 4.storm中的定时器任务 5.storm与jdbc的整合使用 6.storm与jdb整合打包集群运行
查看详细大纲
免费试学
第四阶段 大数据Storm项目实战

本阶段通过Storm日志告警和Storm路由器开发两个项目的实战,旨在希望学习者能够胜任流计算开发工作,流式计算工程师、大数据开发工程师、  Hive工程师、数据仓库工程师等岗位。

一、storm日志告警
1.日志监控告警业务需求逻辑 2.日志监控告警系统项目框架准备 3.日志监控告警系统代码完善 4.项目打包集群运行
二、Storm路由器项目开发
1.网络路由器项目背景 2.项目数据处理流程 3.网络数据类型介绍 4.数据的处理准备 5.数据处理过程代码开发 6.任务打包集群运行-报错 7.集群监控软件ganglia的安装 8.ganglia集群监控软件的使用查看
查看详细大纲
领取免费学习资料
第五阶段:大数据Spark内存计算系统

Spark可以用于批处理、交互式查询(Spark SQL)和实时流处理(Spark Streaming)等相关内容,本阶段通过讲解Spark一站式处理框架,让学习者掌握Spark相关的开发技术,达到能够胜任Spark相关工作的能力。

一、Scala语言基础
1.Scala基础语法 2.Scala中面向对象编程 3.Scala中的模式匹配 4.Scala中的actor介绍 5.Actor实战 6.Scala中的高阶函数 7.隐式转换和隐式参数 8.Akka通信框架 9.Akka编程实战
二、Spark基础
1.Spark概述 2.Spark集群安装 3.Spark HA高可用部署 4.Spark程序
三、Spark RDD
1.RDD概述 2.创建RDD 3.RDD特征 4.RDD常用的算子操作 5.RDD的依赖关系 6.RDD的缓存机制 7.DAG的生成 8.Spark任务调度 9.RDD容错机制之checkpoint 10.Spark运行架构
四、Spark SQL
1.Spark SQL概述 2.Spark SQL的特性介绍 3.DataFrame介绍以及与RDD对比 4.DataFrame常用操作 5.DataSet的介绍和操作 6.以编程方式执行Spark SQL查询 7.Spark on Yarn介绍
五、Spark Streaming流式处理
1.Spark Streaming概述 2.Spark Streaming原理 3.DStream相关操作 4.Dstream操作实战 5.Spark streaming整合Flume实战 6.Spark streaming整合Kafka实战
查看详细大纲
免费试学
第六阶段:大数据Spark项目实战

用户画像是根据用户基本属性、社会属性、生活习惯和消费行业等信息抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户贴“标签”,而标签 是通过对用户信息分析而来的高度精炼的特征标识。

电商用户画像项目
1.构建电商用户画像的重大意义 2.如何构建电商用户画像 3.用户画像建模 4.电商用户画像环境搭建 5.电商用户画像数据仓库建立 6.电商用户画像开发 7.电商用户画像数据可视化
查看详细大纲
领取免费学习资料
第七阶段:机器学习

本阶段从机器学习的数学基础到语言基础-Python语言最后过渡到机器学习的算法基础的学习,并通过用户标签预测项目实战、推荐系统实战、CTR点击率预估实战等实战案例,夯实学习者机器学习的理论基础和实战经验,使学习者能够胜任机器学习、数据挖掘等相关工作。

一、机器学习概念入门
1.大数据时代究竟改变了什么 2.大数据和机器学习的区别 3.什么是机器学习 4.基于规则的学习和基于模型的学习 5.监督学习和无监督学习 6.强化学习和迁移学习 7.机器学习三要素理解 8.机器学习模型选择 9.进入机器学习最佳时机
二、机器学习数学基础
1.高中数学基础 2.Sigmod函数求导 3.Tanh函数 4.凸函数 5.机器学习高数必备
三、机器学习语言基础之Python语言
1.基础数据类型 2.List函数 3.tuple函数 4.dict函数 5.set函数 6.列表推导式 7.元素和生成器推导式 8.Python函数 9.控制语句 10.文件读写 11.异常处理分析 12.面向对象程序设计编程 13.GUI程序设计 14.Python基础项目实践
四、Python数据分析库实战
1.Numpy矩阵运算库基础及实战 2.Pandas数据分析库基础及实战 3.Matplotlib绘图库基础及实战 4.Scipy数值运算库基础及实战
五、机器学习算法之用户画像标签预测实战
1.理解用户画像数据 2.应用标签系统 3.用户画像建模基础 4.决策树算法模型(ID3、C4.5算法、 Cart树) 5.集成学习算法(Bagging算法、随机森林、Adaboost算法、GBDT算法) 6.人才流失模型项目实战
六、机器学习算法之推荐系统实战
1.基于模型的CF 2.基于KNN推荐详解 3.基于surprise库API实践 4.SparkMLLIB 5.基于LFM推荐算法 6.基于NativeBayes分类算法实战 7.基于图的推荐系统 8.Apriori算法 9.基于Spark的ALS算法实践 10.基于Sklearn的朴素贝叶斯算法实战
七、机器学习算法之CTR点击率预估实战
1.Ctr业务描述 2.混合推荐算法 3.推荐系统评测方法 4.LR基础 5.LR原理详解 6.如何解决用户冷启动 7.Ctr的前沿技术
八、机器学习面试必备
1.机器学习面试题目详解 2.简历写法及注意事项 3.项目经验如何编写
查看详细大纲
免费试学
"
网站流量日志分析
日志监控告警系统
路由器数据监控
用户画像
数据挖掘项目-构建人才(用户)流失模型
实战项目——网站流量日志分析
项目描述:

随着大数据时代的到来,各行各业产生的数据呈爆发式增长,大数据的技术从之前的 “虚无” 变成可能, 数据产生的各种潜在价值慢慢的被人们挖掘出来利用在各行各业上。比如网站流量数据统计分析,可以帮助网站管理员、运营人员、推广人员等实时获取网站流量信息,并从 流量来源、网站内容、网站访客特性等多方面提供网站分析的数据依据。从而帮助提高网站流量,提升网站用户体验,让访客更多的沉淀下来变成会员 或客户,通过更少的投入获取最大化的收入。

应用场景:

常见的日志分析系统包括以下几类:

1)电商网站日志分析 2)手机app日志分析 3)网站搜索日志分析 4)视频网站日志分析

了解项目详情
实战项目——日志监控告警系统
项目描述:

随着公司业务发展,支撑公司业务的各种系统越来越多,为了保证公司的业务正常发展,急需要对这些线上系统的运行进行监控,做到问题的及时发现和处理,最大程度减少对业务的影响。因此急需项目中日志监控的功能,需要做到日志监控实时告警,例如 系统中出现任何异常,触发任何的告警规则,都可以实时通过短信 或者邮件告知相关系统负责人。

应用场景:

常见的日志系统包括以下几类:

1)有基于Tomcat的web应用 2)有独立的Java Application应用
3)有运行在linux上的脚本程序

了解项目详情
实战项目——路由器数据监控
项目描述:

随着路由器上网的普及,越来越多的人在各个场合选择使用路由器上网,特别是在一些公共场所,例如网吧,酒店,饭店, 旅馆,宾馆,洗浴中心等。这些公共场所的网络安全也日益受到各地网安的关注,各种问题也日益凸显。因此急需项目中路由器监控的功能,需要做到实时的网页内容监控,地理位置的监控,上网设备的mac地址追踪,通过嗅探设备,实现上网设备的实时路线追踪。

应用场景:

常见的路由分析系统包括以下几类:

1)各大商场wifi路由监控 2)公交车载wifi路由监控
3)机场免费wifi路由监控

了解项目详情
实战项目——用户画像
项目描述:

大数据时代已经到来,企业迫切希望从已经积累的数据中分析出有价值的东西,而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高 产品质量,同时提高用户满意度。本课程是基于大型电商公司的真实用户画像中提练出的精华内容,旨在培养学员了解用户画像的内容,掌握构建用户画像的方法。

应用场景:

常见的用户画像系统包括以下几类:

1)微信用户大数据画像 2)微博群体大数据画像
3)金融客户大数据画像

了解项目详情
实战项目——数据挖掘项目-构建人才(用户)流失模型
项目描述:

人才(用户)流失模型通过公司内部人力资源系统数据,通过数据的基本ETL(数据清晰过滤和汇总)对数据进行基本的预处理,通过Python进行各维度数据分析,经过数据分析得到分类特征较好的特征数据,对数值型数据、类别型数据、有序型数据分别进行处理和分析,通过机器学习库的机器学习算法寻找数据之间存在的关系,从而为公司人力资源及决策层提供信息建议及决策建议。

应用场景:

常见的系统包括以下几类:

1)游戏用户数据分析,建立用户流失模型
2)金融理财用户数据分析,建立用户流失模型 3)企业人才流失模型

了解项目详情
一键打包项目源码

17000

薪资

  • 姓名:赵同学
  • 学历:本科
  • 月薪:17K(15薪)
  • 就业单位:***科技

17000

薪资

  • 姓名:刘同学
  • 学历:本科
  • 月薪:17K(15薪)
  • 就业单位:***科技

23000

薪资

  • 姓名:付同学
  • 学历:本科
  • 月薪:23K
  • 就业单位:北****中

8000

薪资

  • 姓名:韦同学
  • 学历:本科
  • 月薪:8K
  • 就业单位:***科技

15000

薪资

  • 姓名:黄同学
  • 学历:本科
  • 月薪:15K
  • 就业单位:深圳****科技发展有限公司

20000

薪资

  • 姓名:张同学
  • 学历:本科
  • 月薪:20K
  • 就业单位:上海*****信息服务有限公司

10500

薪资

  • 姓名:田同学
  • 学历:大专
  • 月薪:10.5K(14.4薪)
  • 就业单位:途****上海总部

14000

薪资

  • 姓名:张同学
  • 学历:大专
  • 月薪:14K
  • 就业单位:北京****科技有限公司

16000

薪资

  • 姓名:徐同学
  • 学历:本科
  • 月薪:16k
  • 就业单位:保密

15000

薪资

  • 姓名:郭同学
  • 学历:大专
  • 月薪:15K
  • 就业单位:上海*****

15000

薪资

  • 姓名:齐同学
  • 学历:本科
  • 月薪:15K(六险一金)
  • 就业单位:数*****京分公司

11500

薪资

  • 姓名:赵同学
  • 学历:大专
  • 月薪:11.5K
  • 就业单位:上海*****科技股份有限公司

16000

薪资

  • 姓名:黄同学
  • 学历:本科
  • 月薪:16K(14薪)
  • 就业单位:保密

12000

薪资

  • 姓名:李同学
  • 学历:本科
  • 月薪:12K
  • 就业单位:保密

14000

薪资

  • 姓名:孙同学
  • 学历:本科
  • 月薪:14K
  • 就业单位:中****

16000

薪资

  • 姓名:屈同学
  • 学历:大专
  • 月薪:16K
  • 就业单位:保密

14000

薪资

  • 姓名:李同学
  • 学历:本科
  • 月薪:14K
  • 就业单位:*****在线

18000

薪资

  • 姓名:刘同学
  • 学历:本科
  • 月薪:18K
  • 就业单位:中国*****公司
  • 姓名 学历 转型后月薪 就业单位
*相关数据来源于公司内部真实统计,为避免对学员造成影响,以上数据做了部分隐藏处理
测测你能拿多少钱
向优秀学长取经

[ 数据来自:51job、智联招聘等 ]

大数据相关岗位需求
60000+个/天

查看相关职位

[ 数据来自:职友集 ]

大数据在北京的平均月薪为
28100元/月

查看就业详情

[ 数据来自:中国统计网 ]

92.2%的企业已经或正在
考虑应用大数据

了解相关企业
我适合转型大数据吗?
学前测试
请选择你需要的学科资料

7天试学精品课程

职业规划精品课

基础测试题

配套讲义

一对一学习规划

高清学习路线图

温馨提示

请输入电话,方便您及时接收选择的资料

提交
登录领取1000元优惠

获取验证码
领取优惠券 *未注册手机领取后自动登录

优惠券已为您放置在【我的优惠券】中,记得使用哦!
优惠券失效日期:12月31日

使用优惠券 在线咨询

你的优惠券已经发到账户,
请登录博学谷官网,去我的优惠券查看
  • 无论身处三四线城市,还是18线小县城,学员都能享有全国最优秀的 IT 师资。
  • 随时回放,再也不用担心跟不上,学习效率更高!
  • 充分利用碎片化时间,不论你在哪里,随时随地学习。
  • 博学谷的直播包含以下几种:
    • • 重难点循环直播• 答疑类直播
    • • 学习方法类直播• 就业指导类直播
  • 一切为了学员,你有辅导需求,我们就直播。
深度了解教学模式
  • • 一对一简历修改
  • • 一对一模拟面试
  • • 就业推荐
  • • 试用期辅导
  • • 全程带班,彻底治愈你的拖延症
  • • 定期跟进你的学习进度
  • • 360度暖心鼓励陪伴
  • • 量身定制学习计划
  • • 一对一答疑辅导
  • • 一对一作业点评
班主任全程带班,彻底治愈你的拖延!
  • 定期跟进你的学习进度,学习有人督促,再也不怕拖延。
  • 360度暖心鼓励陪伴,迷茫、心情不佳、状态不好,她统统给你解决。
  • 每日分享,让你始终元气满满。
如何治愈拖延,办法问她!

从入学到就业,每一步都由最擅长的老师为你提供
一对一教学服务,帮助你达成学习目标,高薪就业!

我要定制专属学习计划
就业指导老师,领你入职场!
  • 一对一简历修改、一对一模拟面试。
  • 根据学员情况,推荐就业。
  • 试用期辅导,帮助学员迅速融入企业,顺利度过试用期。
一对一职业规划
我所在城市有就业服务中心吗?