在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
随着大数据行业的蓬勃发展,就业市场对于大数据从业者也提出了更高的要求。为了培养出真正掌握大数据开发能力的人才,博学谷的大数据课程除了有大数据理论知识的系统学习,还有涉及各个领域的大数据开发实战项目。那么大数据课程有哪些实战项目呢?一起来看看吧!
实战项目一:今日指数证券大数据项目
1、项目简介:
实时监控证券市场的每日业务交易,实现对证券市场交易数据的统计分析;搭建监察预警体系,包括预警规则管理、实时预警、历史预警、监察历史数据分析等;股市行情交易数据实时采集、实时数据分析、多维分析、即席查询、实时大屏监控展示。
2、项目特点:
(1)高性能处理,流处理计算引擎采用的是Flink,实时处理100万笔/s的交易数据;
(2)基于企业主流的实时流处理技术框架: Flume、Kafka、Flink、Hbase等;
(3)基于ELK的批业务数据处理,进行大数据量多维分析;
(4)Hbase5日内秒级行情亿级规模,MySQL5日内分时行情千万级规模;
(5)T-5日内 实时行情响应耗时毫秒级,T-5日外的历史行情响应耗时秒级。
实战项目二:星途车联网大数据项目
1、项目简介:
涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务;通过QB0X车辆终端数据收集,并解析为QSP数据、QCS数据、充电数据、HU数据;提供实时计算服务与离线计算服务,并通过API接口以报表和大屏展示分析结果数据。
2、项目特点:
(1)海量数据处理,系统15分钟内收集的新能源车辆的数据超过千万条;
(3)基于Kafka数据传输;
(4)基于Flink全栈数据处理;
(5)基于Nginx做反向代理、LSV和Keepalived负载均衡和高可用。
实战项目三:客快物流大数据项目
1、项目简介:
基于一家大型物流公司研发的智慧物流大数据平台,日订单上千万;围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等;提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观指导意义的解决方案。
2、项目特点:
(1)涵盖离线业务、实时业务;
(2)ClickHouse实时存储、计算引擎;
(3)Kudu+Impala准实时分析系统;
(4)基于Docker搭建异构数据源,还原真实应用场景;
(5)以企业主流的Spark生态圈为核心技术,例如:Spark、Spark SOL、Structure Streaming;
(6)ELK全文检索;
(7)Spring Cloud搭建数据服务;
(8)实时监控地图展示;
(9)存储、计算性能调优。
实战项目四:知行教育大数据项目
1、项目简介:
建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理;项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序;挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。
2、项目特点:
(1)掌握离线数仓的分层与建模,能够在公司独当一面;
(2)从需求、设计、研发、测试到落地上线的完整项目流程;
(3)大量教育大数据的真实业务逻辑,包含访问、咨询、意向、报名、课程、开班、考勤、直播、成本、教学实施、口碑等各个阶段,共涉及20多个主题,100多 个指标,大幅提升学员在教育行业中的竞争力;
(4)大数据技术在真实场景中的使用,包括大数据量场景下如何优化配置,拉链表的具体应用,新增数据的抽取和分析,更新数据的抽取和分析,以及Hive函数的具体应用等;
(5)ClouderaManager可视化、自动部署和配置,稳定性极好;
(6)Git的CodeReview功能,在对质量有高要求的核心项目团队中使用较为合适。
实战项目五:智数电商大数据项目
1、项目简介:
分析来自全品类B2B2C电商系统,以电商核心流程为主线进行数据分析,支撑运营;建立基于用户的全面分析体系,从多个维度建立基于用户的运营体系;实时分析用户访问流量、订单、店铺等运营指标。
2、项目特点:
(1)采用Kettle同步MySQL数据采集方案;
(2)采用JS埋点+Flume实时用户点击行为数据采集方案;
(3)采用Sparkonhive数据仓库解决方案;
(4)采用Apache开源项目Superset可视化方案;
(5)采用Kylin交互式快速数据分析方案;
(6)采用Canal进行MySQL业务数据实时采集方案; .
(7)采用Flink对数据进行实时ETL处理解决方案;
(8)采用Flink+Druid实时数仓解决方案;
(9)采用HBase+Phoenix明细数据实时查询方案;
(10)采用开源平台Azkaban调度方案。
碍于篇幅的限制,本文仅仅只向大家展示了部分大数据课程中的实战项目。如果大家想更加深入的了解这些项目,并且进行实战练习,欢迎申请免费试学名额,在线体验大数据课程~
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据培训 零基础大数据培训课程学什么
博学谷的零基础大数据培训课程内容:Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、就业课、网站点击流项目、大数据Storm实时计算系统、大数据Spark内存计算系统、大数据Flink实时计算系统、机器学习(拓展课程)等内容。
8051
2019-06-19 17:10:33
云计算大数据在线课程怎么样?学完后能找到工作吗?
云计算大数据技术是目前就业率以及薪资水平都相对较高的技术岗位,目前进入云计算大数据技术岗位的途径主要是通过自学或者通过参加培训课程。对于自学而言,需要具有比较成熟的技术基础,否则时间成本会非常的高。所以大部分通过培训学习云计算大数据技术。而对于在职或者暂时无法离校的同学而言,云计算大数据在线课程成为他们的首选。那云计算大数据在线课程咋么样?学完后能找到工作吗?
8479
2019-08-05 18:19:59
大数据工程师需要具备哪些能力?
大数据工程师需要具备哪些能力?这是许多想在大数据时代把握住发展机遇的学习者,在学习大数据前共同关心的问题。其实任何一个岗位需要具备的能力无外乎两种,即在专业领域的硬实力和职场发展上的软实力。对于大数据行业来讲,要向具备其相应的专业能力,需要学习的内容有很多。下面我就来为大家一一分析,大数据工程师需要具备的各项能力和掌握的各项知识。
9848
2020-01-16 17:03:43
女生做大数据有发展前景吗?能学会吗?
当前大数据发展前景非常不错,且大数据领域对于人才类型的需求比较多元化,女生学习大数据也会有比较多的工作机会。大数据是一个交叉学科涉及到的知识量比较大学习有一定的难度,女生比较适合大数据采集和大数据分析方向的工作岗位。
4350
2021-03-18 16:38:32
跳槽直接涨薪25k年薪60w 羡慕的话说麻了
“羡慕”这个词我真的说麻了,之前的薪资25k就已经很高了但是在学完《狂野大数据》课程后找工作直接薪资翻倍
3016
2022-06-07 14:06:39
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么?先掌握这三大核心关键技术
- 前端开发的工作方向有哪些?
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试?两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些,才能成为架构师 查看更多
扫描二维码,了解更多信息
