在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
随着大数据行业的蓬勃发展，就业市场对于大数据从业者也提出了更高的要求。为了培养出真正掌握大数据开发能力的人才，博学谷的大数据课程除了有大数据理论知识的系统学习，还有涉及各个领域的大数据开发实战项目。那么大数据课程有哪些实战项目呢？一起来看看吧！
实战项目一：今日指数证券大数据项目
1、项目简介：
实时监控证券市场的每日业务交易，实现对证券市场交易数据的统计分析；搭建监察预警体系，包括预警规则管理、实时预警、历史预警、监察历史数据分析等；股市行情交易数据实时采集、实时数据分析、多维分析、即席查询、实时大屏监控展示。
2、项目特点：
（1）高性能处理，流处理计算引擎采用的是Flink，实时处理100万笔/s的交易数据；
（2）基于企业主流的实时流处理技术框架: Flume、Kafka、Flink、Hbase等；
（3）基于ELK的批业务数据处理，进行大数据量多维分析；
（4）Hbase5日内秒级行情亿级规模，MySQL5日内分时行情千万级规模；
（5）T-5日内 实时行情响应耗时毫秒级，T-5日外的历史行情响应耗时秒级。
实战项目二：星途车联网大数据项目
1、项目简介：
涵盖完整车联网业务场景，包含驾驶行程、电子围栏、远程诊断等真实业务；通过QB0X车辆终端数据收集，并解析为QSP数据、QCS数据、充电数据、HU数据；提供实时计算服务与离线计算服务，并通过API接口以报表和大屏展示分析结果数据。
2、项目特点：
（1）海量数据处理，系统15分钟内收集的新能源车辆的数据超过千万条；
（3）基于Kafka数据传输；
（4）基于Flink全栈数据处理；
（5）基于Nginx做反向代理、LSV和Keepalived负载均衡和高可用。
实战项目三：客快物流大数据项目
1、项目简介：
基于一家大型物流公司研发的智慧物流大数据平台，日订单上千万；围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等；提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求，并针对数据分析结果，提出具有中观指导意义的解决方案。
2、项目特点：
（1）涵盖离线业务、实时业务；
（2）ClickHouse实时存储、计算引擎；
（3）Kudu+Impala准实时分析系统；
（4）基于Docker搭建异构数据源，还原真实应用场景；
（5）以企业主流的Spark生态圈为核心技术，例如：Spark、Spark SOL、Structure Streaming；
（6）ELK全文检索；
（7）Spring Cloud搭建数据服务；
（8）实时监控地图展示；
（9）存储、计算性能调优。
实战项目四：知行教育大数据项目
1、项目简介：
建立集团数据仓库，统一集团数据中心，把分散的业务数据集中存储和处理；项目从需求调研、设计、版本控制、研发、测试到落地上线，涵盖了项目的完整工序；挖掘分析海量用户行为数据，定制多维数据集合，形成数据集市，供各个场景主题使用。
2、项目特点：
（1）掌握离线数仓的分层与建模，能够在公司独当一面；
（2）从需求、设计、研发、测试到落地上线的完整项目流程；
（3）大量教育大数据的真实业务逻辑，包含访问、咨询、意向、报名、课程、开班、考勤、直播、成本、教学实施、口碑等各个阶段，共涉及20多个主题，100多 个指标，大幅提升学员在教育行业中的竞争力；
（4）大数据技术在真实场景中的使用，包括大数据量场景下如何优化配置，拉链表的具体应用，新增数据的抽取和分析，更新数据的抽取和分析，以及Hive函数的具体应用等；
（5）ClouderaManager可视化、自动部署和配置，稳定性极好；
（6）Git的CodeReview功能，在对质量有高要求的核心项目团队中使用较为合适。
实战项目五：智数电商大数据项目
1、项目简介：
分析来自全品类B2B2C电商系统，以电商核心流程为主线进行数据分析，支撑运营；建立基于用户的全面分析体系，从多个维度建立基于用户的运营体系；实时分析用户访问流量、订单、店铺等运营指标。
2、项目特点:
（1）采用Kettle同步MySQL数据采集方案；
（2）采用JS埋点+Flume实时用户点击行为数据采集方案；
（3）采用Sparkonhive数据仓库解决方案；
（4）采用Apache开源项目Superset可视化方案；
（5）采用Kylin交互式快速数据分析方案；
（6）采用Canal进行MySQL业务数据实时采集方案； .
（7）采用Flink对数据进行实时ETL处理解决方案；
（8）采用Flink+Druid实时数仓解决方案；
（9）采用HBase+Phoenix明细数据实时查询方案；
（10）采用开源平台Azkaban调度方案。
碍于篇幅的限制，本文仅仅只向大家展示了部分大数据课程中的实战项目。如果大家想更加深入的了解这些项目，并且进行实战练习，欢迎申请免费试学名额，在线体验大数据课程~
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据技术是什么专业？前景如何
下一篇：
大数据分析的方法有几种？
相关推荐 更多
大数据核心技术：spark学习总结
想要学习大数据，一定要充分掌握大数据的核心技术：Hadoop、Strom、spark等等。Spark是一种与Hadoop像是的开源集群计算环境。它启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
16246
2019-06-19 17:37:43
重庆大数据培训机构靠谱吗？培训机构哪家好？
重庆大数据培训机构靠谱吗？培训机构哪家好？总体来说，IT培训机构无论是师资力量还是教学内容，都是北上广深这样的一线城市最好。那么，不是一线大城市难道就不能选择大数据培训机构吗？博学谷作为在线IT培训机构，就是为了广大学员能够平等享受到优质的IT教育而存在的。别说重庆这样的直辖市，哪怕是在五线小城市，都能学到大数据最新的课程内容。
8298
2019-08-27 13:24:35
学大数据需要具备什么基础和知识点？
学大数据应具备编程开发经验，今天主要介绍学大数据应具备的基础，学员从java基础开始，学习大数据开发过程中的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖大数据体系中核心技术;Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、Impala等知识点。
7292
2020-10-12 14:33:22
如何解决HBase海量数据高效入仓的问题？
如何解决HBase海量数据高效入仓的问题？数据仓库的数据来源于各方业务系统，高效准确的将业务系统的数据同步到数仓是数仓建设的根本。部分业务数据存储在HBase中，这部分数据体量较大达到数十亿。大数据需要增量同步这部分业务数据到数据仓库中进行离线分析，目前主要的同步方式是通过HBase的hive映射表来实现的。
5995
2022-03-10 13:46:02
工信部测算到2025年中国大数据产业规模将突破3万亿元
工信部测算到2025年中国大数据产业规模将突破3万亿元，全球互联网、大数据、云计算、数字孪生、元宇宙等数字技术加速创新趋势，探讨数字科技革命和产业变革的新机遇，聚焦大数据与实体经济、社会治理、民生服务、乡村振兴的深度融合，发布一批大数据创新应用场景，探讨共享应用场景创新的价值。
5258
2022-06-09 15:29:53
