在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
程序员常用数据库有哪些？
数据库就是数据存储的仓库，任何互联网产品都需要使用数据库保存运营过程中所产生的各种数据。SQL是一种数据库查询语言和程序设计语言，主要就是用于管理数据库中的数据，如存取数据、查询数据、更新数据等。在大数据技术不断提升与应用的市场背景下，数据库技术也得到很大的发展，目前数据库产品非常多，最常用的数据库有：Oracle、DB2、MongoDB、SQLServer、MySQL等。
9889
2019-12-05 18:48:08
掌握Hive架构需要学什么?
Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言，它允许熟悉SQL的用户查询数据。因此掌握Hive是学习大数据的必修课，那么掌握Hive架构需要学什么呢？本文将为大家讲述Hive的具体学习内容，下面是Hive视频教程的学习大纲：
5201
2020-05-11 18:05:41
如何利用大数据构建用户画像？
大数据时代，不仅普通用户可以享受到技术带来的便利，企业也可以从数据中提取有商业价值的信息，构建出用户画像，从而对用户行为进行分析和预测。虽然用户画像不是什么新鲜的概念，但是大数据技术的出现使得用户画像更加清晰客观。下面我们一起来看看如何利用大数据构建用户画像。
5481
2020-07-23 12:12:02
数据仓库、数据湖、智能湖仓分别是什么？
数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合；数据湖，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的；强大的数据湖及其配套的专用构建数据服务体系，智能湖仓称为架构。
3897
2021-05-28 14:54:10
大数据智能交通未来会是怎样的交通状况？
大数据智能交通未来会是怎样的交通状况？智能交通也是智慧城市的一个重要组成部分将会改变我们的交通，交通少不了大数据的处理，人工智能自动驾驶离不开大数据的支撑。
2825
2022-03-08 10:44:04
