在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
ETL工程师是干什么的？ETL工程师工作内容介绍
随着大数据时代的来临，ETL工程师逐渐出现在大众的视野中，那么ETL工程师是干什么的呢？直白一点说，ETL工程师又叫数据库工程师，需要掌握各种流行的编程语言，每天的工作就是和数据库打交道，下面详细介绍一下ETL工程师的工作内容，以便于大家进一步了解这个职业。
54334
2019-09-15 12:34:13
用户画像是什么？可以用来做什么？
用户画像是什么？可以用来做什么？一般是指通过可收集到的用户信息，分析出比较标签化的用户模型。在当下这个大数据时代，用户画像可以提供更精准的个性化服务给用户。因此用户画像的成本虽然高，但各大企业公司还是在不遗余力的去做，就足以瞥见用户画像的强大功能。
9062
2019-10-24 11:13:14
Hadoop入门基础知识总结
大数据时代的浪潮袭来，Hadoop作为一种用来处理海量数据分析的工具，是每一个大数据开发者必须要学习和掌握的利器。本文总结了Hadoop入门基础知识，主要包括了Hadoop概述、Hadoop的发展历程和Hadoop的特性。下面一起来看看吧！
5156
2020-06-18 10:14:31
常见的实用型数据可视化工具有哪些？
数据可视化工具介绍，由于每个人的的技术水平和偏好不同这里分类介绍。零编程类：操作简单，无需编程基础，适合新手小白做一些基础性的图表可视化；开发工具类专业化的可视化工具，个性化程度高，适合专业的开发者或者工程师；专业图表类：针对性制作地图、时间轴、金融数据可视化工具。接下来我们就一起来看看吧
3185
2021-01-28 10:38:20
大数据智能交通未来会是怎样的交通状况？
大数据智能交通未来会是怎样的交通状况？智能交通也是智慧城市的一个重要组成部分将会改变我们的交通，交通少不了大数据的处理，人工智能自动驾驶离不开大数据的支撑。
2244
2022-03-08 10:44:04
