在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
学数据挖掘技术能做哪些工作？可以从事哪些行业？
学数据挖掘技术能做哪些工作？可以从事哪些行业？随着大数据时代的来临，大数据早已渗透我们生活和工作的方方面面。尤其是数据挖掘更是被各行各业广泛应用，像互联网、电商、金融、医疗等等行业对掌握数据挖掘技术的人才更是有着相当优渥的报酬。至于数据挖掘的相关岗位更是选择多多，下面来具体了解一下吧！
10255
2019-10-15 10:29:58
用户画像是什么？可以用来做什么？
用户画像是什么？可以用来做什么？一般是指通过可收集到的用户信息，分析出比较标签化的用户模型。在当下这个大数据时代，用户画像可以提供更精准的个性化服务给用户。因此用户画像的成本虽然高，但各大企业公司还是在不遗余力的去做，就足以瞥见用户画像的强大功能。
11208
2019-10-24 11:13:14
用户画像在电商中的价值和作用分析
在了解用户画像在电商行业的应用之前，我们首先要清楚什么是用户画像。简单来说，用户画像就是把用户的信息进行标签化，从而提供给企业和公司。在当下这个大数据时代，各个企业公司早就把用户画像，作为重要的经营战略调整依据。因此，用户画像在电商中的价值和作用不言而喻。下面就为大家着重讲讲用户画像的定义、作用和价值。
9964
2019-12-16 17:11:05
HDFS基本原理总结
今天继续梳理的知识点是HDFS的基本原理，主要内容包括NameNode概述、DataNode概述、HDFS的工作机制（HDFS写数据流程和HDFS读数据流程），总之全文都是总结的学习干货，希望对于相信大数据的朋友能够有一些帮助，下面我们一起来学习并理解以下的内容吧！
5501
2020-06-15 10:48:02
物联网和大数据可应用在哪些领域？
物联网和大数据是近年来最受媒体和企业关注的两大宏观技术趋势。两者也并驾齐驱，物联网旨在特定组织或环境中创建一个互联网络，使用该网络来收集数据并集中执行特定功能。物联网部署会生成大量以前未开发的数据，自动执行以前靠手动操作的任务。为了理解这些数据使自动化有意义需要对这些数据进行分析。
5763
2021-05-24 14:55:15
