在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
5分钟掌握Hadoop环境搭建流程
Hadoop是大数据技术的基础，它在大数据技术体系中的地位是非常重要的。目前Hadoop是主流的分布式系统基础架构之一，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。所以对于Hadoop基础知识的掌握的扎实程度，会决定你在大数据技术道路上走多远。首先我们来学习一下Hadoop环境搭建流程吧。
7071
2019-08-14 10:19:35
什么是数据科学异常值检测原理？
什么是数据科学异常值检测原理？异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等。使用pandas，可以直接使用describe()来观察数据的统计性描述，或者简单使用散点图也能很清晰的观察到异常值的存在。
6845
2020-03-20 16:21:07
掌握Hive架构需要学什么?
Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言，它允许熟悉SQL的用户查询数据。因此掌握Hive是学习大数据的必修课，那么掌握Hive架构需要学什么呢？本文将为大家讲述Hive的具体学习内容，下面是Hive视频教程的学习大纲：
4729
2020-05-11 18:05:41
数据仓库与数据库的区别是什么？
相信大数据学习者对于数据仓库与数据库并不陌生，两者都是通过数据库软件实现存放数据的地方，从这个意义上来看，它们似乎没有多大的差别。但是再深入一点分析，我们会发现无论是从数据量还是作用来讲，两者的区别都是巨大的。为了更清楚的分辨数据仓库与数据库，下面我们具体来聊聊数据仓库与数据库的区别。
14902
2020-06-05 11:06:23
大数据战略对企业生存有多重要？
大数据战略对企业生存有多重要？智能企业利用海量数据来了解消费者、管理库存、优化物流和运营程序并做出合理的业务选择。制定大数据战略可以正确有效地存储、组织、处理和应用，帮助组织实现数据驱动愿景并将其引导至大数据应用程序的特定业务目标。
2132
2022-04-04 14:53:36
