在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
大数据面试题 Spark知识点汇总
Spark是一个实现快速通用的集群计算平台，它是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。在大数据库架构中常常需要使用Spark，Spark的知识点一直也是大数据面试题的重点，本文整理了Spark知识点汇总，现在就和大家一起梳理下吧！
9162
2019-07-25 15:33:51
大数据分析专家到大数据技术总监如何转型？
大数据分析专家到大数据技术总监如何转型？大数据分析专家偏重对数据分析的能力，而转型成大数据技术总监除了精通数据分析能力还有具备管理能力，可以带团队做项目。
8093
2019-10-24 15:40:08
Redis是什么？Redis有哪些数据类型？
Redis是什么？Redis是一个高性能且免费的key-value数据库，它可以解决高并发、高扩展和大数据存储等等问题，因此Redis对大数据的作用至关重要。那么Redis有哪些数据类型呢？简单来说有string、hash、list、set、zset五种，下面小编将来详细分析一下这五种数据类型。
8658
2019-11-11 17:51:24
HDFS垃圾桶机制总结
本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结，主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~
6216
2020-06-17 16:33:24
Spark SQL架构工作原理及流程解析
spark sql从shark发展而来，Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑。
6804
2021-05-18 10:53:42
