在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
2019年大数据在各行业的应用 深度解析
如今，我们都生活在一个数字化的世界里，大数据的应用也变得越来越广泛，它深度改变着我们的生产生活方式。本文小编就来深度解析一下，2019年大数据在各行业的应用。这些行业都从大数据中获取了当下真正有价值的信息，从而极大地提高了生产效率。
9752
2019-07-22 18:00:56
大数据专业学习难度大吗？需要学习什么技术？
众所周知，大数据专业是目前互联网行业中高薪岗位之一。然而看到高薪的机会，大部分同学立刻行动投入大数据专业的学习中，也有一部分同学发表自己的疑问：大数据专业这样高薪是否学习难度非常大？如果从事大数据专业工作，需要学习什么技术呢？
16502
2019-09-02 19:04:37
大数据面试题之分布式资源调度框架Yarn
Yarn作为一个资源管理、任务调度的框架，其重要性不言而喻。尤其是在近些年的大数据面试中，更是面试题的重点知识之一。为了大家在面试的时候，能够准备的更加充分，小编整理了一份有关分布式资源调度框架Yarn的大数据面试题,内容包括Yarn的架构、工作流程、调度器Scheduler。
10634
2019-09-12 11:00:53
大数据软件学习入门技巧
大数据软件学习入门技巧，一般而言，在进行大数据处理时，会先使用大数据数据库，如 MongoDB、 GBase等。然后利用数据仓库工具，对数据进行清理、转换、处理，得出有价值的数据。接着用数据建模工具建模。最终用大数据工具进行可视化分析。
6476
2020-07-06 15:07:49
常用的大数据实时计算框架有哪些？
在大数据技术中，有离线计算、批量计算、实时计算以及流式计算，其中，离线计算和实时计算指的是数据处理的延迟;批量计算和流式计算指的是数据处理的方式。
7727
2021-03-10 09:50:12
