在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
大数据面试：数据仓库工具hive面试题集锦
进入DATE时代，大数据技术成为互联网发展的核心要素之一。与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。而且这些技术知识点已经成为大数据工程师进入职场时面试中必备的考点。这里主要和大家分享一下数据仓库工具hive相关的面试题！
17728
2019-07-05 17:30:53
学大数据技术必须了解的大数据经典应用案例
我们已经进入了数据化的时代，大数据开发技术、数据分析已经成为目前企业最核心的关注点。数据为企业提供了更加可靠的支撑，对于优化产业结构、提升生产效率有非常明显的作用。在企业纷纷布局大数据业务的同时，大数据相关人才缺口逐渐扩大。目前国内大数据相关从业人员已经超过20万，作为大数据从业人员，必须了解一些大数据相关的经典应用案例。
7439
2019-08-22 18:03:14
为什么要学Kylin开发教程？学了有什么用？
为什么要学Kylin开发教程？学了有什么用？首先我们要明白，Kylin就是为了解决海量数据的数据分析需求而存在的。如今正是大数据的时代，因而想要完全掌握大数据技术，学习Kylin开发就显得尤为重要。下面小编将为大家详细介绍学习Kylin开发教程的原因和相关课程，感兴趣的同学一起看下去吧！
6628
2019-11-12 20:20:54
大数据规模化应用是什么？
大数据规模化应用即规模化应用大数据和高级分析，制定价值驱动的大数据实施路线图，端到端大数据用例试点，夯实支撑体系，加速大数据规模化落地，解决国内银行在大数据规模化方面存在的问题。
8266
2020-01-07 15:52:27
HDFS入门基础学习总结
HDFS全称就是Hadoop分布式文件系统，作为Hadoop的核心组件，它提供了最底层的分布式存储服务。本文整理了HDFS设计目标和HDFS的重要特性等等内容，下面一起来看HDFS入门基础学习总结吧~
5688
2020-06-09 16:19:01
