在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
数据中台对企业有哪些意义和作用？
随着数据化浪潮席卷全球，数据中台也由此应运而生。众所周知，数据中台的主要作用在于把数据进行统一标准和口径之后，再进行储存和加工，从而使企业可以提供更高效的服务。简单来讲，数据中台是以节省企业成本，实现精细化运营为目标。那么数据中台对企业到底有哪些具体意义和作用呢？下面我们来具体看一下。
7437
2020-02-10 22:29:52
Flink电商项目实战介绍
随着Flink技术的飞速发展，Flink在实时处理数据方面体现出越来越显著的优势。Flink作为一个针对流数据和批数据的分布式处理引擎，其应用领域越来越广泛。本文将向大家介绍Flink电商项目实战教程，感兴趣的话就一起接着看下去吧~
5567
2020-05-11 14:58:14
大数据批流处理之Lambda架构学习
大数据批流处理之Lambda架构，Lambda架构是当前大数据中批流处理方向影响最为深刻、应用最为广泛的架构。对于在云端的数据中心实现针对海量历史数据的批量计算及优化需要分别在云端、边缘端实现针对流数据的实时处理的场景。
3414
2022-03-02 10:17:27
Apache Spark与 Apache Hadoop数据科学工具有哪些区别？
Apache Spark被设计为大规模处理的接口，而 Apache Hadoop 为大数据的分布式存储和处理提供了更广泛的软件框架。两者既可以一起使用也可以作为独立服务使用。Apache Spark 和 Apache Hadoop 都是 Apache 软件基金会提供的流行的开源数据科学工具，由社区开发和支持受欢迎程度和功能不断增长。
2682
2022-06-02 11:25:53
Hadoop 狂野大数据课件学习内容有哪些？
Hadoop 狂野大数据课件学习内容有哪些？课程学习从Hadoop基本使用、运行原理、实战案例全方位讲解；从概念讲起，课程内容精炼学习效率高没有接触过Hadoop的学员也能很好理解。
2476
2022-06-14 11:09:46
