在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
为什么要学Kylin开发教程？学了有什么用？
为什么要学Kylin开发教程？学了有什么用？首先我们要明白，Kylin就是为了解决海量数据的数据分析需求而存在的。如今正是大数据的时代，因而想要完全掌握大数据技术，学习Kylin开发就显得尤为重要。下面小编将为大家详细介绍学习Kylin开发教程的原因和相关课程，感兴趣的同学一起看下去吧！
7773
2019-11-12 20:20:54
大数据规模化应用是什么？
大数据规模化应用即规模化应用大数据和高级分析，制定价值驱动的大数据实施路线图，端到端大数据用例试点，夯实支撑体系，加速大数据规模化落地，解决国内银行在大数据规模化方面存在的问题。
9373
2020-01-07 15:52:27
云计算、AI大数据技术在智慧交通方面的应用
云计算、AI大数据技术在智慧交通方面的应用，缓解拥堵，智能信号控制系统及时调整信号时长；加强监控范围有效查处违章行为，打击违法车辆降低交通事故发生；协同指挥防止后续交通堵塞；对路况及时发布，引导司乘人员错开高峰路段就近调整路线等。
11318
2020-02-21 10:34:00
掌握Hive架构需要学什么?
Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言，它允许熟悉SQL的用户查询数据。因此掌握Hive是学习大数据的必修课，那么掌握Hive架构需要学什么呢？本文将为大家讲述Hive的具体学习内容，下面是Hive视频教程的学习大纲：
6762
2020-05-11 18:05:41
Hadoop集群动态扩容讲解
今天本文要讲解的是Hadoop集群动态扩容的内容，那么什么是动态扩容呢？数据量随着公司业务的增长越来越大，原有的datanode节点的容量，已经不能满足存储数据的需求，需要在原有集群基础上，动态添加新的数据节点，这就是我们说的动态扩容。下面一起来看看基础准备、添加datanode、datanode负载均衡服务、添加nodemanager等相关内容吧~
8444
2020-06-08 10:56:55
