在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用，Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理，使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题，但是带来的问题是框架太多，会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次，如下图所示：
我们来梳理一下他们是如何分工协助的：
首先new data作为整个数据系统的数据源头，Batch Layer作为数据的批处理层次对原始数据进行加工与处理，并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理，生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构，一旦数据通过Batch layer进入到Serving layer，在Real-time view中的相应结果就不再需要了。
来源：软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据开发工程师需要学习哪些知识点？
下一篇：
大数据自学要多久？为什么零基础自学大数据那么久？
相关推荐 更多
大数据技术的应用领域有哪些？
大数据技术逐渐成熟，已经在诸多领域得到了广泛的应用，随着5G时代的带来，数据化的企业运营成为企业优化产业结构、提升服务质量的奠基。在数据时代数据量迅速扩大、数据维度不断完善、数据分析的指导性更加明显。那大数据技术的应用领域有哪些呢？对于学习大数据技术的同学们而言，应该精准到哪些行业就业呢？
16004
2019-12-16 18:57:00
数据科学的发展历程
如今，数据科学可以说是一个十分火爆的领域，我们可以看到数据科学在各行各业都得到了广泛的应用。虽然数据科学在近几年发展得如此迅猛，但是数据科学的核心技术其实早在很久以前就已经提出来了。比如数据挖掘、Hadoop、深度学习、神经网络、数据可视化、强化学习和云计算等等技术都是推动数据科学发展进程的核心手段，下面我们一起来看看吧！
9427
2020-03-26 15:36:30
大数据如何构建用户画像？
进入大数据时代，我们常常在谈论的一个概念就是用户画像。在互联网领域利用用户画像，可以达到精准营销的商业目的，因此这也是为什么构建用户画像在这个流量至上的年代如此重要的原因。任何企业公司的产品要想做好精细化运营，都需要先构建该产品和服务的用户画像。下面我们一起看看用户画像的概念和构建方法。
5359
2020-03-31 11:12:22
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构，而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处： 比如Znode兼具文件和目录两种特点，而且它还具有原子性操作，存储数据大小也有限制。另外，Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
5011
2020-06-15 10:32:03
大数据战略对企业生存有多重要？
大数据战略对企业生存有多重要？智能企业利用海量数据来了解消费者、管理库存、优化物流和运营程序并做出合理的业务选择。制定大数据战略可以正确有效地存储、组织、处理和应用，帮助组织实现数据驱动愿景并将其引导至大数据应用程序的特定业务目标。
2377
2022-04-04 14:53:36
