在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
大数据Lambda架构概念及应用,Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念,用于在大数据架构中,如何让real-time与batch job更好地结合起来,以达成对大数据的实时处理。
大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer,通过在一套平台中将批计算和流计算整合在一起。
例如使用HadoopMapReduce、Spark进行批量数据的处理,使用ApacheStorm、Spark Streaming 进行实时数据的处理。
这种架构在一定程度上解决了不同计算类型的问题,但是带来的问题是框架太多,会导致平台复杂度过高、运维成功高等。
Lambda架构的主要思想就是将大数据系统构建为多个层次,如下图所示:
我们来梳理一下他们是如何分工协助的:
首先new data作为整个数据系统的数据源头,Batch Layer作为数据的批处理层次对原始数据进行加工与处理,并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)
Speed Layer对于实时增加的数据进行处理,生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)
最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。
基于Lambda架构,一旦数据通过Batch layer进入到Serving layer,在Real-time view中的相应结果就不再需要了。
来源:软件架构 今日头条
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
用户画像是什么?可以用来做什么?
用户画像是什么?可以用来做什么?一般是指通过可收集到的用户信息,分析出比较标签化的用户模型。在当下这个大数据时代,用户画像可以提供更精准的个性化服务给用户。因此用户画像的成本虽然高,但各大企业公司还是在不遗余力的去做,就足以瞥见用户画像的强大功能。
10733
2019-10-24 11:13:14
分析Nginx访问日志需要学什么?
需要掌握Spark SQL核心知识,分析Nginx访问日志掌握SparkSQL数据分析能力,SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
5330
2020-02-04 14:13:42
2020年大数据发展前景如何?
在2020年将看到越来越多的组织利用对象存储从非结构化数据创建结构化/标记数据,从而允许使用元数据来理解人工智能和机器工作负载生成数据。当数据变得足够大时,就会施加类似引力的力,使其难以移动,同时还可以吸引更多数据。
6203
2020-02-05 14:40:18
大数据技术就业前景好不好?
大数据技术就业前景好不好?现如今,大数据应用非常广泛,各行各业都开始应用,所以说当前大数据行业真的是人才稀缺尤其是数据分析人才最稀缺。所以让小编跟你说一说,目前大数据行业的大概情况吧。
5176
2020-03-26 22:21:32
常见的实用型数据可视化工具有哪些?
数据可视化工具介绍,由于每个人的的技术水平和偏好不同这里分类介绍。零编程类:操作简单,无需编程基础,适合新手小白做一些基础性的图表可视化;开发工具类专业化的可视化工具,个性化程度高,适合专业的开发者或者工程师;专业图表类:针对性制作地图、时间轴、金融数据可视化工具。接下来我们就一起来看看吧
3994
2021-01-28 10:38:20