• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 大数据Lambda架构概念及应用

发布时间:2019-06-12 16:12:54 浏览 8287 来源:博学谷资讯 作者:三省

      大数据Lambda架构概念及应用,Lambda Architecture 概念Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念,用于在大数据架构中,如何让real-time与batch job更好地结合起来,以达成对大数据的实时处理。

     

    大数据Lambda架构
      大数据平台中包括批量计算的Batch Layer和实时计算的Speed Layer,通过在一套平台中将批计算和流计算整合在一起。


      例如使用HadoopMapReduce、Spark进行批量数据的处理,使用ApacheStorm、Spark Streaming 进行实时数据的处理。

     

    Lambda Architecture
      这种架构在一定程度上解决了不同计算类型的问题,但是带来的问题是框架太多,会导致平台复杂度过高、运维成功高等。


      Lambda架构的主要思想就是将大数据系统构建为多个层次,如下图所示:

    Lambda架构
      我们来梳理一下他们是如何分工协助的:


      首先new data作为整个数据系统的数据源头,Batch Layer作为数据的批处理层次对原始数据进行加工与处理,并且将处理的数据结果的Batch View输入到Serving Layer。(这里对应的是全量数据)


      Speed Layer对于实时增加的数据进行处理,生成对增量数据计算结果的Real-time View。(这里对应的是增量数据)


      最终用户查询是通过Batch View与Real-time View相结合的形式将最终结果呈现出来。


      基于Lambda架构,一旦数据通过Batch layer进入到Serving layer,在Real-time view中的相应结果就不再需要了。

     

    Lambda总结

            来源:软件架构 今日头条

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 大数据开发工程师需要学习哪些知识点? 下一篇: 大数据自学要多久?为什么零基础自学大数据那么久?

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码