在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
在大数据工程师的面试过程中,编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容,感兴趣的小伙伴就赶紧接着看下去吧!
1、Spout
Spout 是接受外部数据源的组件,将外部数据源转化成 Storm 内部的数据, 以 Tuple 为基本的传输单元下发给 Bolt。(Tuple 是 Storm 内部中数据传输的基本单元,里面封装了一个 List 对象,用来保存数据。)
2、Bolt
Bolt 是接受 Spout 发送的数据,或上游的 bolt 的发送的数据。根据业务逻辑进行处理。发送给下一个 Bolt 或者是存储到某种介质上。介质可以是 mongodb 或 mysql,或者其他。
3、并行度
Worker:表示一个进程。
Executor:表示由 worker 启动的线程。
Task:实际执行数据处理的最小工作单元(注意,task 并不是线程)。
并行度的设置:评估上游 kafka 每秒生产的数据量,分析 topic 每个 partition。每秒的数据量,partition 的数据量=SpoutTask 接受数据量SpoutTask 数量=partition 的数量。
Worker 的设置:如果数据量大,worker 的数量等于 spouttask 的数量。
4、消息不丢失
ack 机制即, spout 发送的每一条消息,在规定的时间内,spout 收到 Acker 的 ack 响应,即认为该 tuple 被后,续 bolt 成功处理。在规定的时间内,没有收到 Acker 的 ack 响应 tuple,就触发 fail 动作, 即认为该 tuple 处理失败,或者收到 Acker 发送的 fail 响应 tuple,也认为失败,触发 fail 动作。通过 Ack 机制,spout 发送出去的每一条消息,都可以确定是被成功处理或失败处理, 从而可以让开发者采取动作。比如在 Meta 中,成功被处理,即可更新偏移量,当失败时,重复发送数据。因此,通过 Ack 机制,很容易做到保证所有数据均被处理,一条都不漏。
以上就是大数据工程师有关编程模型知识点的常见面试题,大家都弄明白了吗?想要了解大数据工程师更多的面试问题,可以来博学谷官网体验大数据就业指导课程。认真学完一套就业指导课程,一定能够帮助大家从众多面试者中脱颖而出。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据工程师面试时需要注意的那些致命判断题
大数据工程师属于IT行业里面的高薪岗位,所以企业在招聘的时候不仅仅要考虑他们的专业技能,还要考察大数据工程师对于问题的判断能力,从而保障项目的高效率执行。所以和大家分享一些大数据工程师面试时需要注意的那些致命判断题。
6649
2019-06-27 18:23:44
大数据面试题 Spark知识点汇总
Spark是一个实现快速通用的集群计算平台,它是基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用场合。在大数据库架构中常常需要使用Spark,Spark的知识点一直也是大数据面试题的重点,本文整理了Spark知识点汇总,现在就和大家一起梳理下吧!
6718
2019-07-25 15:33:51
大数据进阶面试题Storm开源软件
在大数据求职者眼中,Storm肯定是一款高效的开源软件,它主要用于解决数据的实时计算和实时的处理等方面的问题。同时Storm也是大数据进阶面试题的重难点,因此小编整理了一些近些年来比较经典常见有关Storm的面试题,希望对大家有用。
5645
2019-08-15 16:41:39
学好大数据能做什么工作?
今年依旧是大数据火爆的一年,因为大数据行业的薪资待遇以及发展前景,我们可以看到越来越多的人想要投身于大数据行业中。虽然大家对大数据的岗位都十分看好,但是学好大数据能做什么工作?相信绝大多数的初学者是不清楚的。为了解决大家对于大数据岗位的疑惑,下面我们就来聊一聊大数据的相关职位以及具体的工作内容。
4479
2020-07-10 17:51:33
学大数据有哪些高薪工作可以选?
大数据行业目前有多火爆就不用多说了,我们生活和工作的方方面面都和大数据技术息息相关。由于大数据在各个行业的广泛应用,导致了大数据人才缺口的进一步扩大。可能有人会问了,学大数据有哪些高薪工作可以选呢?首先大数据的整体就业薪资都挺高,而且的就业方向也很多。下面为大家介绍一些大数据行业的高薪岗位。
3971
2020-08-13 15:28:17