在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
众所周知,Spark作为一个集群计算平台和内存计算系统,它是专门为速度和通用目标设计的。从事大数据岗位的工作者,像是ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师都需要熟练掌握Spark相关知识点,因此Spark也是常常会出现的必考面试题。下面我整理了一些Spark面试题,并附上了答案,一起来看看做一做吧!
面试题1:Spark 运行架构的特点是什么?
答案:每个 Application 获取专属的 executor 进程,该进程在 Application 期间一直驻留,并以多线程方式运行 tasks。Spark 任务与资源管理器无关,只要能够获取 executor 进程,并能保持相互通信就可以了。提交 SparkContext 的 Client 应该靠近 Worker 节点(运行 Executor 的节点),最好是在同一个 Rack 里,因为 Spark 程序运行过程中 SparkContext 和Executor 之间有大量的信息交换;如果想在远程集群中运行,最好使用 RPC 将SparkContext 提交给集群,不要远离 Worker 运行 SparkContext。Task 采用了数据本地性和推测执行的优化机制。
面试题2:描述一下Spark运行的基本流程。
答案:这个是面试大数据岗位的一道基础题。Spark 运行基本流程可以参考下面的示意图:
面试题3:Spark 中的 RDD 是什么?
答案:RDD(Resilient Distributed Dataset)叫做分布式数据集,是 Spark 中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD 中的数据可以存储在内存或者是磁盘,而且RDD 中的分区是可以改变的。
面试题4:Spark 中的常用算子有哪些区别?
答案:map : 用 于 遍 历 RDD , 将 函 数 f 应 用 于 每 一 个 元 素 , 返 回 新 的
RDD(transformation 算子);foreach:用于遍历 RDD,将函数 f 应用于每一个元素,无返回值(action 算子);mapPartitions:用于遍历操作 RDD 中的每一个分区,返回生成一个新的RDD(transformation 算子);foreachPartition: 用于遍历操作 RDD 中的每一个分区。无返回值(action 算子)。总结的来说,一般使用 mapPartitions 或者 foreachPartition 算子比 map 和 foreach更加高效,推荐使用。
面试题5:spark 中 cache 和 persist 有什么区别?
答案:cache:缓存数据,默认是缓存在内存中,其本质还是调用 persist;persist:缓存数据,有丰富的数据缓存策略。数据可以保存在内存也可以保存在磁盘中,使用的时候指定对应的缓存级别就可以了。
面试题6:如何解决 spark 中的数据倾斜问题?
答案:这也是在大数据岗位上会常常遇到的问题,当我们发现数据倾斜的时候,不要急于提高 executor 的资源,修改参数或是修改程序,首先要检查数据本身,是否存在异常数据。如果是数据问题造成的数据倾斜,找出异常的 key,如果任务长时间卡在最后最后 1 个(几个)任务,首先要对 key 进行抽样分析,判断是哪些 key 造成的。选取 key,对数据进行抽样,统计出现的次数,根据出现次数大小排序取出前几个。
面试题7:谈谈 你对spark中宽窄依赖的认识。
答案:RDD 和它依赖的父 RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。宽依赖指的是多个子 RDD 的 Partition 会依赖同一个父 RDD 的 Partition窄依赖:指的是每一个父 RDD 的 Partition 最多被子 RDD 的一个 Partition使用。
以上就是大数据岗位中常见的Spark面试题整理,大家可以根据附上的答案对Spark的相关知识点进行查漏补缺。如果想要了解更多的大数据面试题,可以上博学谷官网学习大数据的就业班课程,除了面试题整理,课程还包括了各种就业指导内容,欢迎大家试听体验。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据工程师面试时需要注意的那些致命判断题
大数据工程师属于IT行业里面的高薪岗位,所以企业在招聘的时候不仅仅要考虑他们的专业技能,还要考察大数据工程师对于问题的判断能力,从而保障项目的高效率执行。所以和大家分享一些大数据工程师面试时需要注意的那些致命判断题。
6675
2019-06-27 18:23:44
大数据Hbase面试宝典(上)
经历了水深火热的大数据学习,终于拨开云雾见天明了,同学们离成功就差了一步,那就是拿到大数据工程师的Offer。本文详细为同学们整理了一份大数据Hbase面试宝典。
6992
2019-07-03 19:05:17
大数据面试题:flume 与 kafka 的整合
当你面试的时候突然被问到:flume 与 kafka 的整合。你会怎么回答?其实面试官提问的时候主要是想考察你对storm的理解,下面小编带大家一起分析这个问题的解答方式!
7810
2019-07-04 19:05:09
大数据Hbase经典面试题汇总
本文是根据市场需求和许多程序员面试的反馈而整理出来的,里面汇总了近些年来有关Hbase知识点的大数据经典面试题。希望本文能帮助求职者梳理Hbase知识点,让求职者在面试过程中胸有成竹。
8137
2019-08-05 19:10:38
从后端开发转大数据开发怎么样?
你为什么从后端开发(Java/golang)转到大数据开发(Hadoop/Spark)?转大数据的最初原因很简单,就是好几个同事都转了,他们的收入瞬间提高了好多,于是在同事的内推我也就跟着转了,转完以后发现自己真的转对了。有以下几个理由:
2165
2022-06-30 14:25:06