• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 大数据岗位Spark面试题整理附答案

发布时间:2020-04-01 17:52:24 浏览 7260 来源:博学谷 作者:照照

    众所周知,Spark作为一个集群计算平台和内存计算系统,它是专门为速度和通用目标设计的。从事大数据岗位的工作者,像是ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师都需要熟练掌握Spark相关知识点,因此Spark也是常常会出现的必考面试题。下面我整理了一些Spark面试题,并附上了答案,一起来看看做一做吧!

     

    大数据Spark面试题

     

    面试题1Spark 运行架构的特点是什么?

     

    答案:每个 Application 获取专属的 executor 进程,该进程在 Application 期间一直驻留,并以多线程方式运行 tasksSpark 任务与资源管理器无关,只要能够获取 executor 进程,并能保持相互通信就可以了。提交 SparkContext Client 应该靠近 Worker 节点(运行 Executor 的节点),最好是在同一个 Rack 里,因为 Spark 程序运行过程中 SparkContext Executor 之间有大量的信息交换;如果想在远程集群中运行,最好使用 RPC SparkContext 提交给集群,不要远离 Worker 运行 SparkContextTask 采用了数据本地性和推测执行的优化机制。

     

    面试题2:描述一下Spark运行的基本流程。

     

    答案:这个是面试大数据岗位的一道基础题。Spark 运行基本流程可以参考下面的示意图:

     

    面试题3Spark 中的 RDD 是什么?

     

    答案:RDDResilient Distributed Dataset)叫做分布式数据集,是 Spark 中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD 中的数据可以存储在内存或者是磁盘,而且RDD 中的分区是可以改变的。

     

    面试题4Spark 中的常用算子有哪些区别?

     

    答案:map : 用 于 遍 历 RDD , 将 函 数 f 应 用 于 每 一 个 元 素 , 返 回 新 的

    RDD(transformation 算子)foreach:用于遍历 RDD,将函数 f 应用于每一个元素,无返回值(action 算子)mapPartitions:用于遍历操作 RDD 中的每一个分区,返回生成一个新的RDDtransformation 算子);foreachPartition: 用于遍历操作 RDD 中的每一个分区。无返回值(action 算子)。总结的来说,一般使用 mapPartitions 或者 foreachPartition 算子比 map foreach更加高效,推荐使用。

     

    面试题5spark cache persist 有什么区别?

     

    答案:cache:缓存数据,默认是缓存在内存中,其本质还是调用 persistpersist:缓存数据,有丰富的数据缓存策略。数据可以保存在内存也可以保存在磁盘中,使用的时候指定对应的缓存级别就可以了。

     

    面试题6:如何解决 spark 中的数据倾斜问题?

     

    答案:这也是在大数据岗位上会常常遇到的问题,当我们发现数据倾斜的时候,不要急于提高 executor 的资源,修改参数或是修改程序,首先要检查数据本身,是否存在异常数据。如果是数据问题造成的数据倾斜,找出异常的 key,如果任务长时间卡在最后最后 1 (几个)任务,首先要对 key 进行抽样分析,判断是哪些 key 造成的。选取 key,对数据进行抽样,统计出现的次数,根据出现次数大小排序取出前几个。

     

    面试题7:谈谈 你对spark中宽窄依赖的认识。

     

    答案:RDD 和它依赖的父 RDDs)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。宽依赖指的是多个子 RDD Partition 会依赖同一个父 RDD Partition窄依赖:指的是每一个父 RDD Partition 最多被子 RDD 的一个 Partition使用。

     

    以上就是大数据岗位中常见的Spark面试题整理,大家可以根据附上的答案对Spark的相关知识点进行查漏补缺。如果想要了解更多的大数据面试题,可以上博学谷官网学习大数据就业班课程,除了面试题整理,课程还包括了各种就业指导内容,欢迎大家试听体验。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 大数据如何构建用户画像? 下一篇: 2020年数据分析发展趋势分析

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码