在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
随着移动互联网的发展,云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题:spark中的RDD是什么?RDD有哪些特性?并且编写了较为详细的答案说明,希望能帮助大家解答这方面的疑惑。
RDD是什么
Spark是围绕弹性分布式数据集(RDD)的概念展开的,RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD:一种是将驱动程序中的已有集合平行化;另外一种是引用外部存储系统的数据集,例如共享文件系统,HDFS, HBase, 或者其他类似Hadoop的数据源。
RDD的特点之一是分布式存储,它的好处就是数据存储在不同的节点上,当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候,既可以存储在内存中,也可以存储在磁盘上,也可以两者结合使用。RDD还有个特点就是延迟计算,当是transformation算子的时候,并不执行操作,直到遇到action算子的时候才开始执行计算。
RDD有哪些特性
1 、A list of partitions
——RDD是由多个partition构成的。
2、A function for computing each split
——RDD的每个分区上都有一个函数去作用
3、 A list of dependencies on other RDDs
——RDD有依赖性,通常情况下一个RDD是来源于另一个RDD,这个叫做lineage。RDD会记录下这些依赖,方便容错。
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
——可选项,如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同RDD里面的相同key的数据放到同一个partition里面。
5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
——最优的位置去计算,也就是数据的本地性。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据面试题 Hadoop的联邦机制
大数据学习需要掌握很多技术知识点,包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop的联邦机制。
10540
2019-07-18 23:40:42
云计算的基本特征是什么?云计算的七大特征总结
云计算的基本特征是什么?在回答这个问题之前,我们先来看看云计算的概念。云计算简单来说,就是不被地域所限制,向用户提供实现大规模计算的软件服务。因此云计算的基本特征主要要以下几点,即资源池化、快速弹性、灵活便捷性、可靠性强、高性价比和可扩展性。接下来小编将为大家依次总结云计算的七大特征,大家一起来看看吧!
15048
2020-01-11 16:01:15
大数据应用的重要性体现在方方面面
自全国提出“数据中国”的概念以来,我们周围默默地在发挥作用的大数据逐渐深入人们的心中,大数据的应用也越来越广泛,具体到金融、汽车、餐饮、电信、能源、体育和娱乐等领域,下面就通过本文,让我们看看这些正在发生在我们身边的大数据应用案例。
7472
2020-07-06 14:59:59
大数据开发和大数据分析师到底有何区别?怎么分辨?
数据工程师建设和优化系统,专注于解决分析方面的问题;大数据分析师从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测。两只之间有着本质的差别。
5639
2020-10-15 09:27:35
大数据行业现在工作好不好找?很难吗?
大数据需求越来越多,国家也在开设相关岗位,从2018年开始就逐年较大的增长。报考大学的学生和家长也对大数据,人工智能非常感兴趣,大数据连续3年进了前5,而且学历主要是本科就可以。可以预见的将来这几年,这真的是一个朝阳行业,而且现在缺口很大。
4748
2022-07-01 18:15:56