在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
随着移动互联网的发展，云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题：spark中的RDD是什么？RDD有哪些特性？并且编写了较为详细的答案说明，希望能帮助大家解答这方面的疑惑。
RDD是什么
Spark是围绕弹性分布式数据集（RDD）的概念展开的，RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD：一种是将驱动程序中的已有集合平行化；另外一种是引用外部存储系统的数据集，例如共享文件系统，HDFS, HBase, 或者其他类似Hadoop的数据源。
RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不执行操作，直到遇到action算子的时候才开始执行计算。
RDD有哪些特性
1 、A list of partitions
——RDD是由多个partition构成的。
2、A function for computing each split
——RDD的每个分区上都有一个函数去作用
3、 A list of dependencies on other RDDs
——RDD有依赖性，通常情况下一个RDD是来源于另一个RDD，这个叫做lineage。RDD会记录下这些依赖，方便容错。
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
——可选项，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，例如这里自定义的Partitioner是基于key进行分区，那则会将不同RDD里面的相同key的数据放到同一个partition里面。
5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
——最优的位置去计算，也就是数据的本地性。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
经典数据分析应用介绍
下一篇：
盘点五种主流的大数据计算框架
相关推荐 更多
研究生数据挖掘工资怎样？薪资待遇怎么样？
研究生数据挖掘工资怎样？薪资待遇怎么样？近几年国内IT发展迅速，有的人做数据挖掘平均工资50万+，国内大数据崛起后行业前景比较广阔，数据挖掘的并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成。
12559
2019-05-14 09:37:25
大数据Kafka进阶面试题汇总
Kafka是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。在大数据面试中，Kafka也是一个必考点。因此小编汇总了历年来比较经典常见的大数据Kafka进阶面试题。
6540
2019-08-22 19:26:09
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构，而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处： 比如Znode兼具文件和目录两种特点，而且它还具有原子性操作，存储数据大小也有限制。另外，Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
6003
2020-06-15 10:32:03
零基础小白的大数据入门手册
零基础小白的大数据入门手册，学大数据前，大家可能听过不少说大数据难学、入行做好心理准备的。大家听完也很动摇很犹豫，怀疑自己能不能学好大数据。这其实完全没有必要，觉得一个东西难，百分之八十的原因是你不了解它。对于零基础小白而言想学大数据，首先了解下大致学习路径有个框架，知道学习的方向。
4834
2020-06-15 17:33:18
传智教育博学谷狂野大数据课程再传喜讯，学员均薪超2万
近日，传智教育旗下博学谷IT在线教育公开了一组大数据学科的就业薪资数据，即全部学员平均就业薪资为 21775元，平均涨薪额度为8229元，涨幅64.00%；其中，一线城市平均就业薪资24274元，一线城市平均涨薪额度为10080元，涨幅76.91%。
3544
2022-09-29 16:42:09
