在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
随着移动互联网的发展，云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题：spark中的RDD是什么？RDD有哪些特性？并且编写了较为详细的答案说明，希望能帮助大家解答这方面的疑惑。
RDD是什么
Spark是围绕弹性分布式数据集（RDD）的概念展开的，RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD：一种是将驱动程序中的已有集合平行化；另外一种是引用外部存储系统的数据集，例如共享文件系统，HDFS, HBase, 或者其他类似Hadoop的数据源。
RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不执行操作，直到遇到action算子的时候才开始执行计算。
RDD有哪些特性
1 、A list of partitions
——RDD是由多个partition构成的。
2、A function for computing each split
——RDD的每个分区上都有一个函数去作用
3、 A list of dependencies on other RDDs
——RDD有依赖性，通常情况下一个RDD是来源于另一个RDD，这个叫做lineage。RDD会记录下这些依赖，方便容错。
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
——可选项，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，例如这里自定义的Partitioner是基于key进行分区，那则会将不同RDD里面的相同key的数据放到同一个partition里面。
5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
——最优的位置去计算，也就是数据的本地性。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
经典数据分析应用介绍
下一篇：
盘点五种主流的大数据计算框架
相关推荐 更多
数据挖掘、数据分析以及大数据之间的区别有哪些？
进入大数据时代，和数据相关的名词都被人们津津乐道。那数据挖掘、数据分析以及大数据之间有哪些区别呢？数据挖掘是发现信息以及收集数据的过程；数据分析则是将现有数据进行归纳以及分析得出相应结论的过程。而大数据则更加关注数据本身，重要表现就是数据量大，数据的多样性等等。
13270
2019-06-20 18:11:53
线上大数据培训哪家好如何选择？
线上大数据培训哪家好应该如何选择？就线上培训这块，博学谷算是做的比较好的大数据培训平台。简单来讲，建议大家在做选择的时候，在口碑和知名度都不错的培训机构中挑选。同时多多考察大数据培训机构的课程质量、师资力量、教学模式等等方面，当然考察的方式不仅仅是听信培训机构的宣传，还要亲自体验课程，最好能和之前毕业的学员联系，深入了解培训的效果怎么样。
5811
2019-09-18 12:48:17
学大数据一定要学Java编程语言吗？
大数据相关岗位的就业薪资和发展前景，吸引了许多人纷纷参加培训机构以谋求一个就业机会。考察各个培训机构的课程，我们不难发现，不管哪个大数据培训机构的课程都涉及Java编程语言的学习。那么，学大数据一定要学Java编程语言吗？答案是不一定，如果你想从事大数据开发岗位，那一定要学Java编程语言。如果只是想往数据分析方向发展，那么学Python就足够了。
5665
2020-06-30 18:38:45
女生学大数据好就业吗？前景如何？
随着人工智能物联网的发展，大数据人才急剧增加，大数据应用广泛未来将覆盖全行业，大数据人才稀缺人才缺口达百万以上，掌握大数据相关的技能就业前景比较广阔。学习大数据的男生确实比女生多，但还是有女生学，每个人的学习能力、思维方式都不同需要根据自身情况而定。
5631
2021-04-20 15:13:14
入行大数据学习路线分享 学习不迷路
入行大数据学习路线分享 学习不迷路，想要从事大数据技术开发工作请问要怎么做，学习路线是什么？从哪里开始学？学哪些？对于想学大数据的人群有诸多的疑问，大数据本质上是海量数据。以往的数据开发，需要一定的Java基础和工作经验，门槛高入门难。如果零基础入门数据开发行业的小伙伴可以从Python语言入手。
2698
2022-02-18 11:06:17
