随着移动互联网的发展,云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题:spark中的RDD是什么?RDD有哪些特性?并且编写了较为详细的答案说明,希望能帮助大家解答这方面的疑惑。
RDD是什么
Spark是围绕弹性分布式数据集(RDD)的概念展开的,RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD:一种是将驱动程序中的已有集合平行化;另外一种是引用外部存储系统的数据集,例如共享文件系统,HDFS, HBase, 或者其他类似Hadoop的数据源。
RDD的特点之一是分布式存储,它的好处就是数据存储在不同的节点上,当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候,既可以存储在内存中,也可以存储在磁盘上,也可以两者结合使用。RDD还有个特点就是延迟计算,当是transformation算子的时候,并不执行操作,直到遇到action算子的时候才开始执行计算。
RDD有哪些特性
1 、A list of partitions
——RDD是由多个partition构成的。
2、A function for computing each split
——RDD的每个分区上都有一个函数去作用
3、 A list of dependencies on other RDDs
——RDD有依赖性,通常情况下一个RDD是来源于另一个RDD,这个叫做lineage。RDD会记录下这些依赖,方便容错。
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
——可选项,如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同RDD里面的相同key的数据放到同一个partition里面。
5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
——最优的位置去计算,也就是数据的本地性。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据Hadoop中HDFS 存储的机制?
HDFS即Hadoop分布式文件系统。它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。那大数据中HDFS 存储的机制怎样的呢?
4586
2019-08-14 10:19:54
大数据和区块链异同分析
行业内普遍认为,大数据是以牺牲一致性来换取可用性和分区容忍性的,而区块链却优先保证了一致性。那么大数据和区块链异同到底有哪些?小编带大家仔细分析一下。
3165
2019-07-16 16:19:39
博学谷云计算大数据培训班课程怎么样?
在线学习已经成为现在年轻人最主要的学习途径。博学谷作为国内高端的IT在线教育平台,依托传智播客13年教学经验的沉淀,推出云计算大数据培训课程。每年都有非常多的小伙伴在博学谷平台学习,对于还在观望的同学,博学谷云计算大数据培训班课程怎么样?在博学谷学习有什么优势呢?
1804
2019-09-06 18:22:40
数据仓库和数据挖掘的有什么联系和区别?
数据仓库和数据挖掘的有什么联系和区别?首先我们要清楚数据仓库是一个实现数据存放庞大的地方,而数据挖掘是从海量的数据中提取数据。因此这两者在本质上就存在明显的区别,不过两者既相互区别又相互联系,数据仓库和数据挖掘都可以看做是商业智能工具集合。下面我们来好好认识一下数据仓库和数据挖掘的定义、联系和区别吧!
1738
2020-01-12 17:13:04
数据仓库与数据库的区别是什么?
相信大数据学习者对于数据仓库与数据库并不陌生,两者都是通过数据库软件实现存放数据的地方,从这个意义上来看,它们似乎没有多大的差别。但是再深入一点分析,我们会发现无论是从数据量还是作用来讲,两者的区别都是巨大的。为了更清楚的分辨数据仓库与数据库,下面我们具体来聊聊数据仓库与数据库的区别。
1103
2020-06-05 11:06:23
MySQL数据库基础
¥99 基础 211
基于Kudu实现物联网数据存储与分析
¥299 进阶 236
企业级数仓项目实战
免费 进阶 809
云计算大数据Zookeeper教程
免费 进阶 929
基于Kylin搞定电信数据分析
¥199 进阶 226
推荐课程
热门文章
- 5W2H数据分析方法及思维是什么?
- UI设计师要懂什么技术?掌握哪些知识?
- 哪里可以培训少儿编程老师?学什么?
- 软件测试方法和技术知识点有哪些?
- 2021年2月IT编程语言排行榜
- PHP从入门到精通需要多长时间?
- 产品经理需要的技能是什么?具备哪些能力?
- 新媒体运营是做什么的?工作内容有哪些?
- Java线上培训机构哪家好?靠不靠谱?
- 学Web技术前端培训机构哪家好? 查看更多
扫描二维码,了解更多信息
