在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
随着移动互联网的发展，云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题：spark中的RDD是什么？RDD有哪些特性？并且编写了较为详细的答案说明，希望能帮助大家解答这方面的疑惑。
RDD是什么
Spark是围绕弹性分布式数据集（RDD）的概念展开的，RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD：一种是将驱动程序中的已有集合平行化；另外一种是引用外部存储系统的数据集，例如共享文件系统，HDFS, HBase, 或者其他类似Hadoop的数据源。
RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不执行操作，直到遇到action算子的时候才开始执行计算。
RDD有哪些特性
1 、A list of partitions
——RDD是由多个partition构成的。
2、A function for computing each split
——RDD的每个分区上都有一个函数去作用
3、 A list of dependencies on other RDDs
——RDD有依赖性，通常情况下一个RDD是来源于另一个RDD，这个叫做lineage。RDD会记录下这些依赖，方便容错。
4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
——可选项，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，例如这里自定义的Partitioner是基于key进行分区，那则会将不同RDD里面的相同key的数据放到同一个partition里面。
5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
——最优的位置去计算，也就是数据的本地性。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
经典数据分析应用介绍
下一篇：
盘点五种主流的大数据计算框架
相关推荐 更多
大数据分析热门技术解析
哪些大数据技术是目前市场最急需的？未来市场哪些技术有更大的发展空间？由于大数据技术以及人工智能技术的普及以及应用，求学者更加理性的对未来大数据应用技术进行分析。根据弗雷斯特研究公司发布的指数，今天和大家分享一下目前大数据分析领域比较热门的十个技术。
6303
2019-06-10 17:58:09
5分钟掌握Hadoop环境搭建流程
Hadoop是大数据技术的基础，它在大数据技术体系中的地位是非常重要的。目前Hadoop是主流的分布式系统基础架构之一，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。所以对于Hadoop基础知识的掌握的扎实程度，会决定你在大数据技术道路上走多远。首先我们来学习一下Hadoop环境搭建流程吧。
5999
2019-08-14 10:19:35
Kylin开发教程 从原理讲解到实践演练
众所周知，Kylin是一个可扩展的超快OLAP引擎，它能够提供Hadoop ANSI SQL借口和交互式查询，还可以和BI工具无缝整合，为百亿用户构建立方体。既然学习Kylin这么有必要，那么我们该如何学习它呢？这里为大家介绍博学谷的Kylin开发教程，本教程将会对Kylin进行系统化梳理，包括了Kylin的技术架构、运维不熟、增量构建、实时构建、性能优化等内容，带领大家从原理讲解到实战演练。
3940
2019-11-25 12:22:09
分布式系统学习笔记
分布式系统其实就是为了处理更多数据而存在的。对于大数据学习者来讲，分布式系统入门还是很容易的。本文为大家总结整理了一篇关于分布式系统的学习笔记，主要内容有分布式系统的定义、常用分布式方案以及分布式和集群的对比，下面一起来看看吧~
3787
2020-06-09 11:12:49
大数据批流处理之Lambda架构学习
大数据批流处理之Lambda架构，Lambda架构是当前大数据中批流处理方向影响最为深刻、应用最为广泛的架构。对于在云端的数据中心实现针对海量历史数据的批量计算及优化需要分别在云端、边缘端实现针对流数据的实时处理的场景。
1669
2022-03-02 10:17:27
