博学谷 > 资讯 > 大数据 > spark中的RDD是什么?RDD有哪些特性?

原创 spark中的RDD是什么?RDD有哪些特性?

发布时间:2019-07-02 14:04:50 浏览 3103 来源:博学谷资讯 作者:照照

    随着移动互联网的发展,云计算大数据开发求职者越来越多。今天小编为大家整理了关于spark的经典面试题:spark中的RDD是什么?RDD有哪些特性?并且编写了较为详细的答案说明,希望能帮助大家解答这方面的疑惑。

     

    spark中的RDD是什么?RDD有哪些特性?

     

    RDD是什么
         Spark是围绕弹性分布式数据集(RDD)的概念展开的,RDD是一种容错的可分布式操作的数据集合。有两中方式可以创建RDD:一种是将驱动程序中的已有集合平行化;另外一种是引用外部存储系统的数据集,例如共享文件系统,HDFS, HBase, 或者其他类似Hadoop的数据源。
         RDD的特点之一是分布式存储,它的好处就是数据存储在不同的节点上,当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候,既可以存储在内存中,也可以存储在磁盘上,也可以两者结合使用。RDD还有个特点就是延迟计算,当是transformation算子的时候,并不执行操作,直到遇到action算子的时候才开始执行计算。


    RDD有哪些特性
    1 、A list of partitions
    ——RDD是由多个partition构成的。
    2、A function for computing each split
    ——RDD的每个分区上都有一个函数去作用
    3、 A list of dependencies on other RDDs
    ——RDD有依赖性,通常情况下一个RDD是来源于另一个RDD,这个叫做lineage。RDD会记录下这些依赖,方便容错。
    4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
    ——可选项,如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同RDD里面的相同key的数据放到同一个partition里面。
    5、Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
    ——最优的位置去计算,也就是数据的本地性。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

领取成功
领取失败
上一篇:经典数据分析应用介绍 下一篇:盘点五种主流的大数据计算框架

相关推荐 更多

最新文章

扫描二维码,回复"大数据"获取20G资料包