在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据spark框架常用数据类型RDD与DataFrame的区别，在spark中，RDD、DataFrame是最常用的数据类型，在Apache Spark 里面DF 优于RDD但也包含了RDD的特性，在使用的过程中分别介绍下两者的区别和各自的优势。
1、RDD是什么？
RDD（Resilient Distributed Datasets）提供了一种高度受限的共享内存模型。即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。RDD仍然足以表示很多类型的计算，包括MapReduce和专用的迭代编程模型（如Pregel）等。
RDD五大特点：(必须的)可分区的: 每一个分区对应就是一个Task线程；(必须的)计算函数(对每个分区进行计算操作)；(必须的)存在依赖关系；(可选的)对于key-value数据存在分区计算函数；(可选的)移动数据不如移动计算(将计算程序运行在离数据越近越好)。
2、DataFrame是什么？
DataFrame是一种分布式的数据集，并且以列的方式组合的。类似于关系型数据库中的表。可以说是一个具有良好优化技术的关系表。DataFrame背后的思想是允许处理大量结构化数据。提供了一些抽象的操作，如select、filter、aggregation、plot。DataFrame包含带schema的行。schema是数据结构的说明。相当于具有schema的RDD。
DataFrame特性：支持从KB到PB级的数据量；支持多种数据格式和多种存储系统；通过Catalyst优化器进行先进的优化生成代码；通过Spark无缝集成主流大数据工具与基础设施；API支持Python、Java、Scala和R语言。
3、RDD和DataFrame有什么区别？
RDD是弹性分布式数据集，数据集的概念比较强一点。容器可以装任意类型的可序列化元素（支持泛型）
RDD的缺点是无从知道每个元素的【内部字段】信息。意思是下图不知道Person对象的姓名、年龄等。
DataFrame也是弹性分布式数据集，但是本质上是一个分布式数据表，因此称为分布式表更准确。DataFrame每个元素不是泛型对象，而是Row对象。
DataFrame的缺点是Spark SQL DataFrame API 不支持编译时类型安全，因此，如果结构未知，则不能操作数据；同时，一旦将域对象转换为Data frame ，则域对象不能重构。
DataFrame=RDD-【泛型】+schema+方便的SQL操作+【catalyst】优化DataFrame本质上是一个【分布式数据表】
DataFrame优于RDD，因为它提供了内存管理和优化的执行计划。总结为以下两点：
a.自定义内存管理：当数据以二进制格式存储在堆外内存时，会节省大量内存。除此之外，没有垃圾回收（GC）开销。还避免了昂贵的Java序列化。因为数据是以二进制格式存储的，并且内存的schema是已知的。
b.优化执行计划：这也称为查询优化器。可以为查询的执行创建一个优化的执行计划。优化执行计划完成后最终将在RDD上运行执行。
4、RDD与DataFrame个字有什么特性？
在Apache Spark 里面DF 优于RDD，但也包含了RDD的特性。
RDD和DataFrame的共同特征是不可性、内存运行、弹性、分布式计算能力。它允许用户将结构强加到分布式数据集合上。因此提供了更高层次的抽象。
从不同的数据源构建DataFrame。例如结构化数据文件、Hive中的表、外部数据库或现有的RDDs。DataFrame的应用程序编程接口(api)可以在各种语言中使用，包括Python、Scala、Java和R。
DataFrame API能够提高spark的性能和扩展性，避免了构造每行在dataset中的对象造成GC的代价。不同于RDD API能构建关系型查询计划更加有有利于熟悉执行计划的开发人员，同理不一定适用于所有人。
拿高薪入行大数据，选择《狂野大数据》课程，抓住大数据时代的“薪”机遇！！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐
下一篇：
累加器和广播变量分别在什么场景使用？
相关推荐 更多
研究生数据挖掘工资怎样？薪资待遇怎么样？
研究生数据挖掘工资怎样？薪资待遇怎么样？近几年国内IT发展迅速，有的人做数据挖掘平均工资50万+，国内大数据崛起后行业前景比较广阔，数据挖掘的并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成。
14439
2019-05-14 09:37:25
用户画像在电商中的价值和作用分析
在了解用户画像在电商行业的应用之前，我们首先要清楚什么是用户画像。简单来说，用户画像就是把用户的信息进行标签化，从而提供给企业和公司。在当下这个大数据时代，各个企业公司早就把用户画像，作为重要的经营战略调整依据。因此，用户画像在电商中的价值和作用不言而喻。下面就为大家着重讲讲用户画像的定义、作用和价值。
12011
2019-12-16 17:11:05
大数据学习的基础知识
大数据学习的基础知识，随着互联网科技的发展，新型技术行业如人工智能等高科技领域人才需求不断扩大。其中大数据行业的发展前景也是相当好。导致很多人跟风报名，结果就是好多人哭喊大数据好难学。但是，大数据真的这么难吗？大数据基础学习内容是什么？大家不妨先了解一下再决定要不要继续学习。
6394
2020-06-12 15:58:59
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构，而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处： 比如Znode兼具文件和目录两种特点，而且它还具有原子性操作，存储数据大小也有限制。另外，Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
7740
2020-06-15 10:32:03
大数据开发要学Java框架吗？
学习大数据要去学习Java而且还要精通，不仅要掌握Java基础知识还要掌握一些核心的Java架构。从java基础开始,学习大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等，掌握大数据体系中几乎所有的核心技术。
7287
2021-01-26 11:45:34
