在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
大数据spark框架常用数据类型RDD与DataFrame的区别，在spark中，RDD、DataFrame是最常用的数据类型，在Apache Spark 里面DF 优于RDD但也包含了RDD的特性，在使用的过程中分别介绍下两者的区别和各自的优势。
1、RDD是什么？
RDD（Resilient Distributed Datasets）提供了一种高度受限的共享内存模型。即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。RDD仍然足以表示很多类型的计算，包括MapReduce和专用的迭代编程模型（如Pregel）等。
RDD五大特点：(必须的)可分区的: 每一个分区对应就是一个Task线程；(必须的)计算函数(对每个分区进行计算操作)；(必须的)存在依赖关系；(可选的)对于key-value数据存在分区计算函数；(可选的)移动数据不如移动计算(将计算程序运行在离数据越近越好)。
2、DataFrame是什么？
DataFrame是一种分布式的数据集，并且以列的方式组合的。类似于关系型数据库中的表。可以说是一个具有良好优化技术的关系表。DataFrame背后的思想是允许处理大量结构化数据。提供了一些抽象的操作，如select、filter、aggregation、plot。DataFrame包含带schema的行。schema是数据结构的说明。相当于具有schema的RDD。
DataFrame特性：支持从KB到PB级的数据量；支持多种数据格式和多种存储系统；通过Catalyst优化器进行先进的优化生成代码；通过Spark无缝集成主流大数据工具与基础设施；API支持Python、Java、Scala和R语言。
3、RDD和DataFrame有什么区别？
RDD是弹性分布式数据集，数据集的概念比较强一点。容器可以装任意类型的可序列化元素（支持泛型）
RDD的缺点是无从知道每个元素的【内部字段】信息。意思是下图不知道Person对象的姓名、年龄等。
DataFrame也是弹性分布式数据集，但是本质上是一个分布式数据表，因此称为分布式表更准确。DataFrame每个元素不是泛型对象，而是Row对象。
DataFrame的缺点是Spark SQL DataFrame API 不支持编译时类型安全，因此，如果结构未知，则不能操作数据；同时，一旦将域对象转换为Data frame ，则域对象不能重构。
DataFrame=RDD-【泛型】+schema+方便的SQL操作+【catalyst】优化DataFrame本质上是一个【分布式数据表】
DataFrame优于RDD，因为它提供了内存管理和优化的执行计划。总结为以下两点：
a.自定义内存管理：当数据以二进制格式存储在堆外内存时，会节省大量内存。除此之外，没有垃圾回收（GC）开销。还避免了昂贵的Java序列化。因为数据是以二进制格式存储的，并且内存的schema是已知的。
b.优化执行计划：这也称为查询优化器。可以为查询的执行创建一个优化的执行计划。优化执行计划完成后最终将在RDD上运行执行。
4、RDD与DataFrame个字有什么特性？
在Apache Spark 里面DF 优于RDD，但也包含了RDD的特性。
RDD和DataFrame的共同特征是不可性、内存运行、弹性、分布式计算能力。它允许用户将结构强加到分布式数据集合上。因此提供了更高层次的抽象。
从不同的数据源构建DataFrame。例如结构化数据文件、Hive中的表、外部数据库或现有的RDDs。DataFrame的应用程序编程接口(api)可以在各种语言中使用，包括Python、Scala、Java和R。
DataFrame API能够提高spark的性能和扩展性，避免了构造每行在dataset中的对象造成GC的代价。不同于RDD API能构建关系型查询计划更加有有利于熟悉执行计划的开发人员，同理不一定适用于所有人。
拿高薪入行大数据，选择《狂野大数据》课程，抓住大数据时代的“薪”机遇！！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐
下一篇：
累加器和广播变量分别在什么场景使用？
相关推荐 更多
云数据安全之数据加密的要点分析
毫不夸张的说，当下是云计算和大数据的时代，我们的生活和工作都受到了云计算和大数据方方面面的影响，云计算和大数据不仅改变了我们的思维、生产方式，还改变了我们生活和学习方式。然而随之而来的云数据安全问题也是日益凸显，许多用户都遭受了大数据泄露带来的损失。本文就来和大家分析一下云数据安全中数据加密的要点。
8665
2019-10-31 19:21:05
数据挖掘的步骤有哪些？
所谓数据挖掘就是从海量的数据中，找到隐藏在数据里有价值的信息。因为这个数据是隐式的，因此想要挖掘出来并不简单。那么，如何进行数据挖掘呢？数据挖掘的步骤有哪些呢？一般来讲，数据挖掘需要经历数据收集、数据可视化、数据预处理、准备模型输入以及训练模型五大步骤，下面让我们来详细分析一下吧！
7909
2020-08-10 15:32:38
数据预处理的方法有哪些？
数据处理的工作时间占据了整个数据分析项目的70%以上。因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法有哪些呢？比如数据清洗、数据集成、数据规约、数据变换等，其中最常用到的是数据清洗与数据集成，下面小编将来详细介绍一下这2种方法。
12409
2020-08-11 10:14:41
无基础人员转行做机器学习可以吗？
机器学习需要一定数学基础，没有相关的了解需要重新学习。转行机器学习不适用所有人，可不可以转行需要具体结合自身的情况。入门机器学习有一定的门槛要慎重决定。
6335
2020-10-23 14:55:11
如何获取大数据行业高薪岗位offer？
想要拿到高薪就要成为站在金字塔的人，在互联网行业需要保持不断的学习。学习大数据先思考自身未来想往哪个方向发展，想要入门快、基础深厚，并且需求多应用广建议从JAVA开始学起，找到适合自己的学习方法。
5938
2021-03-31 16:13:39
