在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。本文主要内容有Spark运行架构的流程讲解和Spark运行架构的特点分析，感兴趣的小伙伴就赶紧看下去吧！
1、Spark 运行基本流程：
（1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行 Executor 资源。
（2）资源管理器分配 Executor 资源并启动 Executor，Executor 运行情况将随着心跳发送到资源管理器上。
（3）SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage，并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task，Task Scheduler 将Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor。
（4）Task 在 Executor 上运行，运行完毕释放所有资源。
2、Spark 运行架构的特点：
（1）每个 Application 获取专属的 executor 进程，该进程在 Application 期间一直驻留，并以多线程方式运行 tasks。
（2）Spark 任务与资源管理器无关，只要能够获取 executor 进程，并能保持相互通信就可以了。
（3）提交 SparkContext 的 Client 应该靠近 Worker 节点（运行 Executor 的节点)，最好是在同一个 Rack 里，因为 Spark 程序运行过程中SparkContext 和Executor 之间有大量的信息交换；如果想在远程集群中运行，最好使用 RPC 将SparkContext 提交给集群，不要远离 Worker 运行 SparkContext。
（4）Task 采用了数据本地性和推测执行的优化机制。
以上就是Spark运行架构及其特点的讲解，大家都听明白了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试题汇总
下一篇：
你那么努力为什么还又穷又忙？数据分析直播课预告
相关推荐 更多
经典数据分析应用介绍
大数据时代的到来，促使互联网更加高速的发展。也为互联网创造了更多的岗位。我们耳熟能详的就是大数据在电商平台、搜索平台的应用，通过大数据分析，为我们提供了更加便利的服务。那还有哪些景点的数据分析应用案例呢？
9750
2019-07-01 19:04:24
什么是数据可视化？三分钟快速解读
大数据时代如何做好数据分析是每个企业都在关注的问题，而数据可视化无疑是未来的发展趋势之一。相信大家对数据可视化并不陌生，但是大家真的了解什么是数据可视化吗？本文就用三分钟简单解读一下数据可视化的概念、发展、优势和工具，带大家快速了解和认识数据可视化。
10996
2019-11-29 16:51:22
Flink从入门到实践课程介绍
Flink是解放程序员的一款开源大数据计算引擎，本文将为大家介绍Flink从入门到实践的课程详情，主要包括课程的学习内容、亮点特色和学习收获，对Flink感兴趣或者有学习需要的小伙伴可以看一看。
6285
2020-04-21 18:22:10
数据仓库与数据库的区别是什么？
相信大数据学习者对于数据仓库与数据库并不陌生，两者都是通过数据库软件实现存放数据的地方，从这个意义上来看，它们似乎没有多大的差别。但是再深入一点分析，我们会发现无论是从数据量还是作用来讲，两者的区别都是巨大的。为了更清楚的分辨数据仓库与数据库，下面我们具体来聊聊数据仓库与数据库的区别。
17605
2020-06-05 11:06:23
大数据的核心架构层是哪些？
大数据的核心架构层是哪些？大数据的核心层：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同本质上的角色都大同小异。
4666
2022-06-17 15:28:45
