在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。本文主要内容有Spark运行架构的流程讲解和Spark运行架构的特点分析，感兴趣的小伙伴就赶紧看下去吧！
1、Spark 运行基本流程：
（1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行 Executor 资源。
（2）资源管理器分配 Executor 资源并启动 Executor，Executor 运行情况将随着心跳发送到资源管理器上。
（3）SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage，并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task，Task Scheduler 将Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor。
（4）Task 在 Executor 上运行，运行完毕释放所有资源。
2、Spark 运行架构的特点：
（1）每个 Application 获取专属的 executor 进程，该进程在 Application 期间一直驻留，并以多线程方式运行 tasks。
（2）Spark 任务与资源管理器无关，只要能够获取 executor 进程，并能保持相互通信就可以了。
（3）提交 SparkContext 的 Client 应该靠近 Worker 节点（运行 Executor 的节点)，最好是在同一个 Rack 里，因为 Spark 程序运行过程中SparkContext 和Executor 之间有大量的信息交换；如果想在远程集群中运行，最好使用 RPC 将SparkContext 提交给集群，不要远离 Worker 运行 SparkContext。
（4）Task 采用了数据本地性和推测执行的优化机制。
以上就是Spark运行架构及其特点的讲解，大家都听明白了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试题汇总
下一篇：
你那么努力为什么还又穷又忙？数据分析直播课预告
相关推荐 更多
大数据是如何做到目标用户精准营销
大数据是如何做到目标用户精准营销？营销的核心是“人”，哪怕拥有大数据加持，也应以“人”为本。大数据一般取材于日常工作生活，通过分析、挖掘我们的日常行为产生的数据资源，以指导、影响日常工作生活决策，甚至影响整个行业的生存与发展。
12879
2019-04-10 00:08:24
大数据未来的发展方向和趋势预测分析
在大数据时代，任何一个细微的数据都能被挖掘和了解，可以说大数据已经渗透进了现代生活的每个的角落，影响并改变着我们日常生活和工作的方方面面。在未来，大数据还会又怎样的发展呢？本文就来为大家预测分析一下大数据未来的发展方向和趋势。
10654
2019-09-27 11:39:15
大数据开发需要学什么编程语言？
大数据开发需要学什么编程语言？随着大数据的持续升温，越来越多的人投身于大数据的浪潮之中，不少完全没基础的小伙伴，难免会有这样的疑问，从事大数据需要学习什么编程语言呢？其实这个问题没有固定的答案，像Python、R、Java和Scala都是很好的选择，大家可以根据自身的实际情况进行选择。
8849
2019-10-18 18:32:50
小白入门大数据行业需要了解什么？
在这个人人都知道大数据的时代，大数据到底是什么，却依旧鲜有人能说清楚。本文主要为了帮助对大数据一无所知的小白，整理了入门大数据必须了解的基础知识，内容大概包括了大数据的起源发展、大数据技术的概念、大数据行业的职业规划以及大数据的未来趋势，下面一起来看看吧~
6877
2020-06-19 15:28:46
大数据的核心价值是什么? 本质是什么？
大数据的核心价值是什么? 其本质是量变产生了质变，其实问了这个问题，我们就已经能够知道，数据是真的具有价值的，并且价值不菲。那数据是今天才有的么？ 为什么加上大字就有了无法估量的价值呢？
4924
2022-04-27 09:49:19
