在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。本文主要内容有Spark运行架构的流程讲解和Spark运行架构的特点分析，感兴趣的小伙伴就赶紧看下去吧！
1、Spark 运行基本流程：
（1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行 Executor 资源。
（2）资源管理器分配 Executor 资源并启动 Executor，Executor 运行情况将随着心跳发送到资源管理器上。
（3）SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage，并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task，Task Scheduler 将Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor。
（4）Task 在 Executor 上运行，运行完毕释放所有资源。
2、Spark 运行架构的特点：
（1）每个 Application 获取专属的 executor 进程，该进程在 Application 期间一直驻留，并以多线程方式运行 tasks。
（2）Spark 任务与资源管理器无关，只要能够获取 executor 进程，并能保持相互通信就可以了。
（3）提交 SparkContext 的 Client 应该靠近 Worker 节点（运行 Executor 的节点)，最好是在同一个 Rack 里，因为 Spark 程序运行过程中SparkContext 和Executor 之间有大量的信息交换；如果想在远程集群中运行，最好使用 RPC 将SparkContext 提交给集群，不要远离 Worker 运行 SparkContext。
（4）Task 采用了数据本地性和推测执行的优化机制。
以上就是Spark运行架构及其特点的讲解，大家都听明白了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试题汇总
下一篇：
你那么努力为什么还又穷又忙？数据分析直播课预告
相关推荐 更多
研究生数据挖掘工资怎样？薪资待遇怎么样？
研究生数据挖掘工资怎样？薪资待遇怎么样？近几年国内IT发展迅速，有的人做数据挖掘平均工资50万+，国内大数据崛起后行业前景比较广阔，数据挖掘的并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成。
11933
2019-05-14 09:37:25
零基础大数据开发学习线路
零基础大数据开发学习线路，主要的学习内容有大数据基础——java语言基础方面、HTML、CSS与JavaScript、JavaWeb和数据库、Linux&Hadoop生态体系、分布式计算框架和Spark&Strom生态体系、大数据分析 —AI（人工智能）等内容。
7338
2019-05-20 18:48:12
大数据培训时间要多久？零基础多久能学会？
大数据近年来非常火爆，连带着大数据人才也十分紧缺。学习大数据，不管是发展前景还是就业前景都非常乐观，这促使很多人想加入到大数据的大军中。想要学习大数据，大数据培训不失为一个比较好的选择，但是大数据培训时间要多久？零基础多久能学会？其实主要是依据学员基础决定的。
9423
2019-07-09 18:21:06
数据分析的基本步骤是什么？
相信大家对数据分析已经不陌生了，那数据分析的基本步骤是什么，大家都知道吗？一般来讲，典型的数据分析包含六个步骤，分别是明确思路、收集数据、处理数据、分析数据、展现数据以及撰写报告，下面我们具体讲一讲数据分析的六大步骤。
10617
2020-06-02 11:20:17
大数据开发要学Java框架吗？
学习大数据要去学习Java而且还要精通，不仅要掌握Java基础知识还要掌握一些核心的Java架构。从java基础开始,学习大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等，掌握大数据体系中几乎所有的核心技术。
4392
2021-01-26 11:45:34
