共计 939 个字符，预计需要花费 3 分钟才能阅读完成。

本篇内容介绍了“spark 内核核心术语如何解析”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让丸趣 TV 小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

Application:

Application 是创建了 SparkContext 实例对象的 spark 用户，包含了 Driver 程序：

Spark-shell 是一个应用程序，因为 spark-shell 在启动的时候创建了一个 SparkContext 对象，其名称为 sc:

Job:

和 Spark 的 action 相对应，每一个 action 例如 count、saveAsTextFile 等都会对应一个 job 实例，该 job 实例包含多任务的并行计算。

Driver Program：

运行 main 函数并且创建 SparkContext 实例的程序

Cluster Manager：

集群资源的管理外部服务，在 spark 上现在有 standalone、yarn、mesos 等三种集群资源管理器，spark 自带的 standalone 模式能够满足大部分的 spark 计算环境对集群资源管理的需求，基本上只有在集群中运行多套计算框架的时候才考虑 yarn 和 mesos

Worker Node：

集群中可以运行应用代码的工作节点，相当于 Hadoop 的 slave 节点

Executor：

在一个 Worker Node 上为应用启动的工作进程，在进程中赋值任务的运行，并且负责将数据存放在内存或磁盘上，必须注意的是，每个应用在一个 Worker Node 上只会有一个 Executor，在 Executor 内部通过多线程的方式并发处理应用的任务。

State：

一个 job 会被拆分成很多任务，每一组任务被称为 state，这个 MapReduce 的 map 和 reduce 任务很像，划分 state 的依据在于：state 开始一般是由于读取外部数据或者 shuffle 数据、一个 state 的结束一般是由于发生 shuffle（例如 reduceByKey 操作）或者整个 job 结束时，例如要把数据放到 hdfs 等存储系统上

“spark 内核核心术语如何解析”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注丸趣 TV 网站，丸趣 TV 小编将为大家输出更多高质量的实用文章！