怎么在Yarn集群中分配Container

466次阅读

共计 1959 个字符，预计需要花费 5 分钟才能阅读完成。

本篇内容介绍了“怎么在 Yarn 集群中分配 Container”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让丸趣 TV 小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

YarnAllocator 从字面意思来看，也应该知道是在 Yarn 集群中分配 Container 的。

private[yarn] class YarnAllocator(
 driverUrl: String,
 driverRef: RpcEndpointRef,
 conf: YarnConfiguration,
 sparkConf: SparkConf,
 amClient: AMRMClient[ContainerRequest],
 appAttemptId: ApplicationAttemptId,
 securityMgr: SecurityManager,
 localResources: Map[String, LocalResource],
 resolver: SparkRackResolver,
 clock: Clock = new SystemClock)

其中 driverUrl 就是 Driver 的地址。当用 YarnAllocator 分配 Container 来运行 Executors 时，这些 Executors 要联系的 Driver 地址就是构造函数里的 driverRef 参数。

requestTotalExecutorsWithPreferredLocalities 方法是分配多个 Executor 的，先将分配请求保存在队列里，然后在守护线程中异步的创建 Executor。

def requestTotalExecutorsWithPreferredLocalities(
 requestedTotal: Int,
 localityAwareTasks: Int,
 hostToLocalTaskCount: Map[String, Int],
 nodeBlacklist: Set[String]): Boolean = synchronized {
 this.numLocalityAwareTasks = localityAwareTasks
 this.hostToLocalTaskCounts = hostToLocalTaskCount
 if (requestedTotal != targetNumExecutors) { logInfo(s Driver requested a total number of $requestedTotal executor(s). )
 targetNumExecutors = requestedTotal
 allocatorBlacklistTracker.setSchedulerBlacklistedNodes(nodeBlacklist)
 true
 } else {
 false
 }
 }

targetNumExecutors 就是说明要申请创建多少个 Executor 的意思。具体的实际创建动作是在 runAllocatedContainers 中执行的。

 launcherPool.execute(() =  {
 try {
 new ExecutorRunnable( Some(container),
 conf,
 sparkConf,
 driverUrl,
 executorId,
 executorHostname,
 executorMemory,
 executorCores,
 appAttemptId.getApplicationId.toString,
 securityMgr,
 localResources
 ).run()
 updateInternalState()
 } catch {
 
 }

这一段就是在分配的 Container 上创建 Executor 的过程，用 ExecutorRunner 来包装的。其中的 driverUrl 就是构造函数中带过来的 driver 的地址。

可见每个 driver 都会创建一个属于自己的单独的 YarnAllocator。

顺便说一句，很多人以前 Spark 是集群，实际上 Spark 本身只是一种计算方式，可以看成它只是 jar 包。Spark 的 driver 运行时才会去申请 Executor，向 Yarn 申请或者向 Standalone 集群申请。Standalone 集群是指 Master 和 Worker，不是指 Spark core，更不是指 SparkContext。

“怎么在 Yarn 集群中分配 Container”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注丸趣 TV 网站，丸趣 TV 小编将为大家输出更多高质量的实用文章！

正文完