分布式场景下，Apache YARN、Google Kubernetes 如何解决资源管理问题？

所有的资源管理系统都需要解决资源的有效利用、任务的有效响应、调度策略的灵活配置这三个最基本问题。那么在分布式的场景下，YARN和Kubernetes是怎么解决的呢？本篇进行介绍。

— Apache YARN —

YARN全称为（Yet Another Resource Negotiator），是一个集群共享的调度框架，有良好的可伸缩性，以及调度器本身有非常高的可靠性。YARN的架构如下图所示，其中ResourceManager控制整个集群，并管理应用程序对基础计算资源的分配。它将各个资源部分（计算、内存、带宽等）安排给基础NodeManager（YARN 的每节点代理）。ResourceManager还与 Application Master一起分配资源，与NodeManager一起启动和监视它们的基础应用程序。在此上下文中，Application Master承担了以前的TaskTracker的一些职责，ResourceManager承担了 JobTracker 的角色。

Application Master管理一个在YARN内运行的应用程序的每个实例，并负责协调来ResourceManager的资源，并通过 NodeManager监视容器的执行和资源使用（CPU、内存等的资源分配）。从YARN 角度讲，Application Master 是用户代码，因此存在潜在的安全问题。NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务，从监督对一个容器的终生管理到监视资源和跟踪节点健康。NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。Container是YARN中资源的抽象，封装了某节点上一定量的资源（内存，CPU），Container的运行由Application Master向资源所在的NodeManager发起。

一个MapReduce Job的调度过程如下图所示，一般会包含提交Job、启动Application Master、请求资源需求、通过后通过Container来进行数据处理这四步。这个流程也同样适用于Spark、Flink等计算引擎。通过YARN的这套资源管理体系，所有的中短期的计算任务都可以有效的得到统一的管理与调度。

调度能力是YARN的核心能力，YARN社区一共提供了FIFO、Fair和Capacity三种调度模型，用户也可以继承ResourceScheduler的接口实现自定义的调度器。FIFO Scheduler顾名思义是最简单的调度器，提交的作业按照提交时间先后顺序或者根据优先级次序将其放入线性队列相应的位置，在资源调度时，按照队列的先后顺序、先进先出地进行调度和资源分配。这种调度器过于简单，在实际的生产中，应用不是很多，毕竟需要调度的作业是有不同的优先级的。

在一些多用户的场景下，如大型集团每天夜间通过不同用户运行不同应用需要的批处理数据加工任务，应用的数量可能是数十个之多，集群资源在用户之间分配的公平性就比较重要。为了应对多租户的需求，社区推出了Capacity Scheduler，让不同的组织使用各自的资源，相互之间不影响，同时提高整个集群的利用率和吞吐量。Capacity Scheduler将资源分为多个队列，每个队列分配一部分资源，不同组织或用户的应用运行在其各自的队列中，从而做到资源隔离。在一个情况允许的情况下，为了提升集群吞吐，也允许队列之间的资源抢占。

Fair Scheduler将资源划分到多个资源池中，每个资源池设定资源分配最低保障和最高上限，管理员也可以指定资源池的优先级，优先级高的资源池将会被分配更多的资源，当一个资源池有剩余时，可以临时将剩余资源共享给其他资源池。Fair Scheduler先将用户的任务挂载到如下图的树形队列的叶子节点上，等待后续的资源调度。每个调度周期开始后，Scheduler选择集群中的一个节点，从树形队列的根节点出发，每层队列都按照按照作业的优先级或者根据公平策略来选择一个子队列，最后在叶子节点上按照公平策略来选择一个App，然后为这个App在对应的节点上分配适配的资源从而开始计算任务。

为了更好的支持生产需求，Fair Scheduler还支持抢占式调度，如果某个资源池长时间未能分配到公平共享量的资源，调度器则会杀死过多分配资源的资源池的任务，以腾出资源并分配到这个资源池中供对应的任务调度。此外，它还提供了一个基于任务数目的负载均衡机制，从而将系统任务尽可能均衡的分配到各个节点上。

— Google Kubernetes —

Kubernetes是Google的开源项目，用来管理Docker集群, 继承了Borg的优点，实现了编排、部署、运行以及管理容器应用，下图是Kubernetes的总体架构。Kubernetes提供资源池化管理，可以将整个集群内的CPU、GPU、内存、网络和硬盘等资源抽象为一个资源池，可以根据应用的资源需求灵活的根据资源池中的实时资源情况进行调度；Kubernetes包含一个统一的调度框架，可以管理最多数千个服务器和数万个容器，同时提供插件化的接口让第三方来定制和扩展新的调度系统；此外Kubernetes支持通过ConfigMap等方式来动态的调整应用配置，从而具备动态调配的基础能力。我们将基于这些基础技术来开发支持复杂应用平台的调度系统。

 

关于Kubernetes的详细介绍，可以查看往期文章：Docker和Kubernetes的前世今生（下）

— 小结—

本篇介绍了两个分布式资源管理技术YARN和Kubernetes。开源社区从2018年开始，多个项目如Spark、Flink、Tensorflow等都开始从YARN转向基于Kubernetes的管理和调度。长期上看，作为Hadoop集群的资源管理系统，YARN非常有效的完成了其技术价值，但受限于其架构设计，很难往一个通用的数据中心调度系统演进。星环科技在2017年已经实现内部大数据平台从YARN切换到Kubernetes，下一篇将从存储、计算、资源调度等方面介绍星环大数据技术体系。