Yarn集群架构和工作原理

Yarn集群架构

Yarn(Yet Another Resource Negotiator,另一个资源协调器)是Hadoop生态系统中的一个重要组件,用于管理和协调分布式计算任务。它可以有效地利用集群中的资源,为用户提交的应用程序分配适当的计算资源。

Yarn的集群架构包含以下几个关键组件:

  1. ResourceManager(RM):RM是集群上的主节点,负责整个集群资源的管理和调度。它接收来自客户端和ApplicationMaster(AM)的请求,并为每个应用程序分配容器资源。

  2. NodeManager(NM):NM是集群上的工作节点,负责对本地资源进行管理和监控。它与RM通信以报告可用资源,并按照RM的指示启动、停止或移动容器。每个节点可以运行一个或多个NM。

  3. ApplicationMaster(AM):AM是由提交到集群的应用程序创建的进程,负责协调应用程序的执行。它向RM注册并获取资源,然后与NM交互以启动任务。AM还负责监控任务的进度和容错。每个应用程序都有自己¥¥的AM。

  4. Container:Container是Yarn中的资源单位,表示在集群节点上分配给应用程序的一组资源,包括CPU、内存和网络等。

Yarn工作原理

Yarn的工作原理可以简要概括为以下几个步骤:

  1. 用户提交应用程序:用户将应用程序提交给RM。提交的应用程序包括代码和所需资源的描述,如应用程序类型、需要资源的数量和优先级等。

  2. RM接受并分配资源:RM接收到应用程序的请求后,将根据可用资源和调度策略为该应用程序分配资源。它会考虑集群中每个节点的资源情况,以及其他正在运行的应用程序的资源需求。

  3. 应用程序获取资源:一旦RM分配了资源,应用程序的AM将与NM通信,并请求启动容器。NM会为应用程序分配一个或多个容器,每个容器都包含所需的资源。

  4. 容器中运行任务:一旦容器分配成功,应用程序的AM将向NM发送任务的代码和其他必要的信息。NM会根据指令来启动任务,并在容器中执行。

  5. 监测和调度:RM和NM会定期交换信息,以保持对集群资源使用情况的更新。RM会监控应用程序的进度,并可以根据需要重分配资源。

  6. 完成和释放资源:一旦应用程序的任务完成,AM会向RM注册其完成状态。之后,RM会释放已分配给该应用程序的资源,以便其他应用程序使用。

整个过程中,Yarn提供了灵活的资源管理和调度功能,使得集群中的资源能够高效地利用。它允许多个应用程序同时运行,通过动态地分配和回收资源来满足不同应用程序的需求,并提供一致的任务监控和管理功能。这些特性使得Yarn成为大规模分布式计算任务的理想选择。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>