hadoop 工作流调度 hadoop yarn调度策略

您所在的位置:网站首页 yarn命令查看队列资源 hadoop 工作流调度 hadoop yarn调度策略

hadoop 工作流调度 hadoop yarn调度策略

2023-07-15 11:10| 来源: 网络整理| 查看: 265

现实中,由于资源是有限的,在一个繁忙的集群中,YARN应用发出的资源请求无法立刻满足,实际上一个应用经常需要等待才能得到所需的资源。YARN调度器的工作就是根据既定策略,为应用分配资源。 调度通常是一个难题,并且没有一个所谓最好的策略。于是YARN提供了多种调度器和可配置策略供我们选择使用。

调度选项

YARN中,提供了三种调度器供我们选择。

FIFO Scheduler (队列调度器)

队列调度器把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。

队列调度器是最简单的调度器,不需要任何配置,但它并不适用于共享集群。大的应用可能会占用所有集群资源,使用队列调度器就会导致其它应用被阻塞。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。

hadoop 工作流调度 hadoop yarn调度策略_调度器

capacity scheduler(容量调度器)

容量调度器,是apache版本默认使用的调度器。

它允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可以垂直划分,这样一个组织内部的多个成员就可以共享这个队列资源了,在一个队列内部,资源的调度是采用的是先进先出(FIFO)策略。

hadoop 工作流调度 hadoop yarn调度策略_YARN_02

Fair Scheduler(公平调度器)

CDH版本的hadoop默认使用的调度器是公平调度器。

它的设计目标是为所有的应用分配公平的资源(对公平的定义可以通过参数来设置)。公平调度在也可以在多个队列间工作。举个例子,假设有两个用户A和B,他们分别拥有一个队列。当A启动一个job而B没有任务时,A会获得全部集群资源;当B启动一个job后,A的job会继续运行,不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行,则它将会和B的第一个job共享B这个队列的资源,也就是B的两个job会用于四分之一的集群资源,而A的job仍然用于集群一半的资源,结果就是资源最终在两个用户之间平等的共享。

hadoop 工作流调度 hadoop yarn调度策略_ci_03

常用参数配置

使用哪种调度器需要配置yarn-site.xml当中的 yarn.resourcemanager.scheduler.class 这个属性的配置

container分配最小内存

yarn.scheduler.minimum-allocation-mb 1024 给应用程序container分配的最小内存

container分配最大内存

yarn.scheduler.maximum-allocation-mb 8192 给应用程序container分配的最大内存

每个container的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1 每个container默认给分配的最小的虚拟内核个数

每个container的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32 每个container可以分配的最大的虚拟内核的个数

nodeManager可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager可以分配的最大内存大小,默认8192Mb



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3