上海武汉阳网站建设免费域名注册官网

前言：

       基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。

该特性开发现状：

      最新版本2.8.x：

                       1.不支持标签表达式，如：&&,|,*

                       2.资源共享方式不实用，如：2.8.x的模式是labeled资源池向default资源池共享资源。

                       3.user-limit限制不可用，如：在队列中用户所能使用的资源不受当前活跃用户数限制。

                       4.BUG，如：队列可同时运行am限制计算错误，队列总资源显示错误

如何配置：

1.       在hdfs上创建用于保存label相关数据的目录（相关数据后期有Patch改为用zk存储）。

   1. hdfs dfs -mkdir /xxx/xxx/node-label/

   2. hdfs dfs -chown yarn:yarn /xxx/xxx/node-label/

   3. hdfs dfs -chmod 700 /xxx/xxx/node-label/

2.       在yarn-site.xml文件中配置：

   1. yarn.node-labels.enabled=true

   2. yarn.node-labels.fs-store.root-dir=/xxx/xxx/node-label

   3. yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

3.       配置capacity-scheduler.xml（后面详解）

如何管理标签：

       添加标签：

              yarn rmadmin -addToClusterNodeLabels "<label1>(exclusive=<true|false>),<label2>(exclusive=<true|false>)"

                        说明：exclusive是指该标签管理的资源是否允许分享资源给default分区的任务。

      查看添加的标签：

              yarn cluster --list-node-labels

      给机器添加标签：

              yarn rmadmin -replaceLabelsOnNode "<node1>:<port>=<label1> <node2>:<port>=<label2>"

                        说明：1.node1处必须填写域名。2.如果“=label1“处为空，即表示重设机器标签为空。3.port处为空，即表示设置该机器上所有nm的标签。

      删除标签：

                        yarn rmadmin -removeFromClusterNodeLabels "x","y"

配置capacity-scheduler.xml：

如何使用Node-label:

在Yarn中一共有4种方式设置Container的运行标签：

• 配置队列的默认标签（见上文配置）

• ApplicationSubmissionContext.setNodeLabelExpression();
  说明：设置作业所有的container运行的标签。

• ApplicationSubmissionContext.setAMContainerResourceRequest().setNodeLabelExpression()
  说明：设置AMContainer的运行标签

• ResourceRequest.setNodeLabelExpression()
  说明：设置最终向Capacityscheduler发送的RR的标签

说明：

      以上方式的优先级依次加强。

      具体以下表的形式（所有方式使用首字母缩写）：

资源模式：

• 非共享模式

• 
  
  说明：首先作业使用资源的原则是，提交时指定了标签则在对应标签运行，如果没有指定标签，则在空白标签运行。
            在非共享模式下，提交到空白标签里的作业如果需要资源，即使标签A,B中有剩余资源，也不能被使用。

• 共享模式

• 
  
  说明：在上文情况下，空白标签的作业可以使用标签A,B中的资源，当标签A,B中再次需要资源时，会抢占回被共享的那部分。

典型应用场景：

参考资料：

• https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html

• http://pivotalhd.docs.pivotal.io/docs/yarn-resource-management.html

• https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

• http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

• https://issues.apache.org/jira/browse/YARN-796

• https://wangda.live/2016/04/16/suggestions-about-how-to-better-use-yarn-node-label/

• https://issues.apache.org/jira/browse/YARN-5427