容器服务 Kubernetes 版 ACK：GPU节点卡型及调度标签说明

使用kubectl label nodes或通过控制台节点标签管理功能切换标签值存在的问题

当一个GPU节点从一种GPU资源调度能力A切换到另一种GPU资源调度能力B时，直接使用kubectl label nodes命令切换节点GPU调度属性标签值，或在容器服务管理控制台的节点页面使用标签管理功能切换节点标签，可能引发以下问题。

• 该GPU节点上可能还存在使用GPU资源的应用，这些应用是以A方式申请的GPU资源。节点的能力由A切换到B以后，调度器维护该节点GPU资源的账本也会发生变化，导致节点上已经申请GPU资源的应用被遗漏。此时，调度器对该节点上的GPU资源账本与节点上实际分配的GPU资源情况不一致，导致GPU应用之间相互影响。

• 某些能力是需要在节点上设置一些配置，当使用kubectl label nodes或通过控制台节点标签管理功能切换节点标签值时，系统并不会重置节点上先前的配置，可能造成GPU节点启用的新的GPU资源调度能力失败。

建议您使用节点池划分GPU资源调度能力来解决以上问题。

基于节点池划分GPU资源调度能力

假设现在您的一个集群需要同时使用GPU资源调度能力中的“共享GPU调度（仅显存隔离）”和“共享GPU调度（显存隔离和算力限制）”。那么可以在这个集群中创建两个节点池：

• 节点池A：用于管理仅支持显存隔离的节点。

• 节点池B：用于管理支持显存隔离和算力限制的节点。

同时如果一个GPU节点需要从一种GPU资源调度能力（例如图中节点池A）切换到另一种GPU资源调度能力（例如图中节点池B），需要将该节点从节点池A中移除，然后再将该节点添加到节点池B中。详细操作，请参见移除节点和添加已有节点。

手动切换节点GPU资源调度能力

除了通过节点池划分GPU资源调度能力外，您还可以选择手动切换。手动切换的步骤相对复杂，下面将详细说明节点状态的流转及相关操作：

1. 节点下线：先将节点置为不可调度，不让节点接收新的Pod。

2. 排空节点：排空节点上的已有运行Pod。

3. 登录节点进行重置操作：登录到节点，进行重置操作。重置操作因不同的标签值而有所不同。详细信息，请参见标签配置重置。

4. 切换节点标签：进行重置操作以后，可以使用kubectl label给节点打上对应标签。

5. 节点上线：标签打完后，上线节点。

标签配置重置

使业务运行在指定卡型上

利用上述GPU属性标签，可以让您的业务运行在指定卡型的节点上，以下为举例说明。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 任务。

3. 在任务页面右上角，单击使用YAML创建资源。使用如下示例创建应用。

   展开查看YAML文件详细信息

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-mnist
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-mnist
       spec:
         nodeSelector:
           aliyun.accelerator/nvidia_name: "Tesla-V100-SXM2-32GB" # 使该应用运行在Tesla V100-SXM2-32GB上。
         containers:
         - name: tensorflow-mnist
           image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=1000
           - --data_dir=tensorflow-sample-code/data
           resources:
             limits:
               nvidia.com/gpu: 1
           workingDir: /root
         restartPolicy: Never

   创建成功后，您可以在左侧导航栏中选择工作负载 > 容器组。在容器组列表中，您可看到一个示例Pod（容器组）成功调度到对应的节点上，从而实现基于GPU节点标签的灵活调度。

避免业务运行在某些卡型上

您可以利用节点亲和性与反亲和性避免让业务运行在某些卡型上，以下为举例说明。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 任务。

3. 在任务页面右上角，单击使用YAML创建资源。使用如下示例创建应用。

   展开查看YAML文件详细信息

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-mnist
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-mnist
       spec:
         affinity:
           nodeAffinity:
             requiredDuringSchedulingIgnoredDuringExecution:
               nodeSelectorTerms:
               - matchExpressions:
                 - key: aliyun.accelerator/nvidia_name  # 避免Pod调度到卡型为NVIDIA T4上。
                   operator: NotIn
                   values:
                   - "T4"
         containers:
         - name: tensorflow-mnist
           image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=1000
           - --data_dir=tensorflow-sample-code/data
           resources:
             limits:
               nvidia.com/gpu: 1
           workingDir: /root
         restartPolicy: Never

   创建成功后，应用不会调度到标签键为aliyun.accelerator/nvidia_name且对应值为T4的节点，但允许调度到拥有该标签键值为其他的GPU节点。