Container Service for Kubernetes:スケジューリングの有効化

排他スケジューリング

GPU スケジューリングラベルのないノードは、デフォルトで排他スケジューリングを使用します。各 Pod は 1 つの完全な GPU カードを取得します。

以前に別のモードが有効になっていた場合、ラベルを削除しても排他スケジューリングは復元されません。元に戻すには、ラベル値を明示的に設定します： kubectl label node <NODE_NAME> ack.node.gpu.schedule=default --overwrite。

共有スケジューリング

共有スケジューリングは、ACK マネージドクラスター プロ版でのみ利用可能です。詳細については、「制限事項」をご参照ください。

ステップ 1： ack-ai-installer コンポーネントのインストール

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、対象クラスターの名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [クラウドネイティブ AI スイート] を選択します。

3. [クラウドネイティブ AI スイート] ページで、[デプロイ] をクリックします。[クラウドネイティブ AI スイートのデプロイ] ページで、[スケジューリングポリシー拡張 (バッチタスクスケジューリング、GPU 共有、トポロジー対応 GPU スケジューリング)] を選択します。

   cGPU サービスのコンピュートスケジューリングポリシーの設定に関する詳細については、「cGPU サービスのインストールと使用」をご参照ください。

4. [クラウドネイティブ AI スイートのデプロイ] をクリックします。[クラウドネイティブ AI スイート] ページで、インストール済みコンポーネントのリストに ack-ai-installer が表示されていることを確認します。

ステップ 2： ノードプールでの共有スケジューリングの有効化

1. [クラスター] ページで、クラスター名をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノードプール] を選択します。

2. [ノードプール] ページで、[ノードプールの作成] をクリックします。ノードラベルを設定し、[確認] をクリックします。他のフィールドはデフォルト値のままにします。ラベルの定義については、「スケジューリングラベルの概要」をご参照ください。

   • 基本共有スケジューリング: [ノードラベル] の横にある アイコンをクリックします。 [キー] を ack.node.gpu.schedule に、[値] を次のいずれかに設定します：cgpu、core_mem、share、または mps。 > [注意]: mps を使用するには、MPS Control Daemon コンポーネントが必要です。 詳細については、「MPS Control Daemon コンポーネントのインストール」をご参照ください。

   • 配置ポリシー (マルチ GPU ノードのみ): 2 つ目のラベルを追加します。 アイコンをクリックし、[キー] を ack.node.gpu.placement に設定し、[値] を binpack または spread に設定します。

ステップ 3： 共有スケジューリングが有効になっていることの確認

共有モードに対応するコマンドを実行します。<NODE_NAME> を対象ノードプール内のノードに置き換えます。

kubectl get nodes <NODE_NAME> -o yaml | grep -q "aliyun.com/gpu-mem"

aliyun.com/gpu-mem: "60"

kubectl get nodes <NODE_NAME> -o yaml | grep -E 'aliyun\.com/gpu-core\.percentage|aliyun\.com/gpu-mem'

aliyun.com/gpu-core.percentage:"80"
aliyun.com/gpu-mem:"6"

kubectl inspect cgpu

NAME                     IPADDRESS      GPU0(Allocated/Total)  GPU1(Allocated/Total)  GPU2(Allocated/Total)  GPU3(Allocated/Total)  GPU Memory(GiB)
cn-shanghai.192.0.2.109  192.0.2.109    15/15                  9/15                   0/15                   0/15                   24/60
--------------------------------------------------------------------------------------
Allocated/Total GPU Memory In Cluster:
24/60 (40%)

kubectl inspect cgpu

NAME                     IPADDRESS      GPU0(Allocated/Total)  GPU1(Allocated/Total)  GPU2(Allocated/Total)  GPU3(Allocated/Total)  GPU Memory(GiB)
cn-shanghai.192.0.2.109  192.0.2.109    4/15                   4/15                   0/15                   4/15                   12/60
--------------------------------------------------------------------------------------
Allocated/Total GPU Memory In Cluster:
12/60 (20%)

core_mem

ビンパック

展開

トポロジー対応スケジューリング

トポロジー対応スケジューリングは、ACK マネージドクラスター プロ版でのみ利用可能です。バージョン要件については、「システムコンポーネントのバージョン要件」をご参照ください。

1. ack-ai-installer コンポーネントをインストールします。

2. 対象ノードにトポロジーラベルを追加します：

   ノードでトポロジー対応スケジューリングを有効にすると、そのノードはトポロジー非対応の GPU ワークロードを受け入れなくなります。排他スケジューリングを復元するには、次のコマンドを実行します： kubectl label node <NODE_NAME> ack.node.gpu.schedule=default --overwrite。

   kubectl label node <NODE_NAME> ack.node.gpu.schedule=topology

3. トポロジー対応スケジューリングが有効になっていることを確認します：

   kubectl get nodes <NODE_NAME> -o yaml | grep aliyun.com/gpu

   期待される出力：

   aliyun.com/gpu: "2"

   aliyun.com/gpu フィールドの値が 0 以外の場合、トポロジー対応スケジューリングがアクティブであることを示します。

カードモデルスケジューリング

カードモデルスケジューリングは、ノードラベルと Kubernetes のノードアフィニティルールを使用して、ジョブを特定の GPU ハードウェアに固定したり、そこから遠ざけたりします。

ステップ 1： ノードの GPU カードモデルを確認する

kubectl get nodes -L aliyun.accelerator/nvidia_name

NVIDIA_NAME 列は、各ノードの GPU モデルを示します：

NAME                        STATUS   ROLES    AGE   VERSION            NVIDIA_NAME
cn-shanghai.192.XX.XX.176   Ready    <none>   17d   v1.26.3-aliyun.1   Tesla-V100-SXM2-32GB
cn-shanghai.192.XX.XX.177   Ready    <none>   17d   v1.26.3-aliyun.1   Tesla-V100-SXM2-32GB

ステップ 2： カードモデルスケジューリングでジョブを作成する

ACK コンソールで、[ワークロード] > [ジョブ] に移動し、[YAML から作成] をクリックします。以下の両方の例では、aliyun.accelerator/nvidia_name ラベルを使用して GPU モデルの選択を制御します。

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-mnist
spec:
  parallelism: 1
  template:
    metadata:
      labels:
        app: tensorflow-mnist
    spec:
      nodeSelector:
        aliyun.accelerator/nvidia_name: "Tesla-V100-SXM2-32GB" # アプリケーションを Tesla V100-SXM2-32GB GPU で実行します。
      containers:
      - name: tensorflow-mnist
        image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
        command:
        - python
        - tensorflow-sample-code/tfjob/docker/mnist/main.py
        - --max_steps=1000
        - --data_dir=tensorflow-sample-code/data
        resources:
          limits:
            nvidia.com/gpu: 1
        workingDir: /root
      restartPolicy: Never

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-mnist
spec:
  parallelism: 1
  template:
    metadata:
      labels:
        app: tensorflow-mnist
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: aliyun.accelerator/nvidia_name  # カードモデルスケジューリングラベル
                operator: NotIn
                values:
                - "Tesla-V100-SXM2-32GB"            # Pod が Tesla-V100-SXM2-32GB カードを持つノードにスケジューリングされるのを防ぎます。
      containers:
      - name: tensorflow-mnist
        image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
        command:
        - python
        - tensorflow-sample-code/tfjob/docker/mnist/main.py
        - --max_steps=1000
        - --data_dir=tensorflow-sample-code/data
        resources:
          limits:
            nvidia.com/gpu: 1
        workingDir: /root
      restartPolicy: Never

カード モデルを除外する