Container Service for Kubernetes:MPS を使用した GPU 共有スケジューリングおよび GPU メモリ隔離

ステップ 1：MPS コントロールデーモンコンポーネントのインストール

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、ストア > Marketplace をクリックします。

2. Marketplace で検索ボックスに ack-mps-control を入力し、検索結果に表示されたコンポーネントをクリックしてインストールページを開きます。

3. ack-mps-control のインストールインターフェイスで、デプロイ をクリックし、コンポーネントをデプロイする クラスター を選択して、次 をクリックします。

4. 作成する ページで、Chart バージョン を選択します。OK をクリックしてインストールを完了します。

   重要

   • MPS コントロールデーモンコンポーネント ack-mps-control のアンインストールまたはアップグレードは、ノード上で既に実行中の GPU アプリケーションに影響を与えます。これらのアプリケーションはエラーを出力して終了します。これらの操作は、トラフィックが少ない時間帯（オフピーク時）に実施してください。

   • アップグレード戦略は OnDelete です。システムはポッドを自動的に再起動しません。アップグレード後は、ack-mps-control DaemonSet 内の古いポッドを手動で削除して更新を完了します。詳細については、「MPS コントロールデーモンコンポーネントをアップグレードするには？」をご参照ください。

ステップ 2：共有 GPU コンポーネントのインストール

1. ACK コンソール にログインします。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。

2. クラスターリスト ページで、ご利用のクラスター名をクリックします。左側のナビゲーションウィンドウで、アプリケーション > クラウドネイティブ AI コンポーネントセット をクリックします。

3. [クラウドネイティブ AI コンポーネントセット] ページで、[デプロイ] をクリックします。

4. クラウドネイティブ AI コンポーネントセット の「今すぐデプロイ」ページで、スケジューリングポリシーの拡張 (一括タスクスケジューリング、GPU 共有、GPU トポロジ認識) を選択します。

5. クラウドネイティブ AI コンポーネントセット ページの下部にある クラウドネイティブ AI コンポーネントセットのデプロイ をクリックします。

   コンポーネントのインストールが正常に完了したら、クラウドネイティブ AI コンポーネントセット ページのコンポーネント一覧から、インストール済みの共有 GPU コンポーネント ack-ai-installer を確認できます。

ステップ 3：GPU 共有スケジューリングおよび GPU メモリ隔離の有効化

1. クラスターリスト ページで、ご利用のクラスター名をクリックします。左側のナビゲーションウィンドウで、ノード > ノードプール をクリックします。

2. ノードプール ページで、ノードプールの作成 をクリックします。

3. ノードプールの作成 ページで、ノードプールの設定を構成し、注文の確認 をクリックします。

   その他の設定の詳細については、「ノードプールの作成および管理」をご参照ください。

   設定	説明
   目的のノード数	ノードプール内のノードの初期数を設定します。 説明
   ノードラベル	をクリックして ノードラベル を追加し、キー に ack.node.gpu.schedule、値 に mps を設定します。 重要 MPS コントロールデーモンポッドをノード上にデプロイするには、各 GPU ノードに ack.node.gpu.schedule=mps のラベルを付与する必要があります。クラスターに共有 GPU スケジューリングコンポーネントが含まれている場合、ack.node.gpu.schedule=mps のラベルをノードに付与すると、当該ノード上で共有 GPU スケジューリングおよび MPS 隔離機能の両方が有効になります。

ステップ 4：サンプルアプリケーションのデプロイ

1. 以下の YAML ファイルを使用してサンプルアプリケーションを作成します。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: mps-sample
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: mps-sample
       spec:
         hostIPC: true  # 必須。設定しないとポッドの起動に失敗します。
         hostPID: true  # 任意。MPS の効果を確認するために追加しています。
         nodeSelector:
          kubernetes.io/hostname: <NODE_NAME> # <NODE_NAME> を、ラベル ack.node.gpu.schedule=mps が付与された GPU ノードのホスト名に置き換えます。例：cn-shanghai.192.0.2.109。
         containers:
         - name: mps-sample
           image: registry.cn-hangzhou.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=100000
           - --data_dir=tensorflow-sample-code/data
           resources:
             limits: 
               aliyun.com/gpu-mem: 7  # このポッドに 7 GiB の GPU メモリをリクエストします。
           workingDir: /root
         restartPolicy: Never

   重要

   ノードで MPS を有効化した後は、当該ノード上の GPU アプリケーションポッドで hostIPC: true を設定する必要があります。設定しないとポッドの起動に失敗します。

2. ポッドのステータスが Running になるまで待ちます。その後、以下のコマンドを実行して MPS がアクティブかどうかを確認します。

   kubectl exec -ti mps-sample-xxxxx --  nvidia-smi

   期待される出力：

   2025 年 5 月 27 日 火曜日 05:32:12       
   +---------------------------------------------------------------------------------------+
   | NVIDIA-SMI 535.161.07             Driver Version: 535.161.07   CUDA Version: 12.2     |
   |-----------------------------------------+----------------------+----------------------+
   | GPU  名前                 持続性モード | バスID        Disp.A | Volatile Uncorr. ECC |
   | ファン  温度   パフォーマンス   電力使用量/上限 |         メモリ使用量 | GPU 利用率  計算モード |
   |                                         |                      |               MIG M. |
   |=========================================+======================+======================|
   |   0  Tesla ****-****-****           On  | 00000000:00:09.0 Off |                    0 |
   | N/A   33C    P0              55W / 300W |    345MiB / 16384MiB |      0%   E. Process |
   |                                         |                      |                  N/A |
   +-----------------------------------------+----------------------+----------------------+
                                                                                            
   +---------------------------------------------------------------------------------------+
   | プロセス:                                                                            |
   |  GPU   GI   CI        PID   タイプ   プロセス名                            GPU メモリ |
   |        ID   ID                                                             使用量      |
   |=======================================================================================|
   |    0   N/A  N/A     14732      C   nvidia-cuda-mps-server                       30MiB |
   |    0   N/A  N/A    110312    M+C   python                                      312MiB |
   +---------------------------------------------------------------------------------------+

   出力結果より、nvidia-smi コマンドで mps-server が表示されていることが確認できます。ホスト上のプロセス ID は 14732 です。また、プロセス ID 110312 の Python プロセスが MPS 下で実行されていることも確認できます。これにより、MPS が正しく動作していることが確認されます。

MPS コントロールデーモンコンポーネントをアップグレードするには？

ack-mps-control v0.2.0 のアップグレードには、ack-ai-installer >= 1.13.1 が必要です。以下の順序で MPS コントロールデーモンコンポーネントをアップグレードしてください。

1. クラウドネイティブ AI コンポーネントセット ページのコンポーネント一覧で、共有 GPU スケジューリングコンポーネント ack-ai-installer の Helm バージョンをアップグレードします。

2. アプリケーション > Helm で、kube-system 名前空間を選択し、ack-mps-control コンポーネントの Helm バージョンをアップグレードします。

   アップグレード戦略は OnDelete です。システムはポッドを自動的に再起動しません。アップグレード後は、ack-mps-control DaemonSet 内の古いポッドを手動で削除して更新を完了します。

3. 各ノードに対して、ドレイン を実行し、スケジュール不可 にマークしたうえで、ack-mps-control ポッドを削除します。

   1. ノードを スケジュール不可 に設定し、ドレイン を実行します。

   2. 当該ノード上の ack-mps-control ポッドを削除します。

   3. 新しいポッドが正常に実行されることを確認します。

4. ack-ai-installer ポッドを削除して再起動します。

   ack-mps-control のアップグレードおよび関連ポッドの更新が確認できたら、ack-ai-installer ポッドを手動で削除してください。その後、自動的に再構築されます。

5. ノードを再びスケジュール可能にマークします。

   対象ノード上で ack-mps-control ポッドおよび ack-ai-installer ポッドが正常に実行されていることを確認した後、ノードをスケジュール可能にマークします。