GPU共有用のcGPUコンピューティングパワー割り当てポリシーを設定する方法 - Container Service for Kubernetes

GPU共有機能はACK Proクラスターで利用できます。 cGPUコンポーネントのポリシーを設定することで、さまざまなコンピューティングパワー割り当てポリシーを選択できます。このトピックでは、GPU共有の計算能力割り当てポリシーを設定する方法について説明します。

cGPUの詳細については、cGPUとは何ですか?

前提条件

ACK Proクラスターが作成され、クラスターのKubernetesバージョンは1.18.8以降です。 Kubernetesバージョンの更新方法の詳細については、「ACKクラスターの手動更新」をご参照ください。
cGPU 1.0.6以降が使用されます。 cGPUを更新する方法の詳細については、「ノードのcGPUバージョンの更新」をご参照ください。

cGPUコンポーネントをインストールする前にノードにcGPU分離モジュールがインストールされている場合は、ノードを再起動してcGPUポリシーを有効にする必要があります。詳細は、「インスタンスの再起動」をご参照ください。
説明
cGPU分離モジュールがノードにインストールされているかどうかを確認するには、ノードにログインし、cat /proc/cgpu_km/versionコマンドを実行します。システムがcGPUバージョン番号を返す場合、cGPU分離モジュールがインストールされます。
cGPU分離モジュールがインストールされていない場合、またはモジュールがアンインストールされている場合は、cGPUポリシーを有効にするためにモジュールをインストールする必要があります。
クラスターでGPU共有が有効になっているノードは、同じcGPUポリシーを使用します。

計算能力割り当てポリシーの設定に必要な操作は、cGPUコンポーネントがインストールされているかどうかによって異なります。コンピューティング能力割り当てポリシーを設定する前に、cGPUコンポーネントがインストールされているかどうかを確認する必要があります。

ACKコンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。
[クラスター] ページで、管理するクラスターの名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [ヘルム] を選択します。
On theヘルムページ、チェックかどうかack-ai-installerコンポーネントが存在します。
ack-ai-installerが存在する場合、cGPUコンポーネントがインストールされます。

次のセクションでは、cGPUコンポーネントがインストールされている場合と、コンポーネントがインストールされていない場合に、GPU共有用の計算能力割り当てポリシーを設定する方法について説明します。

ACKコンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。
[クラスター] ページで、管理するクラスターの名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [クラウドネイティブAIスイート] を選択します。
[クラウドネイティブAI Suite] ページで、[デプロイ] をクリックします。
[スケジューリング] セクションで、[スケジューリングポリシー拡張 (バッチタスクスケジューリング、GPU共有、トポロジ対応GPUスケジューリング)] を選択し、[詳細設定] をクリックします。

[パラメーター] ページで、[ポリシー] フィールドを変更し、[OK] をクリックします。次の表に、有効な値を示します。詳細については、「cGPUの使用例」をご参照ください。

値	説明
0	公正共有スケジューリング。各コンテナは、固定されたタイムスライスを占有する。タイムスライスの割合は`1/max_inst`である。
1	先制スケジューリング。各コンテナは、できるだけ多くのタイムスライスを占有する。タイムスライスの割合は、`1 /コンテナの数`である。
2	重みベースのプリエンプティブスケジューリング。 ALIYUN_COM_GPU_SCHD_WEIGHTが1より大きい値に設定されている場合、重みベースのプリエンプティブスケジューリングが使用されます。
3	固定パーセンテージスケジューリング。計算能力は一定の割合でスケジュールされます。
4	ソフトスケジューリング。プリエンプティブスケジューリングと比較して、ソフトスケジューリングはよりソフトな方法でGPUリソースを分離します。
5	組み込みのスケジューリング。 GPUドライバーの組み込みスケジューリングポリシー。

次のコマンドを実行して、cGPUコンポーネントのcGPU分離モジュールが実行されるDaemonSetを変更します。
```
kubectl edit daemonset cgpu-installer -nkube-system
```

cGPU分離モジュールが実行されるDaemonSetを変更し、変更を保存します。

でDaemonSetの画像バージョンを表示します。イメージフィールドを選択します。
イメージのバージョンが1.0.6以降であることを確認します。 imageフィールドの例:
```
 image: registry-vpc.cn-hongkong.aliyuncs.com/acs/cgpu-installer:<Image version>
```

変更します。Modify the値フィールドを選択します。

containers.envパラメーターで、POLICYキーのvalueフィールドを設定します。

#Other fields are omitted. 
spec:
  containers:
  - env:
    - name: POLICY
      value: "1"
#Other fields are omitted.

次の表に、valueフィールドの値を示します。

値	説明
0	公正共有スケジューリング。各コンテナは、固定されたタイムスライスを占有する。タイムスライスの割合は`1/max_inst`である。
1	先制スケジューリング。各コンテナは、できるだけ多くのタイムスライスを占有する。タイムスライスの割合は、`1 /コンテナの数`である。
2	重みベースのプリエンプティブスケジューリング。 ALIYUN_COM_GPU_SCHD_WEIGHTが1より大きい値に設定されている場合、重みベースのプリエンプティブスケジューリングが使用されます。
3	固定パーセンテージスケジューリング。計算能力は一定の割合でスケジュールされます。
4	ソフトスケジューリング。プリエンプティブスケジューリングと比較して、ソフトスケジューリングはよりソフトな方法でGPUリソースを分離します。
5	組み込みのスケジューリング。 GPUドライバーの組み込みスケジューリングポリシー。