Container Service for Kubernetes:アプリケーション配布の概要

ワークロードの静的重みと動的重みに基づくスケジューリング

マルチクラスタアプリケーションスケジューリングシナリオでは、ACK One Fleet インスタンスは、配布ポリシーに基づいて ポッド レプリカを複数のクラスタにスケジュールします。 以下の配布ポリシーがサポートされています。

• 静的重みに基づく配布ポリシー: クラスタ管理者は、ポリシーで関連付けられたクラスタに静的重みを指定できます。 スケジューラは、指定された重みに基づいて、特定の数の ポッド レプリカをクラスタにスケジュールします。 静的重みに基づく配布ポリシーの設定方法の詳細については、「replicaScheduling」をご参照ください。

• 動的重みに基づく配布ポリシー: スケジューラは、クラスタで使用可能なリソース量に基づいて、各関連付けられたクラスタがホストできる ポッド の数を計算することにより、クラスタの動的重みを生成します。 スケジューラは、動的重みに基づいて、特定の数の ポッド レプリカをクラスタにスケジュールします。 動的重みに基づく配布ポリシーの設定方法の詳細については、「動的配布とデスケジューリング」をご参照ください。

デスケジューリング

マルチクラスタアプリケーションスケジューリングシナリオでは、各関連付けられたクラスタで使用可能なリソース量は動的に変化します。 その結果、ポッド の優先順位が低い、リソースが不足しているなどの理由で、ポッド をクラスタにスケジュールできない場合があります。 ポッド が関連付けられたクラスタにスケジュールできない場合、デスケジューラは ポッド を別のクラスタに再度スケジュールして、ポッド が正常に実行できるようにします。 デスケジューリングはデフォルトで有効になっています。 デスケジューリングの検証方法の詳細については、「デスケジューリングの検証」をご参照ください。

アプリケーションレベルのフェールオーバー

マルチクラスタアプリケーションスケジューリングシナリオでは、オンラインサービスとオフラインサービスを同じクラスタに配置することで、リソース使用率を向上させることができます。 オンラインサービスがオフラインサービスの影響を受けないようにするには、オフラインサービスにオンラインサービスよりも低い優先順位を割り当てるか、プリエンプティブル インスタンスでオフラインサービスを実行します。 この場合、ノードの例外、優先順位の高い ポッド によるリソースのプリエンプション、プリエンプティブル インスタンスの解放などの理由で、オフラインサービスの実行が停止する場合があります。

前述の問題に対処するために、ACK One Fleet インスタンスはアプリケーションレベルのフェールオーバーをサポートしています。 ジョブ または タスク の実行が停止すると、アプリケーションレベルのフェールオーバー機能によって、ジョブ または タスク が別のクラスタに自動的に移行されます。 詳細については、「Fleet インスタンスで Kube Queue を使用し、ギャングスケジューリングを使用して PyTorchJob をスケジュールする方法」をご参照ください。

マルチクラスタギャングスケジューリング

ギャングスケジューリングは、関連する ポッド のグループが同時にスケジュールされることを保証します。 スケジューリング要件が満たされない場合、ポッド はスケジュールされません。 ギャングスケジューリングは、all-or-nothing シナリオでのジョブ スケジューリングのソリューションを提供します。 マルチクラスタアプリケーション配布シナリオでは、マルチクラスタギャングスケジューリングは、リソースの事前割り当てまたは動的リソースチェックを使用して、関連する ポッド のグループを同じクラスタにスケジュールします。

PyTorch および TensorFlow トレーニングジョブはマスターワーカーアーキテクチャを使用し、Spark ジョブ はドライバエグゼキュータアーキテクチャを使用します。 複数のノードで複数の GPU を使用する PyTorch または TensorFlow トレーニングジョブを実行する場合、または Spark ジョブ を実行する場合は、マルチクラスタギャングスケジューリング機能を使用して、ジョブ の ポッド を同じクラスタにスケジュールできます。 これにより、マスター ポッド とワーカー間、およびドライバ ポッド とエグゼキュータ ポッド 間の通信を確保できます。

マルチクラスタギャングスケジューリング、デスケジューリング、およびアプリケーションレベルのフェールオーバー機能により、ACK One Fleet インスタンスは、AI ジョブ を十分なリソースを提供するクラスタにスケジュールし、正常に実行できるようにします。 詳細については、「ジョブ 配布」をご参照ください。