Platform For AI:スケジューリングポリシー

FIFO (First In, First Out)

キューの先頭のジョブがデキューできない場合、スケジューラはスキップせずにリトライします。キュー内の後続のすべてのジョブは、ブロックされたジョブがデキューされるまで待機します。

使用する状況: 厳密な順序付けが重要であり、ジョブがバイパスされるべきではないワークロード。たとえば、後続のジョブが先行するジョブの出力に依存する、依存関係のあるトレーニングパイプラインなどです。

ラウンドロビン

キューの先頭のジョブがデキューできない場合、スケジューラはそれをスキップし、後続のジョブをシーケンスでデキューしようとします。

使用する状況: 順序付けよりもスループットが重要な混合ワークロード。キューの先頭でブロックされたジョブが、他の準備完了ジョブを停止させることはありません。

バランス

バランスは FIFO の動作から始まり、ジョブがタイムアウトを超えると、スケジューリングウィンドウを徐々にラウンドロビンに拡張します。

1. フェーズ 1 — FIFO リトライ: キューの先頭のジョブがデキューできない場合、スケジューラはスキップせずにリトライします。

2. フェーズ 2 — ラウンドロビンへの拡張: ジョブがタイムアウト (通常は数分) 後もデキューされていない場合、スケジューラはキュー内の最初の2つのジョブにラウンドロビンを適用します。

3. フェーズ 3 — 段階的な拡張: 2番目のジョブもタイムアウトした場合、スケジューラはラウンドロビンを最初の3つのジョブに拡張します。ウィンドウは同様の方法で拡大し続けます。

使用する状況: 長時間ジョブと短時間ジョブが混在する汎用キュー。バランスは、高優先度ジョブがすぐにバイパスされるのを防ぎつつ、単一のブロックされたジョブがキューの残りを無期限に停止させるのを防ぎます。

インテリジェント

インテリジェントは、各ジョブの優先度に基づいて異なるポリシーを適用します。

• 優先度 >= 7: FIFO を使用してスケジューリングされます — 高優先度ジョブはスキップされません。

• 優先度 < 7: ラウンドロビンを使用してスケジューリングされます。各待機ジョブの優先度は、キュー時間に基づいて1ずつ増加し、6に達するまで上昇するため、無期限のスタベーションを防ぎます。

上図では、Item1 と Item2 の優先度は >= 7 であり、Item3 から N の優先度は < 7 です。

使用する状況: クリティカルジョブとバッチジョブが明確に区別されているキュー。本番環境または時間制約のあるジョブには優先度 >= 7 を割り当て、バッチまたは開発ワークロードには低い優先度を割り当てます。