遊休リソースを使用することで、DLC ジョブは他のリソースクォータの予備キャパシティを活用し、既存のワークロードに影響を与えることなく、全体的なリソース使用率を向上させ、トレーニングコストを削減できます。
仕組み
PAI プラットフォームでは、各チームが独自のクォータを通じてトレーニング ジョブを送信します。一部のクォータは特定の期間中にアイドル状態になる一方で、他のチームはリソースの待機状態になることがあります。遊休リソースは、DLC ジョブが他のクォータの予備キャパシティを使用できるようにすることで、この問題を解決します。
遊休リソースの動作:
-
汎用コンピューティングクォータに送信された遊休ジョブは、そのクォータ内の予備リソースを使用できます。Lingjun AI 計算クォータに送信された遊休ジョブは、同一テナント配下のすべてのクォータにおける同一仕様の予備リソースを使用できます。
-
遊休ジョブは、関連付けられたクォータの総リソース容量に制限されません。現在のクォータまたは他のクォータの予備リソースを使用できます。
-
元のクォータがスケジュール済みジョブのためにリソースを回収する場合、遊休ジョブは自動的に終了し、リソースが解放されます。
-
AIMaster および EasyCKPT と併用すると、遊休ジョブはプリエンプション後に進行状況を自動的に保存して再開できるため、計算リソースの無駄を回避できます。
前提条件
ワークスペースに紐付けられたプリペイドリソースクォータ (汎用コンピューティングまたは Lingjun AI 計算) が必要です。詳細については、「概要」をご参照ください。
遊休リソースを使用した DLC ジョブの送信
-
コンソールで DLC トレーニングジョブを送信する際は、リソース情報 セクションで [Lingjun インテリジェントコンピューティングリソース] または [汎用コンピューティングリソース] のリソースクォータを選択した後、遊休リソース を設定します。 次の表では、主要なパラメーターについて説明します。 詳細については、「トレーニングジョブの作成」をご参照ください。
パラメーター
説明
[リソースタイプ]
[汎用コンピューティングリソース] または [Lingjun インテリジェントコンピューティングリソース] を選択します。
説明[Lingjun インテリジェントコンピューティングリソース] は、高性能 AI トレーニング向けに設計されています。
[リソースのソース]
リソースタイプ を選択します。
[遊休リソース]
有効な値:
-
[許容]: ジョブは、テナント配下のすべてのクォータからの遊休リソース、または選択されたクォータのうち、先にデキューされた方を使用できます。
-
[~のみ受け付け]: ジョブはアイドルリソースのみを使用します。
遊休リソース上で実行されるジョブは、リソースが回収される際に中断される可能性があります。プリエンプション後にジョブを再開できるよう、コードにチェックポイントメカニズムを含めてください。詳細については、「EasyCKPT」をご参照ください。
許容 を選択し、ジョブが選択されたクォータ自身のコンピューティングリソースを使用して開始された場合、通常の保証付きジョブとして実行され、プリエンプションの対象外となります。
[Automatic Fault Tolerance]
アイドルタイムジョブはプリエンプトされる可能性があります。自動フォールトトレランス を有効にすると、リソースが回収されたときに、システムが自動的に新しいリソースを検出してジョブを再実行します。設定の詳細については、「AIMaster: 弾力性のある自動フォールトトレランスエンジン」をご参照ください。
[自動耐障害性] スイッチをオンにして [設定変更] をクリックすると、右側に設定パネルが開きます。次のパラメーターを設定します。
-
[実行タイプ]: [同期ジョブ] または [非同期ジョブ] を選択します。
-
[最大ジョブ再起動回数]: たとえば、3 に設定します。
-
[ハング検出]: 必要に応じて有効または無効にできます。
-
[耐障害性ポリシー]:
ExitCodeAndErrorMsgなどのポリシーを選択します。 -
[その他の設定]: 必要に応じて設定します。
-
-
DLC ジョブのリソース使用状況の詳細を確認します。
-
ジョブ リストまたはジョブ詳細ページで、リソース使用状況を確認します。
ジョブリストの [アイドル状態のリソース] 列で、[クォータ内] または [クォータ外] と表示されるリソース使用状況を確認できます。
-
[In Quota]:ジョブは関連付けられたクォータのリソースを使用しています。
-
[Not in Quota]:ジョブは遊休共有リソースを使用しています。
-
-
遊休ジョブが共有リソース上で実行されている場合、ノード名は表示されません。
-
ジョブが使用するアイドルタイムリソースがプリエンプトされると、ジョブ詳細ページのインスタンス (ポッド) のステータスはプリエンプト済みと表示されます。
貸し出し元クォータが新しいジョブをスケジュールする必要があるものの十分なリソースがない場合、システムは遊休リソースを回収してそのジョブを優先します。その後、システムはインスタンス ステータスをリソースプリエンプトとしてマークします。
-
関連ドキュメント
遊休ジョブはプリエンプトされる可能性があります。プリエンプション後にジョブを自動的に再開するには、「AIMaster:弾力性のある自動フォールトトレランスエンジン」を有効にしてください。ジョブがプリエンプトされた際のトレーニング進行状況の損失を最小限に抑えるには、「EasyCKPT」を使用してください。