Platform For AI:SanityCheck：計算能力ヘルスチェック

コンソールを使用する

PAI コンソールで DLC トレーニングジョブを作成する 際、以下の重要なパラメーターを設定することでヘルスチェック機能を有効化できます。ジョブ作成後、システムはリソースの健全性と可用性をチェックするためにしばらく時間を要し、結果を提供します。

重要なパラメーターは次のとおりです。

• リソース情報 の構成：

  パラメーター	説明
  Resource Type	Lingjun Intelligence Resources を選択します。
  Source	Resource Quota を選択します。
  Resource Quota	Lingjun リソース用に作成済みのリソースクォータを選択します。リソースクォータの作成方法の詳細については、「リソースクォータの作成」をご参照ください。
  Framework	PyTorch を選択します。
  Job Resource	GPU 数はフルマシン構成と一致している必要があります。

• フォールトトレランスと診断 の構成：ヘルスチェック スイッチをオンにして、以下のパラメーターを設定します。

  パラメーター	説明
  Check Time	Before Job Runs (デフォルト)：ジョブがリソースを取得した後、コードが実行される前にトレーニングジョブの計算能力ノードに対して事前チェックが実施されます。 After Job Restarts：ジョブが異常終了した場合、AIMaster 自動フォールトトレランスによりジョブが再起動され、その後計算能力ヘルスチェックが実行されます。 説明 このオプションを選択する場合は、自動フォールトトレランス 機能を有効化する必要があります。詳細については、「AIMaster：エラスティックで自動フォールトトレランスエンジン」をご参照ください。
  Check Items	チェック項目には、計算パフォーマンスチェック、ノード通信チェック、計算・通信クロスチェック、モデルシミュレーション検証の 4 つの主要カテゴリが含まれます。チェック項目と推奨シナリオの詳細については、「付録：チェック項目の説明」をご参照ください。 デフォルトでは、GPU GEMM チェック (GPU GEMM パフォーマンスをチェック) および All-Reduce チェック (ノード通信パフォーマンスをチェックし、遅延または不良な通信ノードを特定) が有効になっています。 チェック項目を検索または選択するか、クイック構成を使用してワンクリックでチェック項目テンプレートを選択することもできます。
  Maximum Check Duration	ヘルスチェックの最大実行時間です。デフォルト値は 60 分です。チェックがタイムアウトした場合、例外処理ポリシーがトリガーされます。
  Exception Handling Policy	ヘルスチェックが失敗した場合、選択したポリシーに基づいてシステムがジョブに対して操作を実行します。 ジョブ終了：不良または疑わしいノードが検出された場合、ジョブは終了し、「チェック失敗」としてマークされます。 ブラックリスト登録と再実行：不良または疑わしいノードが検出された場合、システムは自動的にノードをブラックリストに登録し、ジョブを再起動してチェックを再実行し、パスするまで繰り返します。
  Maximum Restart Count	例外処理ポリシーが「ブラックリスト登録と再実行」に設定されている場合、最大再起動回数を設定できます。デフォルト値は 10 です。再起動回数がこの上限を超えた場合、ジョブは自動的に失敗します。
  Other Configurations	デフォルトでは空です。高度なパラメーター設定がサポートされています。

ヘルスチェックステータス

DLC ジョブのヘルスチェックステータスは次のとおりです。

• チェック中：計算能力ヘルスチェックが進行中です。

• チェック失敗：ヘルスチェック中に異常ノードが検出された場合、またはチェックがタイムアウトした場合、ステータスは「チェック失敗」に変化します。

• チェック成功：ヘルスチェックが成功すると、ジョブは「実行中」状態になります。

ヘルスチェック結果の確認