すべてのプロダクト
Search

このプロダクト

    Platform For AI:SanityCheck：コンピューティングリソースのヘルスチェック

    ドキュメントセンター

    Platform For AI:SanityCheck：コンピューティングリソースのヘルスチェック

    最終更新日:Sep 11, 2026

    このトピックでは、DLC の SanityCheck 機能の使用方法について説明します。

    概要

    AI トレーニングのシナリオでは、次のような問題が発生することがあります。

    • リソース障害によるジョブの中断と GPU リソースの浪費：ジョブは、モデルチェックポイントの読み込みなどの初期化に多くの時間を費やしたにもかかわらず、障害のあるリソースが原因で失敗することがあります。問題の調査とジョブの再送信は、GPU リソースの浪費につながります。

    • パフォーマンス診断とテストのためのツールが不十分：ジョブの実行中にモデルのトレーニングパフォーマンスが低下した場合、低速ノードが原因である可能性がありますが、迅速に特定することは困難です。さらに、ユーザーは多くの場合、リソースグループ内のマシンの GPU コンピューティングと通信のパフォーマンスをテストするための、便利で信頼性の高いベンチマークを持ち合わせていません。

    これらの問題に対処するため、DLC は分散トレーニングジョブのコンピューティングリソースのヘルス状態とパフォーマンスをチェックする SanityCheck 機能を提供します。この機能は、DLC トレーニングジョブを作成する際に有効にできます。SanityCheck は、トレーニングリソースに対して包括的なチェックを実行し、障害のあるノードを自動的に分離し、自動化されたバックエンドのメンテナンスワークフローをトリガーします。このプロセスは、トレーニングの初期段階で問題が発生する可能性を低減し、ジョブの成功率を向上させます。チェックが完了すると、SanityCheck は GPU のコンピューティングと通信のパフォーマンスに関するレポートを生成します。このレポートは、トレーニングのパフォーマンスを低下させる可能性のある要因を特定するのに役立ち、全体的な診断効率を向上させます。

    制限事項

    現在、この機能は Lingjun インテリジェントコンピューティングリソースを使用する PyTorch トレーニングジョブでのみ利用可能です。これらのジョブは、割り当てられた各マシン上のすべての GPU を使用する必要があります。Lingjun インテリジェントコンピューティングリソースは、許可リストに登録されたユーザーのみが利用できます。アクセスをリクエストするには、アカウントマネージャーにお問い合わせください。

    ヘルスチェックの有効化

    コンソールの使用

    PAI コンソールで DLC トレーニングジョブを作成する際に、以下のキーパラメーターを設定することでヘルスチェックを有効にできます。ジョブの作成後、システムは結果を提供する前にリソースの正常性と可用性をチェックします。

    主要なパラメーターは次のとおりです：

    • [Resource Information] セクション：

      パラメーター

      説明

      リソースタイプ

      Lingjun AI 計算 を選択します。

      リソースソース

      リソースクォータ を選択します。

      リソースクォータ

      Lingjun インテリジェントコンピューティングリソースの既存のリソースクォータを選択します。リソースクォータの作成方法については、「リソースクォータの作成」をご参照ください。

      フレーム

      PyTorch を選択します。

      タスクリソース

      ジョブは、各マシン上のすべての GPU を使用するように設定する必要があります。

    • [Fault Tolerance and Diagnosis] セクションで、[Health Check] スイッチをオンにし、次のパラメーターを設定します。

      パラメーター

      説明

      検出タイミング

      • タスク実行前 (デフォルト)：ジョブの初回実行前、およびその後の各再起動後にチェックを実行します。

      • 障害発生後：AIMaster の自動フォールトトレランスが例外によりジョブを再起動した後に、ヘルスチェックを実行します。

        説明

        このオプションを使用するには、[Automatic Fault Tolerance] スイッチをオンにする必要があります。詳細については、「AIMaster：弾力性のある自動フォールトトレランスエンジン」をご参照ください。

      • [Before Job Runs + After Job Restarts]：ジョブの実行前と再起動後の両方でヘルスチェックを実行します。

        説明

        このオプションを使用するには、[Automatic Fault Tolerance] スイッチをオンにする必要があります。詳細については、「AIMaster：弾力性のある自動フォールトトレランスエンジン」をご参照ください。

      確認項目

      チェック項目は、コンピューティングパフォーマンスチェック、ノード通信チェック、コンピューティングと通信のオーバーラップチェック、モデルシミュレーション検証の 4 つのカテゴリに分かれています。チェック項目と推奨シナリオの詳細については、「付録：チェック項目」をご参照ください。

      • デフォルトでは、GPU GEMM (GPU GEMM のパフォーマンスをチェックするため) と All-Reduce (ノードの通信パフォーマンスをチェックし、低速または障害のあるノードを特定するため) が有効になっています。

      • リストからチェック項目を検索または選択できます。また、クイック設定テンプレートを使用して、事前定義されたチェック項目のセットを選択することもできます。

      最大検出時間

      ヘルスチェックに許容される最大時間。デフォルトは 60 分です。チェックがタイムアウトした場合、システムはチェック例外を処理するために設定されたポリシーをトリガーします。

      検出処理ポリシー

      ヘルスチェックが失敗した場合、システムは選択されたポリシーに従ってジョブを処理します。

      • [End job]：障害のあるノードまたは疑わしいノードが特定された場合、ジョブは終了し、Check Failed とマークされます。

      • [Add to blocklist and rerun]：障害のあるノードまたは疑わしいノードが特定された場合、システムは自動的にそのノードをブロックリストに追加し、ジョブを再起動し、すべてのチェックが合格するまでチェックを再実行します。

      最大再起動回数検出

      処理ポリシーが [Add to blocklist and rerun] に設定されている場合、最大再起動回数を設定できます。デフォルト値は 10 です。最大再起動回数を超えた場合、タスクは自動的に失敗します。

      その他の検出設定

      このパラメーターはデフォルトでは空です。このパラメーターを使用して高度なパラメーターを設定できます。

    チェック結果の表示

    ヘルスチェックのステータス

    DLC ジョブのヘルスチェックプロセスには、次のステータスが含まれます：

    • [Checking]：ヘルスチェックが進行中です。

    • [Check Failed]：障害のあるノードが検出された場合、またはチェックがタイムアウトした場合にチェックは失敗します。

    • [Check Passed]：すべてのヘルスチェックが合格すると、ジョブのステータスは [Running] に変わります。

    ヘルスチェック結果の表示

    コンソールの使用

    DLC ジョブの詳細ページで、イベント タブに移動し、[Health Check] をクリックしてチェックの進行状況と結果を表示します。

    ヘルスチェックには、[Preparing Check Environment]、[GPU GEMM]、[GPU Kernel Launch]、[All-Reduce-Single-Node]、[MatMul/All-Reduce Overlap]、[Mini GPT-Single-Node] などの項目が含まれます。緑色のチェックマークは、項目が合格したことを示します。

    [Restart History] タブをクリックして、再起動回数、再起動の理由、および結果を表示します。

    メッセージ通知の設定

    PAI ワークスペースのイベント通知設定で通知ルールを作成できます。イベントタイプ には、DLC ジョブ > タスク自動フォールトトレランス を選択します。他のパラメーターの設定方法については、「メッセージ通知」をご参照ください。ヘルスチェックが失敗した場合、システムは通知を送信します。

    説明

    ワークスペースでメッセージ通知ルールを作成する手順については、「イベント通知設定」をご参照ください。

    付録：チェック項目

    説明

    推定チェック期間は 2 台のマシン構成に基づいており、参照用です。実際の時間は異なる場合があります。

    チェック項目

    説明 (シナリオ)

    推定期間

    コンピューティングパフォーマンスチェック

    GPU GEMM

    GPU GEMM のパフォーマンスをテストします。このチェックで特定できる項目：

    • 障害のある GPU：コンピューティングエラーまたはハング。

    • 低速ノード：低いコンピューティング TFLOPS。

    1 分

    GPU Kernel Launch

    GPU カーネル起動のレイテンシーをテストします。このチェックで特定できる項目：

    • 障害のあるノード：カーネル起動エラーまたはハング。

    • 低速ノード：高いカーネル起動レイテンシー。

    1 分

    ノード通信チェック

    All-Reduce

    ノードの通信パフォーマンスをテストし、低速または障害のある通信ノードを特定します。さまざまな集団通信パターンについて、次の項目を特定します。

    • 障害のある通信ノード：通信エラーまたはハング。

    • 低速通信ノード：低い通信帯域幅。

    単一の集団通信チェック

    5 分

    All-to-All

    All-Gather

    Multi-All-Reduce

    Network Connectivity

    ヘッドノードまたはテールノードのネットワーク接続性をテストし、接続に問題のあるノードを特定します。

    2 分

    コンピューティングと通信のオーバーラップチェック

    MatMul/All-Reduce Overlap

    通信カーネルとコンピューティングカーネルがオーバーラップする場合の単一ノードのパフォーマンスをテストします。このチェックで特定できる項目：

    • 障害のあるノード：オーバーラップ計算エラーまたはハング。

    • 低速ノード：オーバーラップ計算の高いレイテンシー。

    1 分

    モデルシミュレーション検証

    Mini GPT

    モデルシミュレーションを使用して AI システムの信頼性を検証します。特定できる項目：

    • 障害のあるノード：トレーニング損失の異常、トレーニングのハング、またはトレーニングエラー。

    • 低速ノード：トレーニングステップあたりの高いレイテンシー。

    1 分

    Megatron GPT

    5 分

    ResNet

    2 分