すべてのプロダクト
Search

このプロダクト

    Platform For AI:トレーニングジョブの詳細

    ドキュメントセンター

    Platform For AI:トレーニングジョブの詳細

    最終更新日:Sep 10, 2026

    トレーニングジョブを送信した後、ジョブの基本情報、イベント、リソースビュー、ログを確認して、ジョブの実行ステータスの全体像を把握できます。ジョブ名または ID で検索でき、実行中のインスタンスと履歴のインスタンスをすばやく切り替えられます。

    ジョブの基本情報と設定

    1. PAI コンソールにログインし、ページ上部でリージョンを選択し、右側でワークスペースを選択してから、[Enter DLC] をクリックします。

    2. ジョブ名をクリックして、ジョブの概要ページに移動します。

    3. 概要 ページで、ジョブの基本情報、環境情報、リソース情報を確認できます。

      概要ページの上部には、ジョブのステータス ([Succeeded] など) 、経過時間、コンピューティングタイプ ([General Compute] など) 、ジョブタイプ ([PyTorchJob] など) 、リソースグループが表示されます。また、ジョブ作成から環境準備、ジョブ実行、ジョブ成功までの各フェーズを示すタイムラインも表示されます。基本情報には、ジョブ名、ジョブ ID、タグが含まれます。リソース情報には、リソースタイプ、ワーカー数、インスタンスタイプ (ecs.gn7i-c8g1.2xlarge など) が含まれます。環境情報には、ノードイメージ URL、データセットのマウント設定、実行コマンドが含まれます。さらに、このページには [Fault Tolerance and Diagnostics] (自動フォールトトレランス、ヘルスチェックスイッチ) 、[Network Information] (VPC、セキュリティグループ、vSwitch など) 、[Roles and Permissions] (インスタンス RAM ロール、表示範囲) などの設定セクションも含まれます。

    4. ページ上部のジョブ名をクリックして、ジョブの切り替えリストを展開します。このリストは、名前または ID によるあいまい検索に対応しており、実行中のインスタンスと履歴のインスタンスをすばやく切り替えられます。

    ジョブイベント

    イベントログには、ジョブのスケジューリングおよびリソース割り当ての進捗が記録されます。ジョブイベントを確認して、問題の特定とトラブルシューティングを行えます。

    • イベント タブをクリックして、ジョブのイベントログを表示します。

      [Events] タブの左側にはイベントタイムラインがあり、[Start creation]、[Environment preparation]、[Start running]、[Job success] などのフェーズノードと、それぞれに対応する時間範囲が表示されます。右側はイベントログパネルで、[Job queued]、[Job dequeued]、[Pod created]、[Service created]、[Scheduling succeeded]、[Running]、[Succeeded] など、PyTorchJob のライフサイクルイベントの詳細が記録されます。

    • インスタンス ページ下部の 概要 エリアで、インスタンスの 操作 列で ログ をクリックし、システムログ タブで特定ノードのイベントログを表示します。

      システムログには、Pod の完全なライフサイクルイベント (ステータス遷移：[ResourcePurchasing] → [NetworkInitializing] → [Initializing] → [ImagePulling] → [WaitingForRun] → [Running] → [Succeeded]) 、イメージプルの記録、コンテナの作成や起動などのノードイベントが記録されます。

    リソースビュー

    リソースビューには、GPU 使用率、GPU メモリ使用率、CPU 使用率、メモリ使用率、ネットワーク I/O などのメトリクスが表示されます。これにより、リソース使用状況をリアルタイムに監視し、リソース割り当てを最適化できます。

    モニタリング タブをクリックして、ジョブのリソースビューを表示します。

    リソースクォータを使用して作成したトレーニングジョブでは、次の監視機能も利用できます：

    1. 監視メトリクスは、[Job]、[Pod]、[GPU] レベルで確認できます。

      監視ページの上部には、[Job creation]、[Queued]、[Environment preparation]、[Job running]、[Job success] などのフェーズを含むジョブライフサイクルのタイムラインと、各フェーズの所要時間が表示されます。ページ下部では、[Job]、[Pod]、[GPU] タブを切り替えて、対応する監視メトリクスを表示できます。[GPU] タブには、GPU 演算使用率と GPU メモリ使用率の折れ線グラフが表示されます。

    2. 時間やメトリクスでフィルタリングしたり、メトリクスを分類したりできます。詳細 をクリックしてメトリクスビューをカスタマイズします。必要なメトリクスを選択し、ドラッグして表示順序を調整することで、主要な監視メトリクスにフォーカスできます。

      選択可能な GPU 監視メトリクスには、[GPU compute usage]、[Total GPU memory]、[GPU memory usage]、[GPU memory usage amount]、[GPU memory device interface usage]、[GPU memory bandwidth usage]、[GPU SM device usage]、[GPU device power consumption]、[GPU temperature] が含まれます。必要なメトリクスを選択した後、右側の [Metric Sort] エリアでドラッグして表示順序を調整し、[OK] をクリックして設定を完了します。

    3. DLC ジョブは、リアルタイムのリソース使用率を監視するアラート機能にも対応しています。詳細については、「Training monitoring and alerts」をご参照ください。

    ジョブログ

    ジョブが失敗した場合、またはジョブの実行履歴を確認する必要がある場合は、次の 2 つの方法でジョブログを表示できます：

    • 概要 ページ下部の インスタンス エリアで、インスタンスの 操作 列で ログ をクリックして、ノードの出力ログを表示します。

    • ログ タブをクリックし、キーワードで関連するログイベントを検索します。詳細については、「Query aggregated logs by keyword」をご参照ください。クエリ構文の簡単なガイドは次のとおりです：

      - 単純なクエリ： error、「error」を含むログに一致します
- 複数単語のクエリ： "Unexpected result"、「Unexpected」と「result」の両方の単語に一致します
- あいまいクエリ： error*、「error」で始まる単語に一致します。特殊文字はサポートされていません
- フレーズクエリ： #"abc$def"、「abc$def」という完全なフレーズに一致します
区切り文字： ログは区切り文字で分割されます。キーワード内の区切り文字は空の文字として扱われます。キーワードに区切り文字が含まれている場合は、代わりにフレーズクエリを使用してください。一般的な区切り文字: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
注意：
検索語の文字 ( と ) は自動的にスペースに置き換えられます。検索語にこれらの文字を使用しないでください。

      ログページの左側にはインスタンスリストが表示され、右側には対応するインスタンスのユーザーログが表示されます。この例では、トレーニングログに Epoch 16 から Epoch 18 までの検証結果が表示され、最終出力の Model saved with accuracy: 98.96% は、モデルのトレーニングが正常に完了したことを示しています。

    ユーザーログが空の場合のトラブルシューティング

    ユーザーログは、ユーザースクリプトの stdout と stderr から生成されます。ユーザーログが空で、システムログ に正常なステータスが表示されている場合は、次の順序でトラブルシューティングしてください：

    1. stdout 出力の確認: ジョブの起動コマンドに echo または Python の print 文を追加して、テスト内容を出力します。テスト出力が [ユーザーログ] に表示される場合、元のジョブによって stdout/stderr が独自の場所にリダイレクトされています。代わりに出力を stdout または stderr にリダイレクトします。

    2. セキュリティグループの送信ルールを確認します。DLC ジョブに関連付けられているセキュリティグループの送信ルールは、TCP ポート 80 および 443 で Log Service (SLS) の内部 CIDR ブロック 100.64.0.0/10 を許可する必要があります。送信ルールでこの CIDR ブロックが拒否されている場合、ユーザーログを PAI に報告できず、ページの ユーザーログ は空で表示されます。

    3. ジョブの実行時間を確認してください：実行時間が非常に短いジョブ (たとえば 2 秒未満) の場合、SLS によるログ収集が完了していないため、ユーザーログ が空になることがあります。テストジョブを送信する場合は、ログを確認する前に少なくとも 30 秒待つことを推奨します。

    動作イベントログ

    PAI は ActionTrail と統合されています。ActionTrail で、Alibaba Cloud アカウントの直近 90 日間の DLC 動作イベントログを表示、照会できます。詳細については、「ActionTrail」をご参照ください。

    ジョブの再起動記録

    ジョブ作成時に [Auto fault tolerance] または [Health check] (ブラックリスト登録して再実行) を有効にした場合は、[Restart count] をクリックして再起動記録ページに移動し、回数、時刻、理由、結果、所要時間などの再起動の詳細を確認できます。次の操作を実行します：

    • 再起動記録リストで [Error details] をクリックし、再起動回数、再起動時刻、ノード名、インスタンス名、エラーコード、エラーメッセージ、エラーソースなどの再起動の詳細を表示します。

    • [View aggregated error details] をクリックして、すべての再起動記録の詳細リストを展開します。

    関連ドキュメント

    ジョブのステータスに基づいて管理操作を実行できます。詳細については、「Manage training jobs」をご参照ください。