PAI ワークスペースのイベント通知設定で通知ルールを作成し、Deep Learning Containers (DLC) ジョブのステータスを追跡および監視できます。
通知ルールの設定
ワークスペース詳細ページで、Configure Workspace > Configure Event Notification に移動し、Create Event Rule をクリックします。
Create Event Rule パネルで、次のパラメーターを設定し、Submit をクリックします。
パラメーター
説明
Rule Name
ルールのカスタム名を入力します。
Event Type
イベントソースで、DLC ジョブを選択します。複数のイベントを選択できます。サポートされているイベントタイプは次のとおりです：
Job Progress
Enter Queue：ジョブが実行のためにキューに追加されます。
Start Bidding：ジョブがインスタンスの入札を開始します。
Start Environment Preparation：ジョブが実行環境の準備を開始します。
Start Run：ジョブが実行を開始します。
Retained upon Success：ジョブが正常に完了した後も保持されます。
Retained upon Failure：ジョブが失敗した後も保持されます。
Job Failure：ジョブの実行が失敗します。
Job Completed (Succeeded or Failed)：ジョブが成功または失敗して終了します。
Automatic Fault Tolerance：DLC ジョブで自動フォールトトレランスがトリガーされたときに通知を送信します。
Job Timeout：このオプションを選択した場合、まず対応するワークスペースのスケジューリング設定ページでタイムアウトルールを設定する必要があります。詳細については、「タイムアウトアラートルールの設定」をご参照ください。
Queue Timeout：ジョブのキュー滞在時間が設定された最大値を超えました。
Environment Preparation Timeout：ジョブの環境準備時間が設定された最大値を超えました。
Wait Timeout：ジョブ作成から実行までの合計待機時間が設定された最大値を超えました。
Run Timeout：ジョブの実行時間が設定された最大値を超え、自動停止がトリガーされます。
Other Events
Job Preempted：アイドル状態または入札中のジョブがプリエンプトされたときに通知します。
Job Manually Stopped
Job Priority Modified
Event Scope
次のオプションが利用可能です：
Created by Me：自分が作成した DLC ジョブにのみ適用されます。
In the current workspace：現在のワークスペース内のすべての DLC ジョブに適用されます。
Specify Task：1 つ以上の特定のジョブを選択します。ジョブを直接選択するか、名前で検索して見つけることができます。
Event Target
通知チャネルを指定します。オプションには、DingTalk、WeCom、Lark、音声通話、SMS、メールがあります。
通知ルールを作成すると、ジョブがルールをトリガーしたときに、指定された連絡先にシステムが自動的に通知を送信します。通知を受信したら、Deep Learning Containers (DLC) ページに移動して、ジョブが期待どおりに実行されていることを確認します。また、ジョブのモニタリングステータスとログを確認して、問題を調査することもできます。詳細については、「トレーニング詳細の表示」をご参照ください。
タイムアウトアラートルールの設定
特定のイベントタイプに対してタイムアウトルールを設定するには、次の手順に従います：
Configure Workspace ページで、Configure Scheduling タブに切り替えます。DLC エリアで、ジョブの最大待機時間と最大実行時間のタイムアウトルールを設定します。
ポリシー
説明
Resource Quota
特定のリソースを使用するジョブの最大待機時間を設定します：
Public Resource Group
Resource Quota：ワークスペースにバインドされているリソースクォータを選択します。
Timeout Rule Configuration
特定のイベントタイプのタイムアウト時間を設定します：
Job Wait Time (キュー時間 + 環境準備時間)
Queuing Time
Environment Preparation Time
また、Add をクリックして、複数のタイムアウトルールを設定することもできます。
パラメーターを設定した後、Save をクリックします。
Configure Event Notification タブに移動し、イベントタイプとして DLC Jobs を選択し、対応するタイムアウトイベント通知を設定します。通知を受信するには、ルールを設定する必要があります。詳細については、「通知ルールの設定」をご参照ください。