PAI ワークスペースでは、イベント通知ルールを作成して Deep Learning Containers (DLC) ジョブのステータスを追跡および監視できます。このトピックでは、この機能の使用方法について説明します。
メッセージ通知の設定
-
Workspace Details ページで、Configure Workspace > Configure Event Notification を選択し、Create Event Rule をクリックします。
-
Create Event Rule パネルで、次のパラメーターを設定し、Submit をクリックします。
パラメーター
説明
[Rule Name]
ルールの名前を入力します。
[Event Type]
[Event Source] を [DLC Job] に設定し、1 つ以上のイベントを選択します。以下のイベントについて通知を受信できます。
-
[Job Progress]
-
[Enter Queue]:ジョブがキューイング状態に入ります。
-
[Start Bidding]:ジョブがビッディング状態に入ります。
-
[Start Environment Preparation]:ジョブが環境準備状態に入ります。
-
[Start Run]:ジョブが実行状態に入ります。
-
[Retained upon Success]:ジョブが正常に完了すると、維持状態に入ります。
-
[Retained upon Failure]:ジョブが失敗すると、維持状態に入ります。
-
[Job Failure]:ジョブの実行が失敗します。
-
[Job Completed (Succeeded or Failed)]:結果にかかわらず、ジョブの実行が完了します。
-
-
[Automatic Fault Tolerance]:DLC ジョブがエラーを検出し、自動フォールトトレランスがトリガーされたときに通知を受け取ります。
-
[Job Timeout]:このオプションを使用するには、まず PAI ワークスペースのスケジューリング設定ページでタイムアウトルールを設定する必要があります。詳細については、「タイムアウトアラートルールの設定」をご参照ください。
-
[Queue Timeout]:ジョブのキューイング期間が、設定された最大キューイング期間を超過します。
-
[Environment Preparation Timeout]:ジョブの環境準備期間が、設定された最大準備期間を超過します。
-
[Wait Timeout]:ジョブ作成から実行開始までの待機期間が、設定された最大待機期間を超過します。
-
[Run Timeout]:ジョブの実行時間が設定された最大実行時間を超え、自動停止がトリガーされます。
-
-
[Other Events]
-
[Job Preempted]:アイドルインスタンスジョブまたはスポットインスタンスジョブがプリエンプトされたときに通知を受け取ります。
-
[Job Manually Stopped]
-
[Job Priority Modified]
-
[Event Scope]
サポートされている値:
-
Created by Me:自分が作成したジョブ。
-
In the current workspace:現在のワークスペース内のすべての DLC ジョブ。
-
Specify Task:リストから、または名前で検索して、特定のジョブを選択します。
[Event Target]
サポートされているチャネルは、[DingTalk]、[WeCom]、[Lark]、[音声通話]、[テキストメッセージ]、[E メール] です。
-
ルールを作成すると、イベントがトリガーされたときに、指定された連絡先にシステムが自動的にメッセージを送信します。通知を受信したら、DLC ページに移動して、ジョブが期待どおりに実行されているかを確認します。ジョブの監視ステータスとログを確認して、問題をトラブルシューティングすることもできます。詳細については、「トレーニング詳細の表示」をご参照ください。
タイムアウトアラートルールの設定
特定のイベントタイプに対するタイムアウトルールは、以下のように設定します。
-
Configure Workspace ページで、Configure Scheduling タブに切り替えます。DLC セクションで、最大ジョブ待機期間と最大実行期間のタイムアウトルールを設定します。
ポリシー
説明
[Resource Quota]
特定のリソースを使用するジョブの最大待機期間を設定します。以下のオプションを利用できます。
-
[Public Resource Group]
-
[Resource Quota]:PAI ワークスペースに関連付けられているリソースクォータを選択します。
[Timeout Rule Configuration]
指定されたイベントタイプのタイムアウト期間を設定します。サポートされているイベントタイプは以下のとおりです。
-
[Job Wait Time] (キューイング期間 + 環境準備期間)
-
[Queuing Time]
-
[Environment Preparation Time]
Add をクリックして、複数のタイムアウトルールを設定することもできます。
-
-
パラメーターを設定した後、Save をクリックします。
Configure Event Notification に移動し、DLC Jobs タイプを選択して、対応するタイムアウトイベントの通知を設定します。詳細については、「メッセージ通知の設定」をご参照ください。