PAI ワークスペースでは、イベント通知ルールを作成して Deep Learning Containers (DLC) ジョブのステータスを追跡および監視できます。このトピックでは、この機能の使用方法について説明します。
メッセージ通知の設定
-
Workspace Details ページで、ワークスペースの詳細 > イベント通知設定 を選択し、通知ルールの新規作成 をクリックします。
-
通知ルールの新規作成 パネルで、次のパラメーターを設定し、コミット をクリックします。
パラメーター
説明
[ルール名]
ルールの名前を入力します。
[イベントタイプ]
[Event Source] を [DLC Job] に設定し、1 つ以上のイベントを選択します。以下のイベントについて通知を受信できます。
-
[タスクプロセス]
-
[キューに追加]:ジョブがキューイング状態に入ります。
-
[入札開始]:ジョブがビッディング状態に入ります。
-
[環境の準備を開始します]:ジョブが環境準備状態に入ります。
-
[実行開始]:ジョブが実行状態に入ります。
-
[タスクの保持に成功しました。]:ジョブが正常に完了すると、維持状態に入ります。
-
[失敗したタスクの保持]:ジョブが失敗すると、維持状態に入ります。
-
[タスクに失敗しました。]:ジョブの実行が失敗します。
-
[タスク終了 (成功と失敗を含む)]:結果にかかわらず、ジョブの実行が完了します。
-
-
[タスク自動フォールトトレランス]:DLC ジョブがエラーを検出し、自動フォールトトレランスがトリガーされたときに通知を受け取ります。
-
[タスクがタイムアウトしました。]:このオプションを使用するには、まず PAI ワークスペースのスケジューリング設定ページでタイムアウトルールを設定する必要があります。詳細については、「タイムアウトアラートルールの設定」をご参照ください。
-
[キュータイムアウト]:ジョブのキューイング期間が、設定された最大キューイング期間を超過します。
-
[環境準備がタイムアウトしました。]:ジョブの環境準備期間が、設定された最大準備期間を超過します。
-
[待機タイムアウト]:ジョブ作成から実行開始までの待機期間が、設定された最大待機期間を超過します。
-
[実行タイムアウト]:ジョブの実行時間が設定された最大実行時間を超え、自動停止がトリガーされます。
-
-
[その他のイベント]
-
[タスクプリエンプション]:アイドルインスタンスジョブまたはスポットインスタンスジョブがプリエンプトされたときに通知を受け取ります。
-
[タスクが手動で停止されました。]
-
[タスクの優先度が調整されました]
-
[イベントスコープ]
サポートされている値:
-
自分が作成:自分が作成したジョブ。
-
現在のワークスペース (すべて):現在のワークスペース内のすべての DLC ジョブ。
-
タスクの指定:リストから、または名前で検索して、特定のジョブを選択します。
[イベントターゲット]
サポートされているチャネルは、[DingTalk]、[WeCom]、[Lark]、[音声通話]、[テキストメッセージ]、[E メール] です。
-
ルールを作成すると、イベントがトリガーされたときに、指定された連絡先にシステムが自動的にメッセージを送信します。通知を受信したら、DLC ページに移動して、ジョブが期待どおりに実行されているかを確認します。ジョブの監視ステータスとログを確認して、問題をトラブルシューティングすることもできます。詳細については、「トレーニング詳細の表示」をご参照ください。
タイムアウトアラートルールの設定
特定のイベントタイプに対するタイムアウトルールは、以下のように設定します。
-
ワークスペース設定 ページで、スケジューリング構成 タブに切り替えます。DLC セクションで、最大ジョブ待機期間と最大実行期間のタイムアウトルールを設定します。
ポリシー
説明
[所属リソースグループ]
特定のリソースを使用するジョブの最大待機期間を設定します。以下のオプションを利用できます。
-
[パブリックリソースグループ]
-
[所属リソースグループ]:PAI ワークスペースに関連付けられているリソースクォータを選択します。
[タイムアウトルールの設定]
指定されたイベントタイプのタイムアウト期間を設定します。サポートされているイベントタイプは以下のとおりです。
-
[タスク待機時間] (キューイング期間 + 環境準備期間)
-
[待機時間]
-
[環境準備時間]
追加 をクリックして、複数のタイムアウトルールを設定することもできます。
-
-
パラメーターを設定した後、保存 をクリックします。
イベント通知設定 に移動し、DLC ジョブ タイプを選択して、対応するタイムアウトイベントの通知を設定します。詳細については、「メッセージ通知の設定」をご参照ください。