PAI ワークスペースでは、イベント通知ルールを作成して Deep Learning Containers (DLC) ジョブのステータスを追跡およびモニタリングできます。このトピックでは、この機能の使用方法について説明します。
メッセージ通知の設定
-
Workspace Details ページで、ワークスペースの詳細 > イベント通知設定 を選択し、通知ルールの新規作成 をクリックします。
-
通知ルールの新規作成 パネルで、次のパラメーターを設定し、コミット をクリックします。
パラメーター
説明
[ルール名]
ルールの名前を入力します。
[イベントタイプ]
[Event Source] を [DLC Job] に設定し、1 つ以上のイベントを選択します。次のイベントに関する通知を受信できます:
-
タスクプロセス
-
キューに追加:ジョブがキューイング状態になります。
-
入札開始:ジョブが入札状態になります。
-
環境の準備を開始します:ジョブが環境準備状態になります。
-
実行開始:ジョブが実行中の状態になります。
-
タスクの保持に成功しました。:ジョブが正常に完了した後、保持状態になります。
-
失敗したタスクの保持:ジョブが失敗した後、保持状態になります。
-
タスクに失敗しました。:ジョブの実行が失敗します。
-
タスク終了 (成功と失敗を含む):結果にかかわらず、ジョブの実行が完了します。
-
-
タスク自動フォールトトレランス:DLC ジョブでエラーが発生して自動フォールトトレランスがトリガーされると、通知を受け取ります。
-
タスクがタイムアウトしました。:このオプションを使用するには、まず PAI ワークスペースのスケジューリング設定ページでタイムアウトルールを設定する必要があります。詳細については、「タイムアウトアラートルールの設定」をご参照ください。
-
キュータイムアウト:ジョブのキューイング時間が、設定された最大キューイング時間を超えました。
-
環境準備がタイムアウトしました。:ジョブの環境準備時間が、設定された最大準備時間を超えました。
-
待機タイムアウト:ジョブの作成から実行開始までの待機時間が、設定された最大待機時間を超えました。
-
実行タイムアウト:ジョブの実行時間が設定された最大実行時間を超え、自動停止がトリガーされました。
-
-
その他のイベント
-
タスクプリエンプション:アイドルインスタンスジョブまたはスポットインスタンスジョブがプリエンプトされると通知を受け取ります。
-
タスクが手動で停止されました。
-
タスクの優先度が調整されました
-
[イベントスコープ]
サポートされている値:
-
自分が作成:自分が作成したジョブ。
-
現在のワークスペース (すべて):現在のワークスペース内のすべての DLC ジョブ。
-
タスクの指定:リストから特定のジョブを選択するか、名前で検索して選択します。
[イベントターゲット]
サポートされているチャネルには、DingTalk、WeCom、Lark、音声通話、テキストメッセージ、メールがあります。
-
ルールを作成すると、ジョブがルールをトリガーしたときに、指定された連絡先にシステムが自動的にメッセージを送信します。通知を受け取ったら、DLC ページに移動して、ジョブが期待どおりに実行されているかどうかを確認してください。ジョブのモニタリングステータスとログを確認して、問題をトラブルシューティングすることもできます。詳細については、「トレーニング詳細の表示」をご参照ください。
タイムアウトアラートルールの設定
特定のイベントタイプのタイムアウトルールを設定するには:
-
ワークスペース設定 ページで、スケジューリング構成 タブに切り替えます。DLC セクションで、ジョブの最大待機時間と最大実行時間のタイムアウトルールを設定します。
ポリシー
説明
[所属リソースグループ]
特定のリソースを使用するジョブの最大待機時間を設定します。次のオプションがあります:
-
パブリックリソースグループ
-
所属リソースグループ:PAI ワークスペースに紐付けられているリソースクォータを選択します。
[タイムアウトルールの設定]
指定したイベントタイプのタイムアウト時間を設定します。サポートされているイベントタイプは次のとおりです:
-
タスク待機時間 (キューイング時間 + 環境準備時間)
-
待機時間
-
環境準備時間
また、追加 をクリックして、複数のタイムアウトルールを設定することもできます。
-
-
パラメーターを設定したら、保存 をクリックします。
イベント通知設定 に移動し、DLC ジョブ タイプを選択して、対応するタイムアウトイベント通知を設定してください。詳細については、「メッセージ通知の設定」をご参照ください。