Platform For AI:トレーニングのモニタリングとアラート

課金

CloudMonitor サービスの使用には料金が発生します。詳細な課金情報については、「CloudMonitor の課金」をご参照ください。

モニタリングデータの表示

1. CloudMonitor コンソール にログインします。

2. 左側のナビゲーションウィンドウで、[ダッシュボード] > [クラウド製品監視] を選択します。

3. [クラウドサービスモニタリングダッシュボード] ページで、[PAI-Deep Learning Containers (DLC)] を選択し、検索ボックスで [ワークスペース ID] を選択または検索して、対応するモニタリングチャートを表示します。ワークスペース ID を確認するには、「ワークスペースの管理」をご参照ください。

   モニタリングチャートエリアの [ジョブディメンション] タブには、3 つの GPU メトリクスパネルが表示されます：[GPU メモリインターフェイス使用率 (ジョブディメンション) (%)]、[GPU コンピューティング使用率 (ジョブディメンション) (%)]、[GPU SM 使用率 (ジョブディメンション) (%)]。これらのメトリクスのレポート期間は 10 秒です。

   モニタリングチャートでは、次の操作を実行できます。

   • モニタリングディメンションの切り替え：ジョブ、Pod (ワーカー)、または GPU ディメンションでメトリクスを表示します。

     • [ジョブディメンション] タブをクリックします。DLC ジョブ ID を選択または入力して、単一ジョブのモニタリングデータを表示します。

     • [Pod ディメンション] タブをクリックします。Pod ID を選択または入力して、単一 Pod のモニタリングデータを表示します。

     • GPU ディメンション タブをクリックします。Pod ID を選択または入力すると、指定された DLC ジョブ内の単一 Pod の GPU ディメンションのモニタリングデータを表示できます。

   • 時間範囲の変更：[1 時間]、[3 時間]、[6 時間]、[12 時間]、[1 日]、[3 日]、[7 日]、[14 日]、または [カスタム] の期間を選択できます。

   • 拡大：各チャートの右上隅にある [拡大] アイコン をクリックして、詳細なモニタリングデータを表示します。

アラートの設定

アラートルールを設定して、PAI-Deep Learning Containers (DLC) ジョブのリソースレベルを監視できます。リソースメトリクスがルールに違反した場合、システムはアラート通知を送信します。このセクションでは、CloudMonitor コンソールと API を使用してアラートを設定する方法について説明します。

アラート連絡先の設定

1. CloudMonitor コンソール にログインします。

2. 左側メニューで、アラームサービス > アラーム送信先 を選択します。

3. [アラート連絡先] タブで、[連絡先の作成] をクリックし、連絡先の名前、電話番号、メールアドレス、または Webhook  URL を入力して、[確認] をクリックします。

4. [アラート連絡先グループ] タブで、[連絡先グループの作成] をクリックし、グループ名を入力し、既存のアラート連絡先をグループに追加してから、[確認] をクリックします。

アラートルールの設定

1. CloudMonitor コンソールの左側メニューで、[クラウドリソースモニタリング] > [クラウドサービスモニタリング] を選択します。

2. [クラウドサービスモニタリング] ページで、[PAI-Deep Learning Containers (DLC)] を開きます。検索ボックスに PAI-Deep Learning Containers (DLC) と入力します。検索結果の [メトリクスモニタリング] カテゴリで、[PAI-Deep Learning Containers (DLC)] をクリックします。

3. [PAI-Deep Learning Containers (DLC)] ページで、サービスリージョンを選択し、[アラートルールの作成] をクリックします。

4. [アラートルールの作成] パネルで、次のパラメータを設定し、[確認] をクリックします。

   パラメータ	説明
   製品	監視する製品です。[PAI-Deep Learning Containers (DLC)] を選択します。
   リソース範囲	アラートルールの範囲です。オプションには [すべてのリソース] と [インスタンス] があります。 [すべてのリソース]：いずれかの DLC リソースがアラートルールを満たした場合、アラート通知が送信されます。 [インスタンス]：[リソースの関連付け] セクションで、関連付けるワークスペースを追加する必要があります。追加されたワークスペース内の DLC ジョブがアラートルールを満たした場合にのみ、アラート通知が送信されます。
   ルールの説明	アラートをトリガーする条件です。モニタリングデータがこれらの条件を満たすと、アラートがトリガーされます。ルールの説明を設定する方法の詳細については、「アラートルールの作成」をご参照ください。
   ミュート期間	未解決のアラートが再送信されるまでの時間間隔です。
   有効期間	アラートルールが有効な期間です。CloudMonitor は、この期間中にのみアラートをチェックします。
   タグ	アラートルールのカスタムタグです。キーと値のペアとして指定します。
   アラート連絡先グループ	アラート通知を受信する連絡先グループです。設定済みのアラート連絡先を含むグループを選択します。

5. [PAI-Deep Learning Containers (DLC)] ページで、[アラートルールの表示] をクリックして、アラートルールの詳細と履歴を表示します。ルールを変更することもできます。

モニタリングメトリクスのサブスクライブ

CloudMonitor は、DLC モニタリングメトリクスとデータにサブスクライブするために使用できる包括的な API オペレーションセットを提供しています。これにより、独自のモニタリングシステムやダッシュボードを構築できます。詳細な手順については、「クラウドサービスモニタリング API ディレクトリ」をご参照ください。

次の例は、DescribeMetricList API オペレーションを呼び出して、PAI-Deep Learning Containers (DLC) の指定されたメトリクスのモニタリングデータをクエリする方法を示しています。

1. PAI-Deep Learning Containers (DLC) のメトリクスページに移動します。

2. メトリクスリストページで、JOB_GPU_ACCELERATOR_DUTY_UTIL などの対象メトリクスを見つけ、[操作] 列の [メトリクスデータの取得] をクリックして、OpenAPI Portal ページに移動します。

3. OpenAPI Portal ページで、次の主要なパラメータを設定し、その他はデフォルト値のままにします。パラメータの詳細については、「DescribeMetricList」をご参照ください。

   パラメータ	説明
   名前空間	このパラメータを acs_pai_dlc に設定します。
   MetricName	クエリするメトリクスです。例： CARD_GPU_DRAM_ACTIVE_UTIL。
   StartTime	開始時刻です。例： 2024-05-15 00:00:00。
   EndTime	終了時刻です。例： 2024-05-28 00:00:00。 説明 StartTime と EndTime の間隔は 31 日以下にする必要があります。

4. パラメータを設定した後、[呼び出しの開始] をクリックして、指定された時間範囲のモニタリングデータを表示します。呼び出しが成功すると、200 ステータスコードが返されます。レスポンスボディの Datapoints 配列には、timestamp、jobId、regionId、userId、workspaceId、Value などのデータフィールドが含まれます。

課金

ARMS の使用には料金が発生します。課金の詳細については、「ARMS の課金」をご参照ください。

モニタリングデータの統合

DLC モニタリングデータを ARMS に統合するには、次の手順に従ってください。

1. ARMS コンソールにログインし、左側メニューで 統合センター をクリックします。

2. 統合センター ページで、人工知能 タブをクリックし、PAI-DLC Distributed Training Service をクリックします。

3. 表示されたパネルの プロビジョニングの開始 タブで、データストレージリージョン を選択し、統合名 を入力して、OK をクリックします。

   統合には約 1〜2 分かかります。 効果のプレビュー、収集されたメトリクス、アラートルールテンプレート の各タブに切り替えて、メトリクスダッシュボード、サポートされているメトリクス、アラートルール名とテンプレートの詳細を表示することもできます。

4. 統合が完了したら、左側メニューで プロビジョニング をクリックして、プロビジョニング済みの環境の詳細を表示できます。

Grafana ダッシュボード

1. ARMS コンソールにログインします。 左側メニューで、プロビジョニング を選択します。 プロビジョニング済みの環境 > クラウドサービスリージョン環境 タブで、環境名をクリックします。

2. コンポーネント管理 タブの コンポーネントタイプ セクションで、PAI-DLC Distributed Training Service を選択し、右側の ダッシュボード をクリックして、組み込みの Grafana ダッシュボードを表示します。

3. ダッシュボード名をクリックして、モニタリングダッシュボードを表示します。 PAI-DLC Distributed Training Service - インスタンスの詳細 ダッシュボードには、workspaceId、jobId、pod、gpu のフィルターが用意されています。 メトリクスは、ジョブディメンション、カードディメンション、Pod ディメンション の各パネルに整理されています。 Pod ディメンション パネルには、CPU 使用率、ディスク I/O レート、メモリ使用量を含む Pod 詳細テーブルと、CPFS 読み取りレイテンシ、CPFS 書き込みデータ量、CPFS 読み取りデータ量の時系列グラフが表示されます。

Prometheus アラートの設定

Prometheus を使用してモニタリングアラートを設定するには、次の手順に従ってください。

1. ARMS コンソールにログインします。 左側メニューで、プロビジョニング を選択します。 プロビジョニング済みの環境 > クラウドサービスリージョン環境 タブで、環境名をクリックします。

2. コンポーネント管理 タブの コンポーネントタイプ リストで、PAI-DLC Distributed Training Service を選択し、アラートルール をクリックして、組み込みのアラートルールを表示します。 デフォルトでは、これらのルールは 停止 状態です。

3. 組み込みのアラートルールはイベントを生成しますが、通知は送信しません。メールアドレスまたは他のプラットフォームに通知を送信するように設定するには、次の 2 つの方法があります。

   • 通知ポリシーを設定します。このポリシーでは、アラートイベントの一致ルールを定義します。アラートイベントがルールに一致すると、システムは選択した通知方法で、指定された受信者に通知を送信します。詳細については、「通知ポリシー」をご参照ください。

   • アラートルールを編集して通知方法を設定します。アラートルール管理ページで、左側メニューから対象のコンポーネントタイプ (PAI-DLC Distributed Training Service、PAI-DSW、PAI-Quota Service、PAI-Quota (非霊駿) など) を選択します。リストから対象のルールを見つけて、編集 をクリックします。 Prometheus アラートルール編集ページでは、アラート条件、期間、内容、通知をカスタマイズできます。詳細については、「Prometheus アラートルールの作成」をご参照ください。 ルールを編集する際、チェックタイプ を カスタム PromQL に設定します。 カスタム PromQL ステートメント フィールドに、AliyunPaidlc_POD_STATE_ACTIVE{} > 80 などの式を入力します。 期間 を 2 分に設定し、アラートレベル を P2 に設定します。 アラート通知 セクションで、シンプルモード を選択し、受信者、通知期間 (00:00〜23:59)、繰り返しポリシー を設定します。設定が完了したら、完了 をクリックします。