Platform For AI:トレーニングのモニタリングとアラート

課金

CloudMonitor サービスの使用には料金が発生します。詳細な請求情報については、「CloudMonitor の課金」をご参照ください。

モニタリングデータの表示

1. CloudMonitor コンソールにログインします。

2. 左側のナビゲーションウィンドウで、 [可視化] > [クラウドサービスモニタリングダッシュボード] を選択します。

3. [クラウドサービスモニタリングダッシュボード] ページで、[PAI-Deep Learning Containers (DLC)] を選択し、検索ボックスで [ワークスペース ID] を選択または検索して、対応するモニタリングチャートを表示します。ワークスペース ID を確認するには、「ワークスペースの管理」をご参照ください。

   モニタリングチャートエリアには、[ジョブディメンション] タブに 3 つの GPU メトリックパネルが表示されます：[GPU メモリインターフェイス使用率 (ジョブディメンション) (%)]、[GPU コンピュート使用率 (ジョブディメンション) (%)]、[GPU SM 使用率 (ジョブディメンション) (%)]。これらのメトリクスの報告期間は 10 秒です。

   モニタリングチャートでは、次の操作が可能です：

   • 監視ディメンションの切り替え：ジョブ、Pod (ワーカー)、または GPU ディメンション別にメトリクスを表示します。

     • [ジョブディメンション] タブをクリックします。DLC ジョブ ID を選択または入力して、単一ジョブのモニタリングデータを表示します。

     • [Pod ディメンション] タブをクリックします。Pod ID を選択または入力して、単一 Pod のモニタリングデータを表示します。

     • GPU Level タブをクリックします。Pod ID を選択または入力して、指定された DLC ジョブ内の単一 Pod の GPU ディメンションのモニタリングデータを表示します。

   • 時間範囲の変更：[1 時間]、[3 時間]、[6 時間]、[12 時間]、[1 日]、[3 日]、[7 日]、[14 日]、または [カスタム] の期間を選択できます。

   • ズームイン：各チャートの右上隅にあるズームインアイコン をクリックして、詳細なモニタリングデータを表示します。

アラートの設定

アラートルールを設定して、PAI-Deep Learning Containers (DLC) ジョブのリソースレベルを監視できます。リソースメトリクスがルールに違反した場合、システムはアラート通知を送信します。このセクションでは、CloudMonitor コンソールと API を使用してアラートを設定する方法について説明します。

アラート連絡先の設定

1. CloudMonitor コンソールにログインします。

2. 左側のナビゲーションウィンドウで、アラームサービス > アラーム送信先 を選択します。

3. [アラート連絡先] タブで、[連絡先の作成] をクリックし、連絡先の名前、電話番号、メールアドレス、または Webhook URL を入力して、[確認] をクリックします。

4. [アラート連絡先グループ] タブで、[連絡先グループの作成] をクリックし、グループ名を入力して、既存のアラート連絡先をグループに追加し、[確認] をクリックします。

アラートルールの設定

1. CloudMonitor コンソールの左側のナビゲーションウィンドウで、[クラウドリソースモニタリング] > [クラウドサービスモニタリング] を選択します。

2. [クラウドサービスモニタリング] ページで、[PAI-Deep Learning Containers (DLC)] を開きます。検索ボックスに [PAI-Deep Learning Containers (DLC)] と入力します。検索結果の [メトリックモニタリング] カテゴリで、[PAI-Deep Learning Containers (DLC)] をクリックします。

3. [PAI-Deep Learning Containers (DLC)] ページで、サービスリージョンを選択し、[アラートルールの作成] をクリックします。

4. [アラートルールの作成] パネルで、次のパラメーターを設定し、[確認] をクリックします。

   パラメーター	説明
   プロダクト	監視するプロダクト。[PAI-Deep Learning Containers (DLC)] を選択します。
   リソース範囲	アラートルールの範囲。オプション：[すべてのリソース] と [インスタンス]。 すべてのリソース：いずれかの DLC リソースがアラートルールに一致した場合にアラート通知が送信されます。 インスタンス：[リソースの関連付け] セクションで、関連付けるワークスペースを追加する必要があります。追加されたワークスペース内の DLC ジョブがアラートルールに一致した場合にのみ、アラート通知が送信されます。
   ルール説明	アラートをトリガーする条件。モニタリングデータがこれらの条件に一致すると、アラートがトリガーされます。ルール説明の設定方法の詳細については、「アラートルールの作成」をご参照ください。
   ミュート期間	未解決のアラートの再送信間隔。
   有効期間	アラートルールがアクティブな期間。CloudMonitor はこの期間中にのみアラートをチェックします。
   タグ	アラートルールのカスタムタグをキーと値のペアとして指定します。
   アラート連絡先グループ	アラート通知を受信する連絡先グループ。アラート連絡先が設定されたグループを選択します。

5. [PAI-Deep Learning Containers (DLC)] ページで、[アラートルールの表示] をクリックして、アラートルールの詳細と履歴を表示します。ルールを変更することもできます。

監視メトリクスのサブスクライブ

CloudMonitor は、DLC の監視メトリクスとデータをサブスクライブするために使用できる包括的な API オペレーションセットを提供します。これにより、独自のモニタリングシステムやダッシュボードを構築できます。詳細な手順については、「クラウドサービスモニタリング API ディレクトリ」をご参照ください。

次の例では、DescribeMetricList API オペレーションを呼び出して、PAI-Deep Learning Containers (DLC) の指定されたメトリクスのモニタリングデータをクエリする方法を示します。

1. PAI-Deep Learning Containers (DLC) のメトリクスページに移動します。

2. メトリクスリストページで、JOB_GPU_ACCELERATOR_DUTTY_UTIL などのターゲットメトリクスを見つけ、[操作] 列の [メトリックデータの取得] をクリックして OpenAPI ポータルページに移動します。

3. OpenAPI ポータルページで、次の主要なパラメーターを設定し、その他はデフォルト値のままにします。パラメーターの詳細については、「DescribeMetricList」をご参照ください。

   パラメーター	説明
   Namespace	このパラメーターを acs_pai_dlc に設定します。
   MetricName	クエリするメトリック。例：CARD_GPU_DRAM_ACTIVE_UTIL。
   StartTime	開始時刻。例：2024-05-15 00:00:00。
   EndTime	終了時刻。例：2024-05-28 00:00:00。 説明 StartTime と EndTime の間隔は 31 日以下である必要があります。

4. パラメーターを設定した後、[呼び出し開始] をクリックして、指定した時間範囲のモニタリングデータを表示します。呼び出しが成功すると、ステータスコード 200 が返されます。レスポンスボディの Datapoints 配列には、timestamp、jobId、regionId、userId、workspaceId、Value などのデータフィールドが含まれます。

課金

ARMS の使用には料金が発生します。課金の詳細については、「ARMS の課金」をご参照ください。

モニタリングデータの統合

DLC のモニタリングデータを ARMS に統合するには：

1. ARMS コンソールにログインし、左側のナビゲーションウィンドウで [インテグレーションセンター] をクリックします。

2. [インテグレーションセンター] ページで、[人工知能] タブをクリックし、[PAI-DLC 分散トレーニングサービス] をクリックします。

3. 表示されるパネルの [プロビジョニングの開始] タブで、[データストレージリージョン] を選択し、[統合名] を入力して、[OK] をクリックします。

   統合には約 1〜2 分かかります。[効果プレビュー]、[収集済みメトリクス]、[アラートルールテンプレート] タブに切り替えて、メトリックダッシュボード、サポートされているメトリクス、アラートルール名、テンプレートの詳細を表示することもできます。

4. 統合が完了したら、[プロビジョニング] をクリックして、プロビジョニングされた環境の詳細を表示できます。

Grafana ダッシュボード

1. ARMS コンソールにログインします。左側のナビゲーションウィンドウで [プロビジョニング] を選択します。[プロビジョニング済み環境] > [クラウドサービスリージョン環境] タブで、環境名をクリックします。

2. [コンポーネント管理] タブの [コンポーネントタイプ] セクションで、[PAI-DLC 分散トレーニングサービス] を選択し、右側の [ダッシュボード] をクリックして、組み込みの Grafana ダッシュボードを表示します。

3. ダッシュボード名をクリックして、モニタリングダッシュボードを表示します。[PAI-DLC 分散トレーニングサービス - インスタンス詳細] ダッシュボードには、[workspaceId]、[jobId]、[pod]、[gpu] のフィルターが用意されています。メトリクスは [ジョブディメンション]、[カードディメンション]、[Pod ディメンション] のパネルに整理されています。[Pod ディメンション] パネルには、CPU 使用率、ディスク I/O レート、メモリ使用量などの Pod 詳細テーブルと、CPFS 読み取りレイテンシ、CPFS 書き込みデータ量、CPFS 読み取りデータ量の時系列チャートが表示されます。

設定 Prometheus アラート

Prometheus を使用して、次のようにモニタリングアラートを設定できます：

1. ARMS コンソールにログインします。左側のナビゲーションウィンドウで [プロビジョニング] を選択します。[プロビジョニング済み環境] > [クラウドサービスリージョン環境] タブで、環境名をクリックします。

2. [コンポーネント管理] タブの [コンポーネントタイプ] リストで、[PAI-DLC 分散トレーニングサービス] を選択し、[アラートルール] をクリックして、組み込みのアラートルールを表示します。デフォルトでは、これらのルールは [停止] 状態です。

3. 組み込みのアラートルールはイベントを生成しますが、通知は送信しません。次の 2 つの方法のいずれかで、メールアドレスや他のプラットフォームに通知を送信するように設定できます：

   • 通知ポリシーを設定します。このポリシーは、アラートイベントのマッチングルールを定義します。アラートイベントがルールに一致すると、システムは選択した通知方法で指定された受信者に通知を送信します。詳細については、「通知ポリシー」をご参照ください。

   • アラートルールを編集して通知方法を設定します。アラートルール管理ページで、左側のナビゲーションウィンドウからターゲットのコンポーネントタイプ (例：[PAI-DLC 分散トレーニングサービス]、[PAI-DSW]、[PAI-Quota Service]、[PAI-Quota (non-Lingjun)]) を選択します。リストからターゲットルールを見つけて [編集] をクリックします。Prometheus アラートルール編集ページで、アラート条件、持続時間、内容、通知をカスタマイズできます。詳細については、「Prometheus アラートルールの作成」をご参照ください。ルールを編集する際、[チェックタイプ] を [カスタム PromQL] に設定します。[カスタム PromQL ステートメント] フィールドに、AliyunPaidlc_POD_STATE_ACTIVE{} > 80 のような式を入力します。[持続時間] を 2 分に、[アラートレベル] を [P2] に設定します。[アラート通知] セクションで、[シンプルモード] を選択し、[受信者]、[通知期間] (00:00 から 23:59 まで)、[繰り返しポリシー] を設定します。設定が完了したら、[完了] をクリックします。