EAS メトリクス - Platform For AI - Alibaba Cloud ドキュメントセンター

Elastic Algorithm Service (EAS) サービスをデプロイした後、モニタリングページを使用してリクエスト量、レイテンシ、リソース使用量を追跡します。

モニタリングデータの表示

PAI コンソールにログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。
サービス名をクリックして詳細を開き、Monitoring タブに切り替えます。
モニタリングダッシュボードとメトリクスを表示します。
ダッシュボードの切り替え
モニタリングページの左上隅にある [サービス] ドロップダウンリストをクリックして、ディメンションを切り替えます。
- サービス：サービスディメンション。デフォルトのサービス監視ダッシュボード名のフォーマットは Service-<service_name> です。ここで <service_name> は EAS サービス名です。
- インスタンス：単一インスタンスビューと複数インスタンスビューを持つインスタンスレベルのダッシュボード。
  - 単一インスタンス：一度に 1 つのインスタンスのメトリクス。インスタンスを切り替えて比較します。
    右側の [インスタンス] ドロップダウンリストからインスタンスを選択して、QPS や RT などの監視メトリクスを表示します。
  - 複数インスタンス：複数のインスタンスのメトリクスを並べて表示します。
時間範囲の切り替え
[モニタリング] エリアのをクリックして、ダッシュボードの時間範囲を変更します。
表示される時間選択パネルで、左側の [絶対時間範囲] でカスタムの開始時刻と終了時刻を指定するか、右側の [相対時間範囲] リストから「過去 5 分」から「過去 7 日」などのプリセット範囲を選択できます。選択した時間範囲にはチェックマーク (✓) が付きます。
重要
分レベルのメトリクスは最大 1 か月間保持されます。秒レベルのメトリクスは最大 1 時間保持されます。
重要
LLM の監視メトリクスは、サービスタグに "ServiceEngineType": "vllm" または "ServiceEngineType" : "sglang" が含まれている場合にのみ表示されます。

監視メトリクス

サービス監視ダッシュボード (分レベル)

このダッシュボードは、次のメトリクスを追跡します：

メトリック		説明
QPS		1 秒あたりのリクエスト数で、リターンコード別にグループ化されます。複数インスタンスのサービスの場合、インスタンス間で合計されます。1d オフセットは、傾向比較のために前日の QPS を表示します。
応答		選択した時間範囲内の総応答数で、リターンコード別にグループ化されます。複数インスタンスのサービスの場合、インスタンス間で合計されます。
RT		リクエスト応答時間。 Avg：すべてのリクエストの平均応答時間。 TPXX：XX パーセンタイルの応答時間。たとえば、TP5 は 5 パーセンタイルの最大応答時間です。TP100 はすべてのリクエストにおける最大値です。複数インスタンスのサービスの場合、TP100 はすべてのインスタンスにおける最大値です。他の TPXX の値はインスタンス間で平均化されます。
日次呼び出し		1 日あたりの呼び出し数で、リターンコード別にグループ化されます。複数インスタンスのサービスの場合、インスタンス間で合計されます。

追加メトリクス (CPU | メモリ | GPU | ネットワーク | リソース)

メトリック		説明
CPU	CPU	サービスの平均 CPU 使用量。単位：CPU コア。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
	CPU 使用率	サービスの平均 CPU 使用率。計算式：平均 CPU 使用量 ÷ 利用可能な最大 CPU コア数。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
	CPU 合計	サービスで利用可能な CPU コアの合計。計算式：単一インスタンスあたりの利用可能な CPU コア数 × サービスインスタンス数。
メモリ	メモリ	サービスの平均メモリ使用量。複数インスタンスのサービスの場合、インスタンス間で平均化されます。 RSS：常駐物理メモリサイズ。キャッシュ：キャッシュサイズ。合計：単一インスタンスで利用可能な最大物理メモリサイズ。
メモリ	メモリ使用率	サービスの平均メモリ使用率。計算式：メモリ RSS ÷ メモリ合計。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
GPU	GPU 使用率	GPU 対応サービスの場合、平均 GPU 使用率。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
	GPU メモリ	GPU 対応サービスの場合、GPU メモリ使用量。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
	GPU 合計	GPU 対応サービスの場合、GPU の合計量。複数インスタンスのサービスの場合、このメトリックはすべてのインスタンスの GPU の合計です。
	GPU メモリ使用率	GPU 対応サービスの場合、GPU メモリ使用率。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
ネットワーク	トラフィック	サービスが受信および送信したトラフィック (ビット/秒)。複数インスタンスのサービスの場合、インスタンス間で平均化されます。ここで： In：受信トラフィック。 Out：送信トラフィック。
ネットワーク	TCP 接続数	TCP 接続の数。
リソース	レプリカ	異なる状態にあるサービスインスタンスの数：合計、保留中、利用可能。
リソース	リソース別レプリカ	リソースタイプ別のサービスインスタンス数：合計、専用 (専用リソース)、パブリック (パブリックリソース)。

単一インスタンス監視ダッシュボード (分レベル)

このダッシュボードは、次のメトリクスを追跡します：

メトリック	説明
QPS	このインスタンスが受信した 1 秒あたりのリクエスト数。リターンコード別にグループ化されます。
RT	このインスタンスのリクエストの応答時間。
応答	選択した時間範囲内にこのインスタンスが受信した総応答数。リターンコード別にグループ化されます。

追加メトリクス (CPU | メモリ | GPU | ネットワーク | リソース)

メトリック		説明
CPU	CPU	このインスタンスの CPU 使用量 (CPU コア単位)。
CPU	CPU 使用率	このインスタンスの平均 CPU 使用率。計算式：平均 CPU 使用量 ÷ 利用可能な最大 CPU コア数。
メモリ	メモリ	このインスタンスのメモリ使用量。 RSS：常駐物理メモリサイズ。キャッシュ：キャッシュサイズ。合計：単一インスタンスで利用可能な最大物理メモリサイズ。
メモリ	メモリ使用率	このインスタンスの平均メモリ使用率。計算式：メモリ RSS ÷ メモリ合計。
GPU	GPU 使用率	このインスタンスの GPU 使用率。
	GPU メモリ	このインスタンスの GPU メモリ使用量。
	GPU メモリ使用率	このインスタンスの GPU メモリ使用率。
ネットワーク	トラフィック	このインスタンスが受信および送信したトラフィック (ビット/秒)。ここで： In：受信トラフィック。 Out：送信トラフィック。
ネットワーク	TCP 接続数	TCP 接続の数。

複数インスタンス監視ダッシュボード

分レベルおよび秒レベルのメトリクス：

分レベル

メトリック	説明
インスタンス QPS	各インスタンスの 1 秒あたりのリクエスト数。リターンコード別にグループ化されます。
インスタンス RT	各インスタンスの平均応答時間。
インスタンス CPU	各インスタンスの CPU 使用量 (CPU コア単位)。
インスタンスメモリ -- RSS	各インスタンスの常駐物理メモリサイズ。
インスタンスメモリ -- キャッシュ	各インスタンスのキャッシュサイズ。
インスタンス GPU	各インスタンスの GPU 使用率。
インスタンス GPU メモリ	各インスタンスの GPU メモリ使用量。
インスタンス TCP 接続数	各インスタンスの TCP 接続数。

セカンドレベル

重要

データ粒度は 5 秒です。過去 1 時間のデータのみが保持されます。

メトリック	説明
インスタンス QPS (詳細)	各インスタンスが受信した 1 秒あたりのリクエスト数。リターンコード別にグループ化されます。
インスタンス RT (詳細)	各インスタンスが受信したリクエストの平均応答時間。

GPU 監視ダッシュボード

サービスレベルおよびインスタンスレベルの GPU メトリクス。サービスレベルの値は、すべてのインスタンスで平均化されます。

メトリック	説明
GPU 使用率	サービスの GPU 使用率。
GPU メモリ	サービスの GPU メモリ使用量と合計 GPU メモリ。使用済み：GPU メモリ使用量。合計：合計 GPU メモリ。
メモリコピー使用率	サービスの GPU メモリコピー使用率。
GPU メモリ使用率	サービスの GPU メモリ使用率。計算式：メモリ使用量 ÷ 合計メモリ。
PCIe	DCGM によって測定されたサービスの PCIe (Peripheral Component Interconnect Express) レート。PCIe は、高速シリアルコンピュータ拡張バス規格です。 PCIe 送信：PCIe 送信レート。 PCIe 受信：PCIe 受信レート。
メモリ帯域幅	サービスの GPU メモリ帯域幅メトリック。
SM 使用率と占有率	サービスの SM (ストリーミングマルチプロセッサ) 関連メトリック。SM は GPU のコアコンポーネントであり、並列計算タスクの実行とスケジューリングを担当します。 SM 使用率：SM 使用率。 SM 占有率：SM 上に常駐する Warp スレッドの比率。
グラフィックスエンジン使用率	サービスの GPU グラフィックスエンジン使用率。
パイプアクティブ率	サービスの GPU 計算パイプラインのアクティビティレート。 Pipe Fp32 Active Ratio：FP32 パイプラインのアクティビティレート。 Pipe Fp16 Active Ratio：FP16 パイプラインのアクティビティレート。 Pipe Tensor Active Ratio：テンソルパイプラインのアクティビティレート。
Tflops 使用量	サービスの GPU 計算パイプラインの Tflops (テラフロップス) 計算量。 FP32 Tflops Used：FP32 パイプラインの Tflops 計算量。 FP16 Tflops Used：FP16 パイプラインの Tflops 計算量。 Tensor Tflops Used：テンソルパイプラインの Tflops 計算量。
DRAM アクティブ率	データを送受信する GPU デバイスインターフェイスのアクティビティレート。
SM クロック	サービスの SM クロック周波数。
GPU 温度	サービスの GPU 温度関連メトリック。 GPU 温度：GPU 温度。 GPU 速度低下温度：GPU 速度制限温度のしきい値。GPU 温度がこの値に達すると、GPU は過熱を防ぐために動作周波数を自動的に下げます。 GPU シャットダウン温度：GPU シャットダウン温度のしきい値。GPU 温度がこの値に達すると、システムは GPU デバイスを強制的にシャットダウンします。これにより、GPU の過熱によるハードウェアの損傷や、より深刻なシステム障害を防ぎます。
電力使用量	サービスの GPU 消費電力。

以下は、GPU のヘルスステータスとアノマリー情報に関するメトリクスです：

メトリック	説明
GPU ヘルスカウント	サービスの正常な GPU カードの数。
GPU ロストカード数	サービスの損失した GPU カードの数。
ECC エラー数	サービスの ECC エラー数。ECC (誤り訂正符号) は、GPU メモリデータの送信またはストレージ中にエラーを検出して訂正します。 Volatile SBE ECC Error：サービスのシングルビット揮発性 ECC エラーの数。 Volatile DBE ECC Error：サービスのダブルビット揮発性 ECC エラーの数。 Aggregate SBE ECC Error：サービスのシングルビット永続 ECC エラーの数。 Aggregate DBE ECC Error：サービスのダブルビット永続 ECC エラーの数。 Uncorrectable ECC Error：サービスの訂正不可能な ECC エラーの数。
NVSwitch エラー数	サービスの NVSwitch エラー数。NVSwitch は、複数の GPU 間の高速通信のために、高帯域幅、低レイテンシの通信チャネルを提供します。 NVSwitch Fatal Error：サービスの致命的な NVSwitch エラーの数。 NVSwitch Non-Fatal Error：サービスの致命的でない NVSwitch エラーの数。
Xid エラー数	サービスの Xid エラー数。Xid エラーは、GPU ドライバーによって報告されるエラーコードです。GPU が動作中に遭遇した問題を示します。これらのエラーは通常、システムログ (Linux の dmesg や Windows のイベントビューアーなど) に記録され、Xid コードとして表されます。 Xid Error：サービスの致命的でない Xid エラーの数。 Fatal Xid Error：サービスの致命的な Xid エラーの数。
カーネルエラー数	サービスの非 Xid エラー数。非 Xid エラーとは、Xid エラーを除く、カーネルログで報告される他の種類のエラーを指します。
ドライバーハング	サービスの GPU ドライバーハングの数。
再マップステータス	GPU が GPU メモリ行を再マップしようとしたときのサービスの状態。

VLLM 監視ダッシュボード

複数インスタンスのサービスの場合、スループットメトリクスは合計され、レイテンシメトリクスはインスタンス間で平均化されます。

メトリック	説明
リクエストステータス	サービスの総リクエスト数。実行中：GPU で実行中のリクエスト数。待機中：処理を待機しているリクエスト数。スワップ済み：CPU にスワップされたリクエスト数。
トークンスループット	サービスのすべてのリクエストの入力トークンと生成トークンの数。 TPS_IN：入力トークン数。 TPS_OUT：出力トークン数。
リクエスト完了ステータス	サービスのすべてのリクエストの完了ステータス統計。 preemptions：プリエンプトされたリクエスト。 stop：自然終了により正常に完了したリクエスト (モデルが <EOS> などの停止トークンを出力)。 length：最大出力トークン長に達したリクエスト。 abort：強制的に終了されたリクエスト。
最初のトークンまでの時間	サービスのすべてのリクエストの最初のトークンまでの時間レイテンシ (リクエストを受信してから最初のトークンを生成するまでの時間)。 Avg：すべてのリクエストの平均最初のトークンまでの時間レイテンシ。 TPXX：すべてのリクエストの最初のトークンまでの時間レイテンシのパーセンタイル値。
出力トークンあたりの時間	サービスのすべてのリクエストの出力トークンあたりの時間レイテンシ (最初のトークンが生成された後、各出力トークンに必要な平均時間)。 Avg：すべてのリクエストのトークンあたりの平均時間レイテンシ。 TPXX：すべてのリクエストのトークンあたりの時間レイテンシのパーセンタイル値。
E2E リクエストレイテンシ	サービスのすべてのリクエストのエンドツーエンドレイテンシ (リクエストを受信してからすべてのトークンを返すまでの時間)。 Avg：すべてのリクエストの平均エンドツーエンドレイテンシ。 TPXX：すべてのリクエストのエンドツーエンドレイテンシのパーセンタイル値。
キュー時間	サービスのすべてのリクエストのキュー待機レイテンシ (リクエストがエンジン処理を待機する時間)。 Avg：すべてのリクエストの平均キュー待機レイテンシ。 TPXX：すべてのリクエストのキュー待機レイテンシのパーセンタイル値。
推論時間	サービスのすべてのリクエストの推論レイテンシ (リクエストがエンジンによって処理される時間)。 Avg：すべてのリクエストの平均推論レイテンシ。 TPXX：すべてのリクエストの推論レイテンシのパーセンタイル値。
プレフィル時間	サービスのすべてのリクエストのプレフィル段階のレイテンシ (エンジンがリクエスト入力トークンを処理する時間)。 Avg：すべてのリクエストの平均プレフィルレイテンシ。 TPXX：すべてのリクエストのプレフィルレイテンシのパーセンタイル値。
デコード時間	サービスのすべてのリクエストのデコード段階のレイテンシ (エンジンが出力トークンを生成する時間)。 Avg：すべてのリクエストの平均デコードレイテンシ。 TPXX：すべてのリクエストのデコードレイテンシのパーセンタイル値。
入力トークン長	サービスによって処理された入力トークンの数。 Avg：すべてのリクエストの平均入力トークン長。 TPXX：すべてのリクエストの入力トークン長のパーセンタイル値。
出力トークン長	サービスによって生成された出力トークンの数。 Avg：すべてのリクエストの平均出力トークン長。 TPXX：すべてのリクエストの出力トークン長のパーセンタイル値。
リクエストパラメーター (params_n & max_tokens)	サービスのすべてのリクエストのパラメーター N とパラメーター max_tokens。 Params_n：すべてのリクエストのパラメーター N の平均値。 Params_max_tokens：すべてのリクエストのパラメーター max_tokens の平均値。
GPU KV キャッシュ使用量	サービスの平均 GPU KV キャッシュ使用率。
CPU KV キャッシュ使用量	サービスの平均 CPU KV キャッシュ使用率。
プレフィックスキャッシュヒット率	サービスのすべてのリクエストの平均プレフィックスキャッシュヒット率。 GPU：すべてのリクエストの平均 GPU プレフィックスキャッシュヒット率。 CPU：すべてのリクエストの平均 CPU プレフィックスキャッシュヒット率。
エンドポイント別 HTTP リクエスト	サービスのリクエスト数。リクエストメソッド、パス、および応答状態コード別にグループ化されます。
HTTP リクエストレイテンシ	サービスの異なるリクエストパスの平均レイテンシ。
投機的デコーディングスループット	サービスの投機的デコーディング数。複数インスタンスのサービスの場合、インスタンス間で平均化されます。 Drafts：生成されたドラフトトークン数。 Draft Tokens：処理されたドラフトトークン数。 Accepted Tokens：受け入れられたドラフトトークン数。 Emitted Tokens：発行されたドラフトトークン数。
投機的デコーディング効率	サービスの投機的デコーディングのパフォーマンス。 Draft Acceptance Rate：受け入れられたドラフトトークンの平均比率。 Efficiency：投機的デコーディングの平均効率。
位置別トークン受け入れ	サービスの異なる生成位置で受け入れられたドラフトトークンの数。複数インスタンスのサービスの場合、インスタンス間で平均化されます。

SGLang 監視ダッシュボード

複数インスタンスのサービスの場合、スループットメトリクスは合計され、レイテンシメトリクスはインスタンス間で平均化されます。

メトリック	説明
リクエスト数	サービスの総リクエスト数。実行中：GPU で実行中のリクエスト数。待機中：処理を待機しているリクエスト数。
トークンスループット	サービスのすべてのリクエストの入力トークンと生成トークンの数。 TPS_IN：入力トークン数。 TPS_OUT：出力トークン数。
最初のトークンまでの時間	サービスのすべてのリクエストの最初のトークンまでの時間レイテンシ。最初のトークンまでの時間レイテンシは、リクエストを受信してから最初のトークンを生成するまでの時間です。 Avg：すべてのリクエストの平均最初のトークンまでの時間レイテンシ。 TPXX：すべてのリクエストの最初のトークンまでの時間レイテンシのパーセンタイル値。
出力トークンあたりの時間	サービスのすべてのリクエストの出力トークンあたりの時間レイテンシ。トークンあたりの時間レイテンシは、最初のトークンが生成された後、後続の各出力トークンに必要な平均時間です。 Avg：すべてのリクエストのトークンあたりの平均時間レイテンシ。 TPXX：すべてのリクエストのトークンあたりの時間レイテンシのパーセンタイル値。
E2E リクエストレイテンシ	サービスのすべてのリクエストのエンドツーエンドレイテンシ。エンドツーエンドレイテンシは、リクエストを受信してからすべてのトークンを返すまでの時間です。 Avg：すべてのリクエストの平均エンドツーエンドレイテンシ。 TPXX：すべてのリクエストのエンドツーエンドレイテンシのパーセンタイル値。
キャッシュヒット率	サービスのすべてのリクエストの平均プレフィックスキャッシュヒット率。
使用済みトークン数	サービスが使用した KV キャッシュトークンの数。複数インスタンスのサービスの場合、インスタンス間で平均化されます。
トークン使用量	サービスの平均 KV キャッシュトークン使用率。複数インスタンスのサービスの場合、インスタンス間で平均化されます。

よくある質問

LLM モニタリングダッシュボードが表示されない

問題：カスタム EAS デプロイメント後、モニタリングページにはサービスダッシュボードと GPU ダッシュボードしか表示されません。LLM モニタリングが表示されません。

原因：サービス構成に、推論エンジンタイプを宣言する ServiceEngineType タグがありません。

説明

ServiceEngineType タグのみが LLM モニタリングに影響します。他のモデルギャラリーのデプロイメントパラメーターは影響しません。

解決策：サービス構成を更新して ServiceEngineType タグを追加し、使用する推論エンジンに基づいてその値を設定します (vllm または sglang のみがサポートされています)。例：

{
  "labels": {
    "ServiceEngineType": "vllm"
  }
}

Q：なぜ /metrics 200 がログに頻繁に表示されるのですか？

ServiceEngineType タグが有効になると、EAS バックエンドはすべての Pod で 10～15 秒ごとに推論フレームワークの /metrics エンドポイントをポーリングします。このエンドポイントは、LLM モニタリングダッシュボード用に Prometheus フォーマットでリアルタイムのメトリクスを返します。

Platform For AI:サービス監視の概要

モニタリングデータの表示

ダッシュボードの切り替え

時間範囲の切り替え

監視メトリクス

サービス監視ダッシュボード (分レベル)

単一インスタンス監視ダッシュボード (分レベル)

複数インスタンス監視ダッシュボード

GPU 監視ダッシュボード

VLLM 監視ダッシュボード

SGLang 監視ダッシュボード

よくある質問

LLM モニタリングダッシュボードが表示されない

Q：なぜ /metrics 200 がログに頻繁に表示されるのですか？

関連ドキュメント

モニタリングデータの表示

ダッシュボードの切り替え

時間範囲の切り替え

監視メトリクス

サービス監視ダッシュボード (分レベル)

単一インスタンス監視ダッシュボード (分レベル)

複数インスタンス監視ダッシュボード

GPU 監視ダッシュボード

VLLM 監視ダッシュボード

SGLang 監視ダッシュボード

よくある質問

LLM モニタリングダッシュボードが表示されない

Q： なぜ /metrics 200 がログに頻繁に表示されるのですか？

関連ドキュメント

Q：なぜ /metrics 200 がログに頻繁に表示されるのですか？