Alibaba Cloud Model Studio:モデル観測

カスタムアプリケーションへの接続

次の例は、Prometheus HTTP API を使用してモニタリングデータを取得する方法を示しています。完全な API の使用方法の詳細については、Prometheus HTTP API リファレンスをご参照ください。

• 例 1：指定された時間範囲 (2025 年 11 月 20 日終日、UTC) 内で、ステップサイズ step=60s で、ご利用の Alibaba Cloud アカウント配下のすべてのワークスペースのすべてのモデルのトークン消費量 (query=model_usage) をクエリします。

  例

  パラメーターの説明

  GET {HTTP API}/api/v1/query_range?query=model_usage&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：query の値は、以下のモニタリングメトリックリストの任意のメトリック名に置き換えることができます。 モニタリングメトリックの表示 タイプ メトリック名 説明 呼び出し回数 model_call_count モデルの総呼び出し回数 呼び出し期間 model_call_duration_total モデルの総呼び出し期間 model_call_duration モデルの平均呼び出し期間 model_call_duration_p50 モデル呼び出しの p50 レイテンシー model_call_duration_p99 モデル呼び出しの p99 レイテンシー model_first_token_duration_total 最初のトークンまでの合計時間 model_first_token_duration 最初のトークンまでの平均時間 model_first_token_duration_p50 最初のトークンまでの p50 時間 model_first_token_duration_p99 最初のトークンまでの p99 時間 最初のトークン以外のトークンあたりの時間 model_generation_duration_per_token_total 最初のトークン以外のトークンあたりの合計時間 model_generation_duration_per_token 最初のトークン以外のトークンあたりの平均時間 model_generation_duration_per_token_p50 最初のトークン以外のトークンあたりの p50 時間 model_generation_duration_per_token_p99 最初のトークン以外のトークンあたりの p99 時間 使用量 model_usage モデルの総使用量 HTTP API：{HTTP API} をステップ 1で取得した HTTP API アドレスに置き換えます。 Authorization：ご利用の Alibaba Cloud アカウントの AccessKey:AccessKeySecret を連結し、結果の文字列を Base64 エンコードして、Basic <encoded-string> の形式で指定します。 値の例： Basic TFRBSTV3OWlid0U4XXXXU0xb1dZMFVodmRsNw== 注意：AccessKey とAccessKey Secret は、ステップ 1 の Prometheus インスタンスと同じ Alibaba Cloud アカウントに属している必要があります。

• 例 2：例 1 に基づいて、フィルターを追加して、特定のワークスペース (workspace_id=llm-nymssti2mzww****) 内の特定のモデル (model=qwen-plus) のトークン消費量のみを取得します。

  例

  説明

  GET {HTTP API}/api/v1/query_range?query=model_usage{workspace_id="llm-nymssti2mzww****",model="qwen-plus"}&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：複数のフィルター条件を {} で囲み、カンマで区切ります。例：{workspace_id="value1",model="value2"}。以下はサポートされているフィルター条件 (LabelKey) です。 サポートされているフィルター条件の表示 LabelKey 説明 user_id Alibaba Cloud アカウントの ID。 RAM ユーザーの場合、これはプライマリアカウントの UID です。詳細については、ID の取得方法 apikey_id API キーの ID であり、API キー自体ではありません。この ID は、[キー管理](国際エディション | 中国本土エディション) ページから取得できます。 説明 apikey_id の値が -1 の場合、API 呼び出しではなく、Model Studio コンソールからの呼び出しであることを示します。 workspace_id ワークスペースの ID。ID の取得方法をご確認ください。 model モデル。 protocol プロトコルタイプ。有効な値は次のとおりです。 HTTP：非ストリーミング HTTP。 SSE：ストリーミング HTTP。 WS：WebSocket プロトコル。 sub_protocol サブプロトコル。有効な値は次のとおりです。 DEFAULT：同期呼び出し。 ASYNC：非同期呼び出し。 これは画像生成モデルで一般的です。詳細については、テキストから画像への生成 status_code HTTP ステータスコード。 この LabelKey は model_call_count モニタリングメトリックでのみサポートされています。 error_code エラーコード。 この LabelKey は model_call_count モニタリングメトリックでのみサポートされています。 usage_type 使用タイプ この LabelKey は model_usage モニタリングメトリックでのみサポートされています。 指定可能な値： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

Grafana への接続

Grafana (セルフホストまたは Alibaba Cloud Grafana サービス) にモデル観測データソースを追加します。このトピックでは、Grafana 10.x (英語版) を例として使用します。他のバージョンの手順も同様です。詳細については、Grafana 公式ドキュメントをご参照ください。

1. データソースの追加：

   1. 管理者アカウントを使用して Grafana にログインします。ページの左上隅にある アイコンをクリックし、[Administration] > [Data Sources] を選択します。[+ Add New Data Source] をクリックします。データソースタイプとして [Prometheus] を選択します。

   2. [Settings] タブで、データソース情報を設定します。

      • Name：カスタム名を入力します。

      • Prometheus server URL：ステップ 1で取得した HTTP API アドレスを入力します。

      • Auth：[Basic Auth] を有効にし、[User] (ご利用の Alibaba Cloud アカウントのAccessKey) と [Password] (ご利用の Alibaba Cloud アカウントのAccessKey Secret) を設定します。

        AccessKey と AccessKey Secret は、ステップ 1 の Prometheus インスタンスと同じ Alibaba Cloud アカウントに属している必要があります。

      

   3. タブの下部にある [Save & Test] をクリックします。

2. メトリックのクエリ：

   1. Grafana ページの左上隅にある アイコンをクリックし、左側のナビゲーションウィンドウで [Dashboards] をクリックします。

   2. [Dashboards] ページの右側にある [New] > [New Dashboard] をクリックして、新しいダッシュボードを作成します。

   3. [+ Add Visualization] をクリックし、先ほど作成したデータソースを選択します。

   4. [Edit Panel] ページで、[Query] タブをクリックします。[A] エリアで、[Label Filters] フィールドの [_name_] とメトリック名を選択します。たとえば、モデルのトークン消費量 model_usage をクエリするには、次のようにします。

      例

      説明

      この例では、_name_ (model_usage) の値は、モニタリングメトリックリストの任意のメトリック名に置き換えることができます。 モニタリングメトリックの表示 タイプ メトリック名 説明 呼び出し回数 model_call_count モデルの総呼び出し回数 呼び出し期間 model_call_duration_total モデルの総呼び出し期間 model_call_duration モデルの平均呼び出し期間 model_call_duration_p50 モデル呼び出しの p50 レイテンシー model_call_duration_p99 モデル呼び出しの p99 レイテンシー model_first_token_duration_total 最初のトークンまでの合計時間 model_first_token_duration 最初のトークンまでの平均時間 model_first_token_duration_p50 最初のトークンまでの p50 時間 model_first_token_duration_p99 最初のトークンまでの p99 時間 最初のトークン以外のトークンあたりの時間 model_generation_duration_per_token_total 最初のトークン以外のトークンあたりの合計時間 model_generation_duration_per_token 最初のトークン以外のトークンあたりの平均時間 model_generation_duration_per_token_p50 最初のトークン以外のトークンあたりの p50 時間 model_generation_duration_per_token_p99 最初のトークン以外のトークンあたりの p99 時間 使用量 model_usage モデルの総使用量 クエリをさらに絞り込むために、以下のラベルフィルターを追加できます。 サポートされているフィルター条件の表示 LabelKey 説明 user_id Alibaba Cloud アカウントの ID。 RAM ユーザーの場合、これはプライマリアカウントの UID です。詳細については、ID の取得方法 apikey_id API キーの ID であり、API キー自体ではありません。この ID は、[キー管理](国際版 | 中国本土版) ページで取得できます。 説明 apikey_id の値が -1 の場合、API 呼び出しではなく、Model Studio コンソールからの呼び出しであることを示します。 workspace_id ワークスペースの ID。ID の取得方法をご確認ください。 model モデル。 protocol プロトコルタイプ。有効な値は次のとおりです。 HTTP：非ストリーミング HTTP。 SSE：ストリーミング HTTP。 WS：WebSocket プロトコル。 sub_protocol サブプロトコル。有効な値は次のとおりです。 DEFAULT：同期呼び出し。 ASYNC：非同期呼び出し。 これは画像生成モデルで一般的です。詳細については、テキストから画像への生成 status_code HTTP ステータスコード。 この LabelKey は model_call_count モニタリングメトリックでのみサポートされています。 error_code エラーコード。 この LabelKey は model_call_count モニタリングメトリックでのみサポートされています。 usage_type 使用タイプ この LabelKey は model_usage モニタリングメトリックでのみサポートされています。 指定可能な値： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

   5. [Run Queries] をクリックします。

      チャートにデータが正常にレンダリングされた場合、設定は成功です。そうでない場合は、以下を確認してください：1) HTTP API アドレス、AccessKey、および AccessKey Secret が正しいこと。2) ステップ 1の Prometheus インスタンスにモニタリングデータが含まれていること。