Alibaba Cloud Model Studio：模型監控

接入自建應用

通過Prometheus HTTP API擷取監控資料的樣本如下。完整 API 用法，請參考Prometheus HTTP API文檔。

• 樣本1：查詢阿里雲帳號下全部業務空間在指定時間範圍內（2025年11月20日全天，UTC時間）所有模型的Token消耗（query=model_usage），步長step=60s。

  樣本

  參數說明

  GET {HTTP API}/api/v1/query_range?query=model_usage&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：query對應的值可替換為下方監控指標列表中的任意指標名稱。 展開查看監控指標 類型 指標名稱 描述 調用次數 model_call_count 模型調用次數總和 調用時間長度 model_call_duration_total 模型調用時間長度總和 model_call_duration 模型調用時間長度均值 model_call_duration_p50 模型調用時間長度p50 model_call_duration_p99 模型調用時間長度p99 model_first_token_duration_total 模型首包時間長度總和 model_first_token_duration 模型首包時間長度均值 model_first_token_duration_p50 模型首包時間長度p50 model_first_token_duration_p99 模型首包時間長度p99 非首包時間長度 model_generation_duration_per_token_total 模型非首包時間長度總和 model_generation_duration_per_token 模型非首包時間長度均值 model_generation_duration_per_token_p50 模型非首包時間長度p50 model_generation_duration_per_token_p99 模型非首包時間長度p99 用量 model_usage 模型用量總和 HTTP API：{HTTP API}需替換為前面步驟一擷取的HTTP API地址。 Authorization：需將阿里雲帳號的 AccessKey:AccessKeySecret 拼接後進行Base64編碼，並以 Basic 編碼後字串 的形式提供。 樣本值：Basic TFRBSTV3OWlid0U4XXXXU0xb1dZMFVodmRsNw== 請注意：AccessKey及AccessKey Secret與前面步驟一的Prometheus執行個體必須歸屬同一阿里雲帳號。

• 樣本2：在樣本1基礎上增加篩選，僅擷取指定模型（model=qwen-plus）在指定業務空間（workspace_id=llm-nymssti2mzww****）內的Token消耗。

  樣本

  說明

  GET {HTTP API}/api/v1/query_range?query=model_usage{workspace_id="llm-nymssti2mzww****",model="qwen-plus"}&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s Accept: application/json Content-Type: application/json Authorization: Basic base64Encode(AccessKey:AccessKeySecret)

  query：通過{} 包裹多個過濾條件，條件之間以英文逗號分隔，例如：{workspace_id="值1",model="值2"} 。支援的過濾條件（LabelKey）清單如下。 展開查看支援的過濾條件 LabelKey 描述 user_id 阿里雲帳號ID。 RAM使用者為UID。如何擷取 apikey_id API Key ID（非API Key），可在密鑰管理（新加坡| 美國 | 北京）頁面擷取。 說明 apikey_id 值為 -1 表示調用源自阿里雲百鍊控制台，而非通過API。 workspace_id 業務空間ID。如何擷取 model 模型。 protocol 協議類型。可能取值： HTTP：HTTP非流式 SSE：HTTP流式 WS：Websocket協議 sub_protocol 子協議。可能取值： DEFAULT：同步調用 ASYNC：非同步呼叫 常見於映像產生模型。文本產生映像 status_code HTTP狀態代碼。 僅model_call_count監控指標支援該LabelKey。 error_code 錯誤碼。 僅model_call_count監控指標支援該LabelKey。 usage_type 用量類型。 僅model_usage監控指標支援該LabelKey。 可能取值： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

接入 Grafana

在 Grafana（自建或阿里雲 Grafana 服務）中添加模型監控資料來源。此處以Grafana 10.x（英文版）為例。其他版本的操作類似，詳情請參考Grafana官方文檔。

1. 添加資料來源：

   1. 使用管理員帳號登入Grafana。點擊頁面左上方的表徵圖，選擇Administration > Data sources。點擊+ Add new data source，資料來源類型選擇Prometheus。

   2. 在Settings頁簽配置資料來源資訊：

      • Name：輸入自訂的名稱。

      • Prometheus server URL：輸入前面步驟一擷取的HTTP API地址。

      • Auth：開啟Basic auth，並設定User（阿里雲帳號的AccessKey）及Password（阿里雲帳號的AccessKey Secret）。

        AccessKey及AccessKeySecret與前面步驟一的Prometheus執行個體必須歸屬同一阿里雲帳號。

      

   3. 點擊頁簽底部的Save & Test。

2. 指標查詢：

   1. 點擊Grafana頁面左上方的表徵圖，在左側導覽列中點擊Dashboards。

   2. 點擊Dashboards頁面右側的New > New dashboard建立一個新的儀錶盤。

   3. 點擊+ Add visualization，並選擇您剛建立的資料來源。

   4. 在Edit Panel頁面點擊Query頁簽，在A地區的Label filters欄位中選擇_name_及指標名稱。以查詢模型Token消耗model_usage為例：

      樣本

      說明

      圖中_name_對應的值（model_usage）可替換為下方監控指標列表中的任意指標名稱。 展開查看監控指標 類型 指標名稱 描述 調用次數 model_call_count 模型調用次數總和 調用時間長度 model_call_duration_total 模型調用時間長度總和 model_call_duration 模型調用時間長度均值 model_call_duration_p50 模型調用時間長度p50 model_call_duration_p99 模型調用時間長度p99 model_first_token_duration_total 模型首包時間長度總和 model_first_token_duration 模型首包時間長度均值 model_first_token_duration_p50 模型首包時間長度p50 model_first_token_duration_p99 模型首包時間長度p99 非首包時間長度 model_generation_duration_per_token_total 模型非首包時間長度總和 model_generation_duration_per_token 模型非首包時間長度均值 model_generation_duration_per_token_p50 模型非首包時間長度p50 model_generation_duration_per_token_p99 模型非首包時間長度p99 用量 model_usage 模型用量總和 增加以下Label filters進一步篩選： 展開查看支援的過濾條件 LabelKey 描述 user_id 阿里雲帳號ID。 RAM使用者為UID。如何擷取 apikey_id API Key ID（非API Key），可在密鑰管理（新加坡| 美國 | 北京）頁面擷取。 說明 apikey_id 值為 -1 表示調用源自阿里雲百鍊控制台，而非通過API。 workspace_id 業務空間ID。如何擷取 model 模型。 protocol 協議類型。可能取值： HTTP：HTTP非流式 SSE：HTTP流式 WS：Websocket協議 sub_protocol 子協議。可能取值： DEFAULT：同步調用 ASYNC：非同步呼叫 常見於映像產生模型。文本產生映像 status_code HTTP狀態代碼。 僅model_call_count監控指標支援該LabelKey。 error_code 錯誤碼。 僅model_call_count監控指標支援該LabelKey。 usage_type 用量類型。 僅model_usage監控指標支援該LabelKey。 可能取值： total_tokens input_tokens output_tokens cache_tokens image_tokens audio_tokens video_tokens image_count audio_count video_count duration characters audio_tts times

   5. 點擊Run queries進行查詢。

      如果圖表中成功渲染出資料，則說明配置成功。否則請檢查：1）填寫的HTTP API地址或AccessKey及AccessKeySecret是否正確；2）前面步驟一的Prometheus執行個體中是否有監控資料。