全部產品
Search
文件中心

Alibaba Cloud Model Studio:模型監控

更新時間:Oct 27, 2026

模型監控功能可用於:

模型監控概述

Model Studio 提供統一的模型監控。模型呼叫發生後數分鐘內即會反映在監控圖表中,協助您即時追蹤模型呼叫情況。監控資料依業務空間隔離:您只能查看目前選定業務空間的資料。監控資料僅供參考,不作為計費依據;如需對帳,請在費用與成本中查看帳單。

說明監控與警示的支援範圍依模型而異:部分模型(如語音、圖片與影片生成模型,以及直接接入的第三方模型)不支援,請以控制台確認為準。

本文依功能模組組織:排查模型呼叫問題請從審計日誌入手;設定警示請參見警示章節;開啟資料投遞請參見資料投遞章節。

依維度篩選監控資料

您可按時間(快速預設與自訂)、推理類型與 API-Key(預設全部;顯示 ID 與描述,且僅列出目前業務空間中存在的 API Key)篩選監控資料。時間粒度篩選僅在模型監控詳情頁提供。

查看整體呼叫規模與健康度

總覽頁以資料卡片展示模型總數、總呼叫次數、總失敗次數、平均呼叫時長、平均首Token時間(首Token延時)等資訊,讓您快速掌握整體呼叫規模與健康度。

查看模型的監控詳情或日誌

模型列表展示目前業務空間中各模型的監控資料。點擊查看詳情可開啟模型監控詳情頁,點擊查看日誌可開啟日誌頁的審計日誌頁簽。登入Model Studio 控制台,在左側導覽列選擇營運 > 模型監控,即可開啟監控總覽頁。

模型監控詳情

在監控總覽頁的模型列表中找到目標模型,點擊查看詳情開啟其模型監控詳情頁。頁面頂部的導覽路徑為:模型監控 > 模型名稱。

詳情頁展示單一模型的呼叫統計與效能圖表,並提供警示設定入口:指標圖表上的警示鈴鐺可快速為目前模型或指標設定警示(跨模型的完整規則管理請參見警示章節)。篩選條件與總覽頁相同(時間、時間粒度、推理類型與 API Key),從總覽頁進入時會保留總覽頁的設定。如需查看日誌,請返回總覽頁的模型列表並點擊查看日誌入口(參見日誌章節)。

監控指標

詳情頁的指標分為呼叫統計與效能兩組。各指標的含義、參考說明與警示支援情況如下表所示。

指標名稱說明參考說明警示支援
呼叫次數模型被呼叫的總次數視業務而定可設定
用量Token 總量視業務而定可設定
失敗次數失敗呼叫的數量視業務而定可設定
失敗率失敗次數除以總呼叫次數視業務而定可設定
呼叫時長從請求到回應的總時間視模型與情境而定可設定
首Token時間從請求到回傳首個 Token 的延遲視模型與情境而定可設定
非首Token延時首個 Token 之後產生每個 Token 的平均時間視模型與情境而定不支援
模型 TotalToken 消耗按模型彙總的 Token 消耗總量(預設警示範本專用指標)視業務而定可設定
單次請求平均用量每次請求的平均 Token 數視業務而定不支援
內容安全錯誤次數內容安全攔截的次數視業務而定不支援
限流錯誤次數429 限流觸發的次數視業務而定可設定
RPM每分鐘請求數視業務而定不支援
TPM每分鐘 Token 數視業務而定不支援
每秒輸出 Token 數(TPS)每秒輸出的 Token 數視模型與情境而定不支援
Context Cache 命中量Context Cache 命中的 Token 數量視模型與情境而定不支援
Context Cache 命中率快取命中 Token 佔輸入 Token 的比例視模型與情境而定不支援

說明指標是否支援警示,取決於它是否包含在預設警示範本中(預設範本參見「警示 > 警示範本」)。未包含在預設範本中的指標(如內容安全錯誤次數與 RPM)不顯示警示鈴鐺,無法設定警示。

如需了解錯誤碼與限流的詳細資訊,請參見錯誤碼。

重要排查失敗呼叫激增時,請重點關注失敗次數、限流錯誤次數與失敗率。診斷效能劣化時,請留意首Token時間與平均呼叫時長是否持續上升,並為關鍵指標設定警示。

警示鈴鐺設定

支援警示的指標會在其圖表上顯示警示鈴鐺圖示。點擊鈴鐺可開啟警示規則設定側邊欄(欄位詳情參見「警示規則管理」章節)。鈴鐺圖示與側邊欄狀態標籤的含義如下:

類型狀態顏色含義
鈴鐺圖示未設定警示灰色未設定警示規則;點擊可開啟設定側邊欄
鈴鐺圖示已設定警示,正常藍色已設定規則且目前未被觸發;點擊可查看規則詳情
鈴鐺圖示警示中紅色警示正在觸發;點擊可查看觸發詳情
側邊欄標籤正常綠色已設定規則且狀態正常
側邊欄標籤警示中紅色警示正在觸發
側邊欄標籤已停用灰色規則已關閉,不再產生警示

點擊鈴鐺後,警示側邊欄會依警示狀態顯示不同欄位(正常 = 未觸發、警示中 = 正在觸發、已恢復 = 觸發後已恢復):

欄位正常已恢復警示中
警示規則名稱顯示顯示顯示
警示規則 ID顯示顯示顯示
警示內容顯示顯示顯示
警示指標顯示顯示顯示
通知接收人顯示顯示顯示
警示目標顯示顯示顯示
開始時間隱藏顯示顯示
持續時間隱藏顯示顯示
警示次數隱藏顯示顯示
狀態隱藏顯示顯示
恢復時間隱藏顯示隱藏

警示

Model Studio 提供三項警示功能——警示規則、警示範本與警示歷史,均位於模型警示頁面的警示規則、警示範本與警示歷史頁簽下。

警示規則管理

在模型警示頁面點擊警示頁簽,開啟警示規則管理頁。警示規則列表展示目前生效的警示規則,支援建立、編輯、停用與刪除規則。列表會顯示通知接收人(聯絡人或聯絡人群組),並支援電子郵件等多種通知渠道。

首次設定警示的完整路徑:先在資料投遞 > 監控資料投遞中完成 CloudMonitor 服務角色授權,再在本章節建立警示規則(選擇警示範本並填寫各欄位),最後設定警示通知(聯絡人或聯絡人群組、通知時間範圍與重複策略)。

重要為控制 Token 成本,可為模型 TotalToken 消耗設定環比突增警示;為保障可用性,可為呼叫失敗率設定警示。兩者皆可直接使用預設警示範本。

建立警示規則前,必須先在模型監控投遞中完成 CloudMonitor 服務角色授權(設定方法請參見資料投遞 > 監控資料投遞)。未授權時,建立警示規則按鈕不可點擊,滑鼠懸停其上會顯示提示:「CloudMonitor 服務角色未授權,無法建立警示規則,點擊前往授權。」授權完成後,CloudMonitor 服務會在背景自動開通。

說明授權後,CloudMonitor、Alibaba Cloud Simple Log Service(SLS)與 Prometheus 會自動開通。警示規則可免費使用;已開通的產品則按實際用量計費。

  1. 點擊建立警示規則,開啟新頁面。
  2. 依下方欄位說明,填寫警示名稱、警示範本、模型、持續時間、警示檢查週期、警示內容與警示等級。
  3. 設定警示通知(警示聯絡人或聯絡人群組、通知時間範圍與重複策略),然後點擊建立完成。

表單欄位說明如下表。

欄位必填說明
警示名稱必填最長 50 個字元
警示範本必填從下拉式選單選擇預設或自訂範本,也可基於既有範本另存建立
模型選擇必填最多 50 個模型
持續時間必填以分鐘為單位指定
警示檢查週期必填預設 60 秒,單位為秒;必須為不小於 0 的整數(0 表示觸發後立即警示)
警示內容必填最長 200 個字元;支援變數(可插入業務空間、模型、目前值等佔位符)
警示等級選填INFO(普通)/ WARNING(警告)/ ERROR(錯誤)/ CRITICAL(緊急),預設為 INFO
警示聯絡人/聯絡人群組可多選來自 CloudMonitor 的聯絡人或聯絡人群組
通知時間範圍必填24 小時內的任意區間,可跨天(例如 23:00 至隔日 01:00)
重複策略必填不升級表示警示在未解決期間僅傳送一次;也可指定「小時+分鐘」的間隔重複傳送通知

已開通進階監控並設定了警示規則的存量使用者,可一鍵將警示規則從 CloudMonitor Prometheus 執行個體遷移至 Model Studio。目前僅支援遷移由平台建立的警示規則;在 CloudMonitor 側建立的警示規則無法遷移。

  1. 在警示規則列表上方,點擊立即遷移或遷移警示規則。
  2. 確認遷移來源:查看 Prometheus 執行個體的名稱與狀態,然後點擊開始檢測。
  3. 檢查警示規則:系統會檢測哪些警示規則可遷移、哪些不相容。選取並確認後,點擊開始遷移。
  4. 遷移警示規則:遷移期間顯示「遷移中」狀態,結束後顯示成功或失敗結果。遷移失敗時可重試;遷移成功後關閉對話方塊。

遷移後,Prometheus 執行個體中的警示規則會被停用(不會被刪除),您可在 Prometheus 側手動刪除。遷移任務保留 6 小時,遷移期間重新整理頁面不會中斷任務。遷移成功後無需再次遷移,遷移入口會隱藏,僅顯示一行成功訊息。

警示規則支援停用、編輯與刪除操作。

警示範圍:目前僅部分特定指標支援警示,可設定項已在模型監控詳情章節的指標表中逐行標註。

警示範本

警示範本是預設了觸發條件的警示設定,您可基於範本快速建立警示規則,無需從零開始設定。系統目前提供 12 個預設範本,您也可以自建範本。警示範本頁簽位於模型警示頁面,與警示規則頁簽、警示歷史頁簽同級。

點擊建立警示範本開啟警示範本建立側邊欄,填寫以下資訊:

  • 範本名稱:必填,最長 20 個字元。
  • 參數選擇:最多 10 個參數。可選擇所有規則皆符合條件時觸發警示(AND),或任一規則符合條件即觸發(OR)。
  • 指標:必填。選擇要監控警示的指標,下拉選項包含呼叫次數、失敗次數、失敗率、呼叫時長與首Token時間。
  • 警示閾值:必填。選擇比較運算子(>、>=、<、<=、==、!=)與數值。
  • 統計週期:以分鐘為單位,有效範圍為 1 至 10080 分鐘。

預設警示範本會在名稱後標註預設標籤,支援查看詳情與複製,不支援編輯與刪除;自訂警示範本支援查看詳情、編輯、刪除與複製。建議優先使用預設範本覆蓋常見警示情境(指標與閾值已按典型負載預設),只需填入參數即可使用;複合條件與業務專屬規則請使用自訂範本。預設警示範本支援的指標如下表所示:

預設警示範本名稱指標名稱
模型呼叫失敗次數:1 分鐘總和 > 10模型呼叫失敗次數
模型呼叫失敗率:1 分鐘總和 > 1%模型呼叫失敗率
模型 4xx 呼叫:1 分鐘總和 > 10模型 4xx 呼叫
模型 4xx 佔比:1 分鐘總和 > 1%模型 4xx 佔比
模型 429 呼叫:1 分鐘總和 > 10模型 429 呼叫
模型 429 佔比:1 分鐘總和 > 1%模型 429 佔比
模型 5xx 呼叫:1 分鐘總和 > 10模型 5xx 呼叫
模型 5xx 佔比:1 分鐘總和 > 1%模型 5xx 佔比
模型呼叫次數:1 分鐘總和 > 500模型呼叫次數
模型呼叫時長:1 分鐘平均 > 60 秒模型呼叫時長
模型首包時間:1 分鐘平均 > 10 秒模型首包時間(首Token時間)
模型 TotalToken 消耗:1 分鐘總和 > 10000模型 TotalToken 消耗

警示歷史

在模型警示頁面點擊歷史頁簽,可查看警示觸發記錄。警示歷史列表中,通知接收人僅顯示聯絡資訊,不顯示關聯的通知渠道資訊。

警示歷史支援按四個條件篩選:警示時間(快速預設與日曆)、警示規則、警示等級與狀態(已恢復或警示中)。

警示歷史列表展示以下欄位:

欄位說明
警示執行個體警示執行個體識別碼
警示等級普通 / 警告 / 錯誤 / 緊急
警示時間警示觸發的時間
警示次數該警示被觸發的次數
警示規則警示規則的名稱與 ID
狀態已恢復 / 警示中
通知接收人警示聯絡人或聯絡人群組
操作查看詳情(開啟警示詳情側邊欄)

點擊列表中的查看詳情,可開啟警示詳情側邊欄。詳情側邊欄中的狀態僅有兩種取值:已恢復與警示中。

日誌

Model Studio 預設記錄審計日誌(儲存在平台,無需設定),記錄每次模型呼叫的請求資訊,但不包含 Prompt 與 Response。推理日誌記錄完整的 Prompt 與 Response 及中間步驟,需手動開啟,並依賴日誌投遞將日誌寫入您自己的 Simple Log Service(SLS)Logstore(日誌投遞請參見資料投遞章節)。

審計日誌

所有使用者預設開啟審計日誌,無需設定,且儲存在 Model Studio 平台上。審計日誌記錄每次模型呼叫的請求資訊,包含 Request ID、時間、模型、Token 用量、延遲與狀態等核心指標,但不包含 Prompt 與 Response 內容。如需查看完整的 Prompt 與 Response 內容,請開啟推理日誌(開啟方法請參見「推理日誌」章節)。

篩選條件

審計日誌支援以下篩選條件:

  • 時間範圍:預設最近 7 天;支援查詢最多 30 天內的日誌。
  • 模型:下拉選擇;預設全部模型。
  • API-Key ID:下拉選擇。API Key 會顯示 ID 與描述;API Key 刪除後描述為空。
  • 狀態:可多選,包括 0(請求成功但使用者主動中斷)、200(成功)、4XX(使用者行為導致的異常)與 5XX(服務不可用)。
  • 推理類型:預設為即時推理。
  • 搜尋 Request ID:精確匹配。

日誌列表

審計日誌列表展示以下欄位:Request ID、呼叫時間、模型、用量、首Token時間、呼叫時長、狀態與錯誤碼。操作欄提供查看詳情,可開啟審計日誌詳情側邊欄。

詳情側邊欄

審計日誌詳情側邊欄支援列表與 JSON 兩種視圖切換:

  • 基本資訊:Request ID、呼叫時間、模型、API Key
  • 用量:總 Token 數、輸出 Token 數、輸入 Token 數
  • 效能:首Token時間、呼叫時長、狀態代碼、錯誤碼與錯誤訊息(如有)

如需建立與管理 API Key,請前往 Model Studio 控制台的系統管理。

推理日誌

推理日誌需手動開啟。在審計日誌的基礎上,推理日誌額外記錄完整的 Prompt 與 Response 及中間步驟,有助於除錯、最佳化與問題排查。推理日誌儲存在您自己的 Simple Log Service Logstore 中。

開啟推理日誌

推理日誌預設關閉,需先開啟審計日誌投遞。在日誌頁切換至推理日誌頁簽(未設定時該頁簽會顯示開啟引導頁),點擊開始設定開啟日誌投遞設定對話方塊;也可點擊日誌頁右上角的日誌投遞設定按鈕進入。完成授權與 Logstore 設定後,即可查看推理日誌列表。

說明推理日誌目前僅支援北京與新加坡地區,其他地區暫不支援。

日誌列表與詳情

推理日誌的篩選條件與審計日誌相同,僅移除推理類型篩選(即時推理/批次推理)。不支援推理日誌的模型會顯示「目前模型不支援」。

推理日誌列表在審計日誌的基礎上新增 Prompt 與 Response 資料,長度上限為 128K;超過 128K 的內容會被截斷,完整內容請查看實際呼叫日誌。

API Key 刪除後的顯示規則與審計日誌相同(列表不顯示描述,詳情僅顯示 ID)。

推理日誌可迴流為訓練資料集,詳細資訊請參見日誌迴流。

重要推理日誌記錄完整的 Prompt 與 Response,適合用於重現異常請求、除錯模型輸出與排查間歇性問題。

資料投遞

預設情況下,Model Studio 將監控指標與審計日誌儲存在平台上,您可直接在控制台查看,無需投遞。如需將監控指標或日誌投遞至您自己的雲端服務(用於長期保存或對接自有維運系統,會產生雲端服務費用),請開啟對應的資料投遞:監控資料投遞至 CloudMonitor Prometheus 執行個體,日誌投遞至 Simple Log Service(SLS)Logstore。日誌投遞也是推理日誌的前置條件。

說明開啟推理日誌並將日誌投遞至您自己的 SLS Logstore,會產生 Simple Log Service 費用。

在 SLS 側不支援修改索引,修改會導致查詢失敗。

請勿在 SLS 側刪除 Model Studio 建立的 SLS Logstore;刪除會導致日誌投遞失敗。

監控資料投遞

模型監控投遞入口位於監控總覽頁左上角。模型監控投遞會將 Model Studio 模型的監控資料自動投遞至阿里雲 CloudMonitor 的 Prometheus 執行個體,以統一管理監控資料。Model Studio 預設提供模型服務指標,無需額外設定即可在平台上查看。如需將指標投遞至您帳號下的 CloudMonitor 服務,請開啟資料投遞並設定目標資源。

設定步驟

新使用者設定模型監控投遞需執行以下步驟:

  1. 授權 CloudMonitor 服務角色。
  2. 開通 CloudMonitor 服務。
  3. 建立 CloudMonitor Prometheus 監控執行個體。

模型監控投遞目前僅支援 CloudMonitor Prometheus 執行個體,不支援自建 Prometheus。已開啟監控投遞的存量使用者會自動遷移既有設定,平台監控資料會自動投遞至先前開啟的 Prometheus 執行個體,且該執行個體不可變更。投遞開啟後,監控資料會同時儲存在平台側與使用者側。

說明已開啟進階監控的存量使用者預設會開啟監控資料投遞;如不需要,可在模型監控投遞入口停用。

投遞狀態

設定資料投遞後,模型監控投遞旁會顯示狀態指示:

  • 投遞中(綠色)
  • 投遞失敗(紅色)
  • 未設定投遞(灰色)

投遞開關按鈕為呼叫統計與效能指標投遞。授權詳情預設為展開狀態。

日誌投遞

日誌投遞設定入口位於日誌頁右上角。在監控總覽頁選擇模型進入其詳情頁,再切換至日誌頁即可看到該入口。日誌投遞會將 Model Studio 模型的審計日誌與推理日誌自動投遞至阿里雲 Simple Log Service 的 Logstore,以統一管理資料。如需將日誌投遞至您帳號下的 Simple Log Service,請開啟日誌投遞並完成設定。

設定步驟

首次設定日誌投遞需執行以下三步:

  1. 授權 Simple Log Service 角色
  2. 開通 Simple Log Service
  3. 建立 Logstore

已開啟日誌投遞的存量使用者無需重新設定,原有設定會自動保留,且 Logstore 不可變更。

審計日誌投遞

開啟或關閉審計日誌投遞後,頁面頂部會短暫彈出結果訊息。授權與設定流程與上方設定步驟相同。

推理日誌投遞

開啟推理日誌投遞前,必須先開啟審計日誌投遞(未設定審計日誌投遞時,無法開啟推理日誌投遞)。推理日誌投遞的授權與設定流程與上述相同。

警告關閉審計日誌投遞後,推理日誌投遞也會一併關閉。

設定完成後,日誌投遞設定旁會顯示狀態指示;三種狀態的含義與監控資料投遞狀態相同。

警告關閉日誌投遞後,關閉期間產生的日誌不會同步至 SLS Logstore,且事後無法補錄或還原。請謹慎關閉。