模型監控功能可用於:
模型監控概述
Model Studio 提供統一的模型監控。模型呼叫發生後數分鐘內即會反映在監控圖表中,協助您即時追蹤模型呼叫情況。監控資料依業務空間隔離:您只能查看目前選定業務空間的資料。監控資料僅供參考,不作為計費依據;如需對帳,請在費用與成本中查看帳單。
說明監控與警示的支援範圍依模型而異:部分模型(如語音、圖片與影片生成模型,以及直接接入的第三方模型)不支援,請以控制台確認為準。
本文依功能模組組織:排查模型呼叫問題請從審計日誌入手;設定警示請參見警示章節;開啟資料投遞請參見資料投遞章節。
依維度篩選監控資料
您可按時間(快速預設與自訂)、推理類型與 API-Key(預設全部;顯示 ID 與描述,且僅列出目前業務空間中存在的 API Key)篩選監控資料。時間粒度篩選僅在模型監控詳情頁提供。
查看整體呼叫規模與健康度
總覽頁以資料卡片展示模型總數、總呼叫次數、總失敗次數、平均呼叫時長、平均首Token時間(首Token延時)等資訊,讓您快速掌握整體呼叫規模與健康度。
查看模型的監控詳情或日誌
模型列表展示目前業務空間中各模型的監控資料。點擊查看詳情可開啟模型監控詳情頁,點擊查看日誌可開啟日誌頁的審計日誌頁簽。登入Model Studio 控制台,在左側導覽列選擇營運 > 模型監控,即可開啟監控總覽頁。
模型監控詳情
在監控總覽頁的模型列表中找到目標模型,點擊查看詳情開啟其模型監控詳情頁。頁面頂部的導覽路徑為:模型監控 > 模型名稱。
詳情頁展示單一模型的呼叫統計與效能圖表,並提供警示設定入口:指標圖表上的警示鈴鐺可快速為目前模型或指標設定警示(跨模型的完整規則管理請參見警示章節)。篩選條件與總覽頁相同(時間、時間粒度、推理類型與 API Key),從總覽頁進入時會保留總覽頁的設定。如需查看日誌,請返回總覽頁的模型列表並點擊查看日誌入口(參見日誌章節)。
監控指標
詳情頁的指標分為呼叫統計與效能兩組。各指標的含義、參考說明與警示支援情況如下表所示。
| 指標名稱 | 說明 | 參考說明 | 警示支援 |
|---|---|---|---|
| 呼叫次數 | 模型被呼叫的總次數 | 視業務而定 | 可設定 |
| 用量 | Token 總量 | 視業務而定 | 可設定 |
| 失敗次數 | 失敗呼叫的數量 | 視業務而定 | 可設定 |
| 失敗率 | 失敗次數除以總呼叫次數 | 視業務而定 | 可設定 |
| 呼叫時長 | 從請求到回應的總時間 | 視模型與情境而定 | 可設定 |
| 首Token時間 | 從請求到回傳首個 Token 的延遲 | 視模型與情境而定 | 可設定 |
| 非首Token延時 | 首個 Token 之後產生每個 Token 的平均時間 | 視模型與情境而定 | 不支援 |
| 模型 TotalToken 消耗 | 按模型彙總的 Token 消耗總量(預設警示範本專用指標) | 視業務而定 | 可設定 |
| 單次請求平均用量 | 每次請求的平均 Token 數 | 視業務而定 | 不支援 |
| 內容安全錯誤次數 | 內容安全攔截的次數 | 視業務而定 | 不支援 |
| 限流錯誤次數 | 429 限流觸發的次數 | 視業務而定 | 可設定 |
| RPM | 每分鐘請求數 | 視業務而定 | 不支援 |
| TPM | 每分鐘 Token 數 | 視業務而定 | 不支援 |
| 每秒輸出 Token 數(TPS) | 每秒輸出的 Token 數 | 視模型與情境而定 | 不支援 |
| Context Cache 命中量 | Context Cache 命中的 Token 數量 | 視模型與情境而定 | 不支援 |
| Context Cache 命中率 | 快取命中 Token 佔輸入 Token 的比例 | 視模型與情境而定 | 不支援 |
說明指標是否支援警示,取決於它是否包含在預設警示範本中(預設範本參見「警示 > 警示範本」)。未包含在預設範本中的指標(如內容安全錯誤次數與 RPM)不顯示警示鈴鐺,無法設定警示。
如需了解錯誤碼與限流的詳細資訊,請參見錯誤碼。
重要排查失敗呼叫激增時,請重點關注失敗次數、限流錯誤次數與失敗率。診斷效能劣化時,請留意首Token時間與平均呼叫時長是否持續上升,並為關鍵指標設定警示。
警示鈴鐺設定
支援警示的指標會在其圖表上顯示警示鈴鐺圖示。點擊鈴鐺可開啟警示規則設定側邊欄(欄位詳情參見「警示規則管理」章節)。鈴鐺圖示與側邊欄狀態標籤的含義如下:
| 類型 | 狀態 | 顏色 | 含義 |
|---|---|---|---|
| 鈴鐺圖示 | 未設定警示 | 灰色 | 未設定警示規則;點擊可開啟設定側邊欄 |
| 鈴鐺圖示 | 已設定警示,正常 | 藍色 | 已設定規則且目前未被觸發;點擊可查看規則詳情 |
| 鈴鐺圖示 | 警示中 | 紅色 | 警示正在觸發;點擊可查看觸發詳情 |
| 側邊欄標籤 | 正常 | 綠色 | 已設定規則且狀態正常 |
| 側邊欄標籤 | 警示中 | 紅色 | 警示正在觸發 |
| 側邊欄標籤 | 已停用 | 灰色 | 規則已關閉,不再產生警示 |
點擊鈴鐺後,警示側邊欄會依警示狀態顯示不同欄位(正常 = 未觸發、警示中 = 正在觸發、已恢復 = 觸發後已恢復):
| 欄位 | 正常 | 已恢復 | 警示中 |
|---|---|---|---|
| 警示規則名稱 | 顯示 | 顯示 | 顯示 |
| 警示規則 ID | 顯示 | 顯示 | 顯示 |
| 警示內容 | 顯示 | 顯示 | 顯示 |
| 警示指標 | 顯示 | 顯示 | 顯示 |
| 通知接收人 | 顯示 | 顯示 | 顯示 |
| 警示目標 | 顯示 | 顯示 | 顯示 |
| 開始時間 | 隱藏 | 顯示 | 顯示 |
| 持續時間 | 隱藏 | 顯示 | 顯示 |
| 警示次數 | 隱藏 | 顯示 | 顯示 |
| 狀態 | 隱藏 | 顯示 | 顯示 |
| 恢復時間 | 隱藏 | 顯示 | 隱藏 |
警示
Model Studio 提供三項警示功能——警示規則、警示範本與警示歷史,均位於模型警示頁面的警示規則、警示範本與警示歷史頁簽下。
警示規則管理
在模型警示頁面點擊警示頁簽,開啟警示規則管理頁。警示規則列表展示目前生效的警示規則,支援建立、編輯、停用與刪除規則。列表會顯示通知接收人(聯絡人或聯絡人群組),並支援電子郵件等多種通知渠道。
首次設定警示的完整路徑:先在資料投遞 > 監控資料投遞中完成 CloudMonitor 服務角色授權,再在本章節建立警示規則(選擇警示範本並填寫各欄位),最後設定警示通知(聯絡人或聯絡人群組、通知時間範圍與重複策略)。
重要為控制 Token 成本,可為模型 TotalToken 消耗設定環比突增警示;為保障可用性,可為呼叫失敗率設定警示。兩者皆可直接使用預設警示範本。
建立警示規則前,必須先在模型監控投遞中完成 CloudMonitor 服務角色授權(設定方法請參見資料投遞 > 監控資料投遞)。未授權時,建立警示規則按鈕不可點擊,滑鼠懸停其上會顯示提示:「CloudMonitor 服務角色未授權,無法建立警示規則,點擊前往授權。」授權完成後,CloudMonitor 服務會在背景自動開通。
說明授權後,CloudMonitor、Alibaba Cloud Simple Log Service(SLS)與 Prometheus 會自動開通。警示規則可免費使用;已開通的產品則按實際用量計費。
- 點擊建立警示規則,開啟新頁面。
- 依下方欄位說明,填寫警示名稱、警示範本、模型、持續時間、警示檢查週期、警示內容與警示等級。
- 設定警示通知(警示聯絡人或聯絡人群組、通知時間範圍與重複策略),然後點擊建立完成。
表單欄位說明如下表。
| 欄位 | 必填 | 說明 |
|---|---|---|
| 警示名稱 | 必填 | 最長 50 個字元 |
| 警示範本 | 必填 | 從下拉式選單選擇預設或自訂範本,也可基於既有範本另存建立 |
| 模型選擇 | 必填 | 最多 50 個模型 |
| 持續時間 | 必填 | 以分鐘為單位指定 |
| 警示檢查週期 | 必填 | 預設 60 秒,單位為秒;必須為不小於 0 的整數(0 表示觸發後立即警示) |
| 警示內容 | 必填 | 最長 200 個字元;支援變數(可插入業務空間、模型、目前值等佔位符) |
| 警示等級 | 選填 | INFO(普通)/ WARNING(警告)/ ERROR(錯誤)/ CRITICAL(緊急),預設為 INFO |
| 警示聯絡人/聯絡人群組 | 可多選 | 來自 CloudMonitor 的聯絡人或聯絡人群組 |
| 通知時間範圍 | 必填 | 24 小時內的任意區間,可跨天(例如 23:00 至隔日 01:00) |
| 重複策略 | 必填 | 不升級表示警示在未解決期間僅傳送一次;也可指定「小時+分鐘」的間隔重複傳送通知 |
已開通進階監控並設定了警示規則的存量使用者,可一鍵將警示規則從 CloudMonitor Prometheus 執行個體遷移至 Model Studio。目前僅支援遷移由平台建立的警示規則;在 CloudMonitor 側建立的警示規則無法遷移。
- 在警示規則列表上方,點擊立即遷移或遷移警示規則。
- 確認遷移來源:查看 Prometheus 執行個體的名稱與狀態,然後點擊開始檢測。
- 檢查警示規則:系統會檢測哪些警示規則可遷移、哪些不相容。選取並確認後,點擊開始遷移。
- 遷移警示規則:遷移期間顯示「遷移中」狀態,結束後顯示成功或失敗結果。遷移失敗時可重試;遷移成功後關閉對話方塊。
遷移後,Prometheus 執行個體中的警示規則會被停用(不會被刪除),您可在 Prometheus 側手動刪除。遷移任務保留 6 小時,遷移期間重新整理頁面不會中斷任務。遷移成功後無需再次遷移,遷移入口會隱藏,僅顯示一行成功訊息。
警示規則支援停用、編輯與刪除操作。
警示範圍:目前僅部分特定指標支援警示,可設定項已在模型監控詳情章節的指標表中逐行標註。
警示範本
警示範本是預設了觸發條件的警示設定,您可基於範本快速建立警示規則,無需從零開始設定。系統目前提供 12 個預設範本,您也可以自建範本。警示範本頁簽位於模型警示頁面,與警示規則頁簽、警示歷史頁簽同級。
點擊建立警示範本開啟警示範本建立側邊欄,填寫以下資訊:
- 範本名稱:必填,最長 20 個字元。
- 參數選擇:最多 10 個參數。可選擇所有規則皆符合條件時觸發警示(AND),或任一規則符合條件即觸發(OR)。
- 指標:必填。選擇要監控警示的指標,下拉選項包含呼叫次數、失敗次數、失敗率、呼叫時長與首Token時間。
- 警示閾值:必填。選擇比較運算子(
>、>=、<、<=、==、!=)與數值。 - 統計週期:以分鐘為單位,有效範圍為 1 至 10080 分鐘。
預設警示範本會在名稱後標註預設標籤,支援查看詳情與複製,不支援編輯與刪除;自訂警示範本支援查看詳情、編輯、刪除與複製。建議優先使用預設範本覆蓋常見警示情境(指標與閾值已按典型負載預設),只需填入參數即可使用;複合條件與業務專屬規則請使用自訂範本。預設警示範本支援的指標如下表所示:
| 預設警示範本名稱 | 指標名稱 |
|---|---|
| 模型呼叫失敗次數:1 分鐘總和 > 10 | 模型呼叫失敗次數 |
| 模型呼叫失敗率:1 分鐘總和 > 1% | 模型呼叫失敗率 |
| 模型 4xx 呼叫:1 分鐘總和 > 10 | 模型 4xx 呼叫 |
| 模型 4xx 佔比:1 分鐘總和 > 1% | 模型 4xx 佔比 |
| 模型 429 呼叫:1 分鐘總和 > 10 | 模型 429 呼叫 |
| 模型 429 佔比:1 分鐘總和 > 1% | 模型 429 佔比 |
| 模型 5xx 呼叫:1 分鐘總和 > 10 | 模型 5xx 呼叫 |
| 模型 5xx 佔比:1 分鐘總和 > 1% | 模型 5xx 佔比 |
| 模型呼叫次數:1 分鐘總和 > 500 | 模型呼叫次數 |
| 模型呼叫時長:1 分鐘平均 > 60 秒 | 模型呼叫時長 |
| 模型首包時間:1 分鐘平均 > 10 秒 | 模型首包時間(首Token時間) |
| 模型 TotalToken 消耗:1 分鐘總和 > 10000 | 模型 TotalToken 消耗 |
警示歷史
在模型警示頁面點擊歷史頁簽,可查看警示觸發記錄。警示歷史列表中,通知接收人僅顯示聯絡資訊,不顯示關聯的通知渠道資訊。
警示歷史支援按四個條件篩選:警示時間(快速預設與日曆)、警示規則、警示等級與狀態(已恢復或警示中)。
警示歷史列表展示以下欄位:
| 欄位 | 說明 |
|---|---|
| 警示執行個體 | 警示執行個體識別碼 |
| 警示等級 | 普通 / 警告 / 錯誤 / 緊急 |
| 警示時間 | 警示觸發的時間 |
| 警示次數 | 該警示被觸發的次數 |
| 警示規則 | 警示規則的名稱與 ID |
| 狀態 | 已恢復 / 警示中 |
| 通知接收人 | 警示聯絡人或聯絡人群組 |
| 操作 | 查看詳情(開啟警示詳情側邊欄) |
點擊列表中的查看詳情,可開啟警示詳情側邊欄。詳情側邊欄中的狀態僅有兩種取值:已恢復與警示中。
日誌
Model Studio 預設記錄審計日誌(儲存在平台,無需設定),記錄每次模型呼叫的請求資訊,但不包含 Prompt 與 Response。推理日誌記錄完整的 Prompt 與 Response 及中間步驟,需手動開啟,並依賴日誌投遞將日誌寫入您自己的 Simple Log Service(SLS)Logstore(日誌投遞請參見資料投遞章節)。
審計日誌
所有使用者預設開啟審計日誌,無需設定,且儲存在 Model Studio 平台上。審計日誌記錄每次模型呼叫的請求資訊,包含 Request ID、時間、模型、Token 用量、延遲與狀態等核心指標,但不包含 Prompt 與 Response 內容。如需查看完整的 Prompt 與 Response 內容,請開啟推理日誌(開啟方法請參見「推理日誌」章節)。
篩選條件
審計日誌支援以下篩選條件:
- 時間範圍:預設最近 7 天;支援查詢最多 30 天內的日誌。
- 模型:下拉選擇;預設全部模型。
- API-Key ID:下拉選擇。API Key 會顯示 ID 與描述;API Key 刪除後描述為空。
- 狀態:可多選,包括 0(請求成功但使用者主動中斷)、200(成功)、4XX(使用者行為導致的異常)與 5XX(服務不可用)。
- 推理類型:預設為即時推理。
- 搜尋 Request ID:精確匹配。
日誌列表
審計日誌列表展示以下欄位:Request ID、呼叫時間、模型、用量、首Token時間、呼叫時長、狀態與錯誤碼。操作欄提供查看詳情,可開啟審計日誌詳情側邊欄。
詳情側邊欄
審計日誌詳情側邊欄支援列表與 JSON 兩種視圖切換:
- 基本資訊:Request ID、呼叫時間、模型、API Key
- 用量:總 Token 數、輸出 Token 數、輸入 Token 數
- 效能:首Token時間、呼叫時長、狀態代碼、錯誤碼與錯誤訊息(如有)
如需建立與管理 API Key,請前往 Model Studio 控制台的系統管理。
推理日誌
推理日誌需手動開啟。在審計日誌的基礎上,推理日誌額外記錄完整的 Prompt 與 Response 及中間步驟,有助於除錯、最佳化與問題排查。推理日誌儲存在您自己的 Simple Log Service Logstore 中。
開啟推理日誌
推理日誌預設關閉,需先開啟審計日誌投遞。在日誌頁切換至推理日誌頁簽(未設定時該頁簽會顯示開啟引導頁),點擊開始設定開啟日誌投遞設定對話方塊;也可點擊日誌頁右上角的日誌投遞設定按鈕進入。完成授權與 Logstore 設定後,即可查看推理日誌列表。
說明推理日誌目前僅支援北京與新加坡地區,其他地區暫不支援。
日誌列表與詳情
推理日誌的篩選條件與審計日誌相同,僅移除推理類型篩選(即時推理/批次推理)。不支援推理日誌的模型會顯示「目前模型不支援」。
推理日誌列表在審計日誌的基礎上新增 Prompt 與 Response 資料,長度上限為 128K;超過 128K 的內容會被截斷,完整內容請查看實際呼叫日誌。
API Key 刪除後的顯示規則與審計日誌相同(列表不顯示描述,詳情僅顯示 ID)。
推理日誌可迴流為訓練資料集,詳細資訊請參見日誌迴流。
重要推理日誌記錄完整的 Prompt 與 Response,適合用於重現異常請求、除錯模型輸出與排查間歇性問題。
資料投遞
預設情況下,Model Studio 將監控指標與審計日誌儲存在平台上,您可直接在控制台查看,無需投遞。如需將監控指標或日誌投遞至您自己的雲端服務(用於長期保存或對接自有維運系統,會產生雲端服務費用),請開啟對應的資料投遞:監控資料投遞至 CloudMonitor Prometheus 執行個體,日誌投遞至 Simple Log Service(SLS)Logstore。日誌投遞也是推理日誌的前置條件。
說明開啟推理日誌並將日誌投遞至您自己的 SLS Logstore,會產生 Simple Log Service 費用。
在 SLS 側不支援修改索引,修改會導致查詢失敗。
請勿在 SLS 側刪除 Model Studio 建立的 SLS Logstore;刪除會導致日誌投遞失敗。
監控資料投遞
模型監控投遞入口位於監控總覽頁左上角。模型監控投遞會將 Model Studio 模型的監控資料自動投遞至阿里雲 CloudMonitor 的 Prometheus 執行個體,以統一管理監控資料。Model Studio 預設提供模型服務指標,無需額外設定即可在平台上查看。如需將指標投遞至您帳號下的 CloudMonitor 服務,請開啟資料投遞並設定目標資源。
設定步驟
新使用者設定模型監控投遞需執行以下步驟:
- 授權 CloudMonitor 服務角色。
- 開通 CloudMonitor 服務。
- 建立 CloudMonitor Prometheus 監控執行個體。
模型監控投遞目前僅支援 CloudMonitor Prometheus 執行個體,不支援自建 Prometheus。已開啟監控投遞的存量使用者會自動遷移既有設定,平台監控資料會自動投遞至先前開啟的 Prometheus 執行個體,且該執行個體不可變更。投遞開啟後,監控資料會同時儲存在平台側與使用者側。
說明已開啟進階監控的存量使用者預設會開啟監控資料投遞;如不需要,可在模型監控投遞入口停用。
投遞狀態
設定資料投遞後,模型監控投遞旁會顯示狀態指示:
- 投遞中(綠色)
- 投遞失敗(紅色)
- 未設定投遞(灰色)
投遞開關按鈕為呼叫統計與效能指標投遞。授權詳情預設為展開狀態。
日誌投遞
日誌投遞設定入口位於日誌頁右上角。在監控總覽頁選擇模型進入其詳情頁,再切換至日誌頁即可看到該入口。日誌投遞會將 Model Studio 模型的審計日誌與推理日誌自動投遞至阿里雲 Simple Log Service 的 Logstore,以統一管理資料。如需將日誌投遞至您帳號下的 Simple Log Service,請開啟日誌投遞並完成設定。
設定步驟
首次設定日誌投遞需執行以下三步:
- 授權 Simple Log Service 角色
- 開通 Simple Log Service
- 建立 Logstore
已開啟日誌投遞的存量使用者無需重新設定,原有設定會自動保留,且 Logstore 不可變更。
審計日誌投遞
開啟或關閉審計日誌投遞後,頁面頂部會短暫彈出結果訊息。授權與設定流程與上方設定步驟相同。
推理日誌投遞
開啟推理日誌投遞前,必須先開啟審計日誌投遞(未設定審計日誌投遞時,無法開啟推理日誌投遞)。推理日誌投遞的授權與設定流程與上述相同。
警告關閉審計日誌投遞後,推理日誌投遞也會一併關閉。
設定完成後,日誌投遞設定旁會顯示狀態指示;三種狀態的含義與監控資料投遞狀態相同。
警告關閉日誌投遞後,關閉期間產生的日誌不會同步至 SLS Logstore,且事後無法補錄或還原。請謹慎關閉。