提供AI 可觀測基礎能力,您可在AI 網關控制台的統計和日誌模組中,查看AI 請求和響應資訊,便於日誌的監控、記錄和分析。
操作步驟
開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID。
在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。
單擊統計頁簽,您可查看apig-ai-api-dashboard,AI 可觀測的關鍵計量包括:
重要AI 網關中使用Log Service SLS 進行日誌的採集、分析與展示。如果您還未開啟網關日誌投遞,請單擊立即開通日誌投遞功能進行配置。
QPS:每秒 AI 請求和響應的數量統計,分為 AI 請求的 QPS、流式響應的 QPS 和非流式響應的 QPS。
請求成功率:即 AI 請求的成功率,可按秒、15 秒、分鐘進行統計。
token消耗數/s:每秒消耗的 token 數量,分為輸入 token、輸出 token 和總計 token。
請求平均RT/ms:一段時間內(秒、15 秒、分鐘) AI 請求的平均回應時間(ms),分為非流式 RT、流式 RT(流式響應的整體時間)、流式首包 RT(流式響應的首包時間)。
快取命中情況/s:一段時間內緩衝的命中數和 miss 數統計。
限流請求數/s:一段時間內被限流的請求和正常請求的統計。
模型token使用統計:一段時間內不同模型的 token 消耗統計。
消費者token使用統計:一段時間內不同消費者的 token 消耗統計。
風險類型統計:被Alibaba Content Security Service檢測出來的風險,按照風險類型、消費者等維度統計。
風險消費者統計:被消費者鑒權檢測出來的消費者風險統計。
限流消費者統計:被限流檢測出來的消費者風險。
單擊日誌頁簽,您可以通過SQL對查詢結果進行統計分析。更多詳情,請參見查詢與分析快速指引。