全部產品
Search
文件中心

API Gateway:AI 可觀測

更新時間:Aug 05, 2025

提供AI 可觀測基礎能力,您可在AI 網關控制台的統計和日誌模組中,查看AI 請求和響應資訊,便於日誌的監控、記錄和分析。

說明

限流緩衝策略在處理異常時會透出異常日誌,並提供完整策略日誌的查看能力。

操作步驟

  1. 開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID

  2. 在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。

  3. 單擊統計頁簽,您可查看apig-ai-api-dashboard,AI 可觀測的關鍵計量包括:

    重要

    AI 網關中使用Log Service SLS 進行日誌的採集、分析與展示。如果您還未開啟網關日誌投遞,請單擊立即開通日誌投遞功能進行配置。

    • QPS:每秒 AI 請求和響應的數量統計,分為 AI 請求的 QPS、流式響應的 QPS 和非流式響應的 QPS。

    • 請求成功率:即 AI 請求的成功率,可按秒、15 秒、分鐘進行統計。

    • token消耗數/s:每秒消耗的 token 數量,分為輸入 token、輸出 token 和總計 token。

    • 請求平均RT/ms:一段時間內(秒、15 秒、分鐘) AI 請求的平均回應時間(ms),分為非流式 RT、流式 RT(流式響應的整體時間)、流式首包 RT(流式響應的首包時間)。

    • 快取命中情況/s:一段時間內緩衝的命中數和 miss 數統計。

    • 限流請求數/s:一段時間內被限流的請求和正常請求的統計。

    • 模型token使用統計:一段時間內不同模型的 token 消耗統計。

    • 消費者token使用統計:一段時間內不同消費者的 token 消耗統計。

    • 風險類型統計:被Alibaba Content Security Service檢測出來的風險,按照風險類型、消費者等維度統計。

    • 風險消費者統計:被消費者鑒權檢測出來的消費者風險統計。

    • 限流消費者統計:被限流檢測出來的消費者風險。

  4. 單擊日誌頁簽,您可以通過SQL對查詢結果進行統計分析。更多詳情,請參見查詢與分析快速指引