介紹 Hologres AI 節點(GPU)與 AI 模型相關的監控指標,便於查看資源使用率、調用量與延遲,並配置警示。
AI指標一覽表
AI 資源指標:購買 AI資源後,用於查看 AI 節點整體使用方式。
AI 模型指標:用於查看在 Hologres 中部署的每個模型的資源使用方式,包括模型級調用情況、各模型所分配 AI 資源的使用方式等,便於判斷模型使用是否合理。模型部署說明請參見AI模型與部署。
分類 | 指標 | 指標描述 | 支援的執行個體類型 | 備忘 |
AI資源 | AI 資源群組 CPU 使用率 | AI 節點的總 CPU 使用率 |
| 僅購買 AI 資源並投入使用後,指標才有資料。購買方式參見AI資源定價與購買。 |
AI 資源群組記憶體使用量率 | AI 節點的總記憶體使用量率 | |||
AI 資源群組 GPU 使用率 | AI 節點的總 GPU 使用率 | |||
AI模型 | AI 模型服務 CPU 使用率 | 每個模型的 CPU 使用率 | 僅部署模型且使用 AI Function 調用模型後,指標才有資料。部署參見AI模型與部署,調用參見AI Function。 | |
AI 模型服務記憶體使用量率 | 每個模型的記憶體使用量率 | |||
AI 模型服務 GPU 使用率 | 每個模型的 GPU 使用率 | |||
AI 模型服務調用 QPS | 通過 AI Function 調用模型的 QPS | |||
AI 模型服務平均回應時間 | 通過 AI Function 調用模型的平均延遲 | |||
AI 模型服務最大回應時間 | 通過 AI Function 調用模型的最大延遲 | |||
AI 模型服務調用成功的 QPS | 通過 AI Function 調用模型的成功 QPS | |||
AI 模型服務調用失敗的 QPS | 通過 AI Function 調用模型的失敗 QPS | |||
AI 模型服務入流量 | 通過 AI Function 調用模型的入口流量 | |||
AI 模型服務出流量 | 通過 AI Function 調用模型的出口流量 |