Platform For AI：水平自動擴縮容功能

參數說明

• 基礎配置

  參數	說明	設定建議與風險提示
  最小副本数	服務副本自動縮容的下限數量，最小值為0。	生產環境建議：對於需要持續線上的服務，強烈建議將此值設定為 1 或更高。 重要 設定為 0 意味著在無流量時服務副本將被完全回收。此時新請求將面臨完整的冷啟動延遲（可能長達數十秒至數分鐘），期間服務不可用。此外，使用專屬網關的服務不支援將此值設為 0。
  最大副本数	服務副本自動擴容的上限數量。最大為 1000。	請根據業務峰值預估和賬戶配額合理設定，以防意外的流量高峰導致費用超出預算。
  常规扩缩容指标	用於觸發擴縮容的內建效能指標。	单实例QPS伸缩阈值：建議基於壓測結果設定，通常為單副本最優效能的 70%-80%。 重要 如需將單副本QPS閾值設定為小數，請通過用戶端（eascmd）設定qps1k欄位。 CPU利用率阈值：過低易浪費資源，過高可能影響請求延遲。建議根據RT指標來設定。 GPU利用率阈值：建議根據RT指標來設定。 异步队列长度：僅適用於非同步服務。建議根據任務平均處理時間長度和可接受的延遲來設定。更多請參見非同步推理服務配置水平自動擴縮容。
  自定义扩缩容指标	可以上報自訂指標並據此進行擴縮容，詳情請參見自訂監控及擴縮容指標。	適用於內建指標無法滿足業務需求的複雜情境。

• 進階配置

  參數	說明	設定建議與風險提示
  扩容生效时长	擴容決策的觀察視窗。觸發擴容後，系統會在此段時間內觀察指標，若指標值回落至閾值以下，則取消本次擴容。單位為秒。	預設值為 0 秒，即立即執行擴容。適當增加此值（如 60 秒）可避免因瞬時毛刺流量引發不必要的擴容。
  缩容生效时长	縮容決策的觀察視窗，是防止服務抖動的關鍵參數。系統會確認指標值在此段時間內持續低於閾值後，才執行縮容。單位為秒。	預設值為 300 秒。此值是防止服務因流量波動而頻繁縮容的核心保障。不建議設定過小，以免影響服務穩定性。
  缩容到0的生效时长	當最小副本数設為 0 時，此參數定義了從滿足縮容條件到副本數縮減至 0 的等待時間。	用於延遲服務徹底下線的時間，為可能的流量恢複提供緩衝。
  从0扩容的副本数	服務從 0 個副本冷啟動時，一次性擴容到的副本數量。	建議設定為一個能應對初始流量衝擊的合理值，以縮短冷啟動期間的服務不可用時間。

配置樣本

以下是一個包含常用配置項的 scaler.json 樣本：

{
    "min": 1,
    "max": 2,
    "behavior": {
        "onZero": {
            "interceptTraffic": false,
            "scaleDownGracePeriodSeconds": 700,
            "scaleUpActivationReplicas": 2
        },
        "scaleDown": {
            "stabilizationWindowSeconds": 20
        },
        "scaleUp": {
            "stabilizationWindowSeconds": 10
        }
    },
    "scaleStrategies": [
        {
            "metricName": "queue[backlog]",
            "threshold": 10
        },
        {
            "metricName": "qps",
            "threshold": 1
        },
        {
            "metricName": "cpu",
            "threshold": 80
        },
        {
            "metricName": "gpu[util]",
            "threshold": 60
        }
    ]
}

參數說明