Platform For AI：部署非同步推理服務

配置隊列子服務資源

隊列子服務的資源預設按照metadata中的欄位進行配置，但在有些情境下，您可以跟進本章節，對隊列子服務的資源進行單獨配置。

• 通過queue.resource聲明隊列子服務所使用的資源群組。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # 預設跟隨推理子服務資源群組。
    }
  }

  • 隊列子服務預設跟隨推理子服務的資源群組。

  • 當您需要使用公用資源群組部署隊列子服務時，可以聲明resource為空白字串（""），這在您的專屬資源群組CPU和記憶體不充足時非常有用。

    說明

    推薦使用公用資源群組部署隊列子服務。

• 通過queue.cpu和queue.memory聲明每個隊列子服務執行個體所使用的CPU（單位：核心數）和記憶體大小（單位：MB）。

  {
    "queue": {
       "cpu": 2,  # 預設值為1。
       "memory": 8000  # 預設值為4000。
    }
  }

  如果您沒有進行資源配置，隊列子服務將按照1 CPU核、4 GB記憶體進行預設配置。這可以滿足大多數情境的需求。

  重要

  • 如果您的訂閱者（比如推理子服務執行個體的數量）數量超過200時，建議將CPU核心數配置為2核以上。

  • 不建議在生產環境中縮小隊列子服務的記憶體配置。

• 通過queue.min_replica配置隊列子服務執行個體的最小數量。

  {
    "queue": {
       "min_replica": 3  # 預設為1。
    }
  }

  在使用非同步推理服務時，隊列子服務執行個體的數量將根據推理子服務執行個體的運行時數量自動調整，預設的調整區間為[1, min{2, 推理子服務執行個體的數量}]。特殊情況下，如果配置非同步推理服務的自動擴縮容規則並允許將執行個體數量縮小到0時，將自動保留1個隊列子服務執行個體。您也可以通過queue.min_replica調整最小保留的隊列子服務執行個體數量。

  說明

  增加隊列子服務執行個體的數量可以提高可用性，但不能提高隊列子服務的效能。

配置隊列子服務功能

隊列子服務擁有多項可配置的功能，您可以通過以下配置方法進行調整。

• 通過queue.sink.auto_evict或者queue.source.auto_evict分別配置輸出/輸入隊列自動資料驅逐功能。

  {
    "queue": {
       "sink": {
          "auto_evict": true  # 輸出隊列開啟自動驅逐，預設為false。
        },
        "source": {
           "auto_evict": true  # 輸入隊列開啟自動驅逐，預設為false。
        }
    }
  }

  預設情況下隊列子服務的自動資料驅逐功能處於關閉狀態，如果您的隊列已滿將無法繼續輸入資料。在某些情境下，如果您允許資料在隊列中溢出，可以選擇開啟自動資料驅逐功能，隊列將自動驅逐最老的資料以允許新資料寫入。

• 通過queue.max_delivery配置最大投遞次數。

  {
     "queue": {
        "max_delivery": 10  # 最大投遞次數為10，預設值：5。當配置為0時，最大投遞次數關閉, 資料可以被無限次投遞。
     }
  }

  當單條資料的嘗試投遞次數超過設定閾值時，該資料將被視為無法處理，並將其標記為死信。詳情請參見隊列執行個體的死信策略。

• 通過queue.max_idle配置資料的最大處理時間。

  {
      "queue": {
        "max_idle": "1m"  # 配置單條資料最大處理時間長度為1分鐘，如果超過該時間將被投遞給其它訂閱者, 投遞完畢後投遞次數+1。預設值為0，即沒有最大處理時間長度。
      }
  }

  樣本中配置的時間長度為1分鐘，支援多種時間單位，如h（小時）、m（分鐘）、s（秒）。如果單條資料處理的時間超過了這裡配置的時間長度，則有兩種可能：

  • 如果未超過queue.max_delivery設定的閾值，該條資料會被投遞給其他訂閱者。

  • 如果已超過queue.max_delivery設定的閾值，該條資料將會被執行死信策略。

• 通過queue.dead_message_policy配置死信策略。

  {
      "queue": {
        "dead_message_policy":  "Rear"  # 枚舉值為Rear（預設值）或者Drop, Rear即為放入隊列末尾，Drop將該條資料刪除。 																 
      }
  }

配置隊列最大長度或最巨量資料體積

隊列子服務的最大長度和最巨量資料體積是此消彼長的關係，計算關係如下所示：

隊列子服務執行個體記憶體是固定的，因此如果調整單條資料最大體積，則會導致該隊列最大長度減小。

• 通過queue.sink.max_length或者queue.source.max_length分別配置輸出隊列/輸入隊列的最大長度。

  {
      "queue": {
         "sink": {
            "max_length": 8000  # 配置輸出隊列最大長度為8000條資料。
         },
         "source": {
            "max_length": 2000  # 配置輸入隊列最大長度為2000條資料。
         }
      }
  }

• 通過queue.sink.max_payload_size_kb或者queue.source.max_payload_size_kb分別配置輸出隊列/輸入隊列單條資料最巨量資料體積。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # 配置輸出隊列單條資料最大體積是10 KB, 預設8 kB。
         },
         "source": {
            "max_payload_size_kb": 1024  # 配置輸入隊列單條資料最大體積是1024 KB(1MB), 預設是8 kB。
         }
      }
  }

配置記憶體配置傾斜

• 通過queue.sink.memory_ratio來調整輸入輸出兩個隊列佔用的記憶體大小。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # 配置輸出隊列記憶體佔比，預設值為0.5。
         }
      }
  }

  說明

  預設配置下，輸入隊列和輸出隊列均分隊列子服務執行個體的記憶體。如果您的服務需要輸入文本、輸出圖片，並期望在輸出隊列存放更多資料，則可以將queue.sink.memory_ratio相應提高；相反，如果您期望輸入圖片、輸出文本，則可以將queue.sink.memory_ratio相應減小。