修改AI模型參數 - Lindorm

如果已部署的模型配置無法滿足當前業務需求，您可以通過RESTful API介面線上調整參數。該方式可以動態更新模型設定檔，在保留原有模型且不影響模型服務的基礎上，修改模型的配置。本文介紹如何通過RESTful API介面調整已部署模型的部分參數配置。

前提條件

已建立或匯入模型，且模型狀態為READY。如何查看模型的狀態，請參見查看模型詳細資料。

API介面

POST v1/ai/models/${MODEL_NAME}/update_config

請求參數說明

參數	類型	說明
instance_count	INT	指定更新的模型執行個體個數。增加模型執行個體數量可以提升推理效能，但會增加顯存佔用。
max_batch_size	INT	更新支援的最大批量大小。預設值為`1024`。取值範圍為`[1,1024]`。重要僅Embedding模型支援更新部署時設定的max_batch_size值。

樣本

請求：

POST v1/ai/models/bge_m3_model/update_config HTTP/1.1
Content-Type: application/json
{
    "instance_count": "4",
    "max_batch_size": "1024"
}

應答：

HTTP/1.1 200 OK
Date: Tue, 28 Nov 2023 03:18:55 GMT
Content-type: application/json
Content-length: 17

{
  "code": 0,
  "msg": "SUCCESS",
  "data": null,
  "success": true
}