Model API 支援自訂路由,您可以按請求特徵進行精細化路由的能力。本文介紹Model API的自訂路由管理。
建立路由
開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID。
在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。
單擊路由列表,然後單擊建立路由,並在建立路由面板配置相關參數:
路由名稱:自訂路由名稱。
路徑:Model API的自訂路由路徑支援
/v1/chat/completions、/v1/completions、/v1/embeddings和/v1/fine-tuning四種方式。更多匹配規則:如需建立多個相同路徑的路由,需要對方法(Method)、要求標頭(Header)和請求參數(Query)進行配置,以區分不同路由。
服務模型:支援單模型服務和多模型服務(按比例)兩種類型。
單模型服務:在同一個服務執行個體中只部署和運行一個模型,適用於需要專註於單一任務或模型的應用情境。
多模型服務(比例):在同一個服務執行個體中部署和運行多個模型,並根據設定的比例分配資源和請求,適用於需要同時處理多種任務或模型的應用情境。
服務列表:在服務列表中選擇服務。
Fallback:開啟後可添加Fallback 服務,按照降序執行。
說明Fallback服務支援重複使用同一個服務組建多條策略。

確認配置資訊並單擊添加。
編輯路由
發布路由
開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID。
在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。
單擊路由列表,並在路由列表中選擇目標自訂路由。
單擊發布路由,並在確認彈框中單擊確定。
下線路由
開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID。
在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。
單擊路由列表,並在路由列表中選擇目標自訂路由。
選擇,並在確認下線彈框中單擊下線。
刪除路由
刪除操作僅支援刪除未發布或已下線的路由,如需刪除發行路由,請先完成下線路由操作。
開啟AI網關控制台執行個體頁面,在頂部功能表列選擇目標執行個體所在地區,並單擊目標執行個體ID。
在左側導覽列,單擊Model API,然後單擊目標API名稱進入API詳情頁面。
單擊路由列表,並在路由列表中選擇目標自訂路由。
選擇,並在確認刪除的彈框中單擊刪除。