ルートリスト - API Gateway - Alibaba Cloud ドキュメントセンター

Model API は、リクエストの特性に基づいた詳細なトラフィックコントロールのためのカスタムルートをサポートしています。

ルートの作成

AI Gateway コンソールにログインし、[インスタンス] を選択します。トップメニューバーでリージョンを選択し、ターゲットインスタンスの ID をクリックします。
左側のナビゲーションウィンドウで [Model API] を選択し、ターゲット API 名をクリックして [API 詳細] ページに移動します。

Routes タブをクリックし、Create Route をクリックします。Create Route パネルで、次のパラメーターを設定します。

Route Name：ルートのカスタム名。
Path：Model API のルートパス。サポートされているパスは、/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/fine-tuning です。
More Match Rules：Method、Header、Query Parameters を設定して、同じパスを共有する複数のルートを区別します。
Service Model：Single-model Service または [複数サービス (比率別)] を指定できます。
- Single-model Service：1 つのサービスインスタンスで単一のモデルをデプロイして実行します。これは、単一のタスクまたはモデルに特化したアプリケーションに適しています。
- [複数サービス (比率別)]：同じサービスインスタンスで複数のモデルを実行し、指定された比率に基づいてリソースとリクエストを割り当てます。このオプションは、複数のタスクまたはモデルを同時に処理するアプリケーションに最適です。
Services：このルートがリクエストを転送するバックエンドサービス。
[フォールバック]：有効にすると、フォールバックサービスを追加できます。サービスは優先度の降順で試行されます。
説明
複数のルートのフォールバックとして単一のサービスを使用できます。

AI Gateway コンソールにログインし、[インスタンス] を選択します。トップメニューバーでリージョンを選択し、ターゲットインスタンスの ID をクリックします。
左側のナビゲーションウィンドウで [Model API] を選択し、ターゲット API 名をクリックして [API 詳細] ページに移動します。
Routes タブをクリックし、ルートリストから編集するルートを選択します。
Edit Route をクリックしてパラメーターを変更します。パラメーターの詳細については、「ルートの作成」をご参照ください。
変更を確認し、OK をクリックします。

AI Gateway コンソールにログインし、[インスタンス] を選択します。トップメニューバーでリージョンを選択し、ターゲットインスタンスの ID をクリックします。
左側のナビゲーションウィンドウで [Model API] を選択し、ターゲット API 名をクリックして [API 詳細] ページに移動します。
Routes タブをクリックし、ルートリストから対象のルートを選択します。
Publish Route をクリックし、確認ダイアログボックスで OK をクリックします。

AI Gateway コンソールにログインし、[インスタンス] を選択します。トップメニューバーでリージョンを選択し、ターゲットインスタンスの ID をクリックします。
左側のナビゲーションウィンドウで [Model API] を選択し、ターゲット API 名をクリックして [API 詳細] ページに移動します。
Routes タブをクリックし、ルートリストから対象のルートを選択します。
More > Shutdown をクリックし、確認ダイアログボックスで Shutdown をクリックします。

説明

非公開のルートのみ削除できます。公開済みのルートを削除するには、まず非公開にする必要があります。

AI Gateway コンソールにログインし、[インスタンス] を選択します。トップメニューバーでリージョンを選択し、ターゲットインスタンスの ID をクリックします。
左側のナビゲーションウィンドウで [Model API] を選択し、ターゲット API 名をクリックして [API 詳細] ページに移動します。
Routes タブをクリックし、ルートリストから対象のルートを選択します。
More > Delete をクリックし、確認ダイアログボックスで Delete をクリックします。