Model API はカスタムルートをサポートしており、リクエストの特徴に基づいて詳細なルーティングを実行できます。この Topic では、カスタムルートの管理方法について説明します。
ルートの作成
左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。
[ルートリスト] から [ルートの作成] をクリックします。[ルートの作成] パネルで、パラメーターを構成します:
ルート名: ルートのカスタム名。
パス: Model API のカスタムルートパス。次のパスがサポートされています:
/v1/chat/completions、/v1/completions、/v1/embeddings、および/v1/fine-tuning。その他のマッチングルール: 同じパスで複数のルートを作成する場合は、ルートを区別するために [メソッド]、[ヘッダー]、および [クエリ] を構成する必要があります。
サービスモデル: [単一モデルサービス] と [複数モデルサービス (比率別)] がサポートされています。
単一モデルサービス: 1 つのモデルのみがデプロイされ、サービスインスタンスで実行されます。このタイプは、単一のタスクまたはモデルにフォーカスする必要があるシナリオに適しています。
複数モデルサービス (比率別): 複数のモデルがデプロイされ、同じサービスインスタンスで実行されます。リソースとリクエストは、指定された比率に基づいて割り当てられます。このタイプは、複数のタスクまたはモデルの同時処理を必要とするシナリオに適しています。
サービスリスト: サービスリストからサービスを選択します。
フォールバック: この機能を有効にすると、フォールバックサービス を追加できます。サービスは降順で実行されます。
説明同じサービスを使用して、複数のフォールバックポリシーを作成できます。
構成を確認し、[追加] をクリックします。
ルートの編集
左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。
[ルートリスト] をクリックし、宛先のカスタムルートを選択します。
[ルートの編集] をクリックしてパラメーターを変更します。パラメーターの詳細については、「ルートの作成」をご参照ください。
構成を確認し、[OK] をクリックします。
ルートの公開
左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。
[ルートリスト] をクリックし、宛先のカスタムルートを選択します。
[ルートの公開] をクリックします。確認メッセージで、[OK] をクリックします。
ルートの非公開
左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。
[ルートリスト] をクリックし、宛先のカスタムルートを選択します。
を選択します。確認ダイアログボックスで、[非公開] をクリックします。
ルートの削除
非公開またはオフラインのルートのみを削除できます。公開済みのルートを削除するには、まず ルートを非公開にする 必要があります。
左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。
[ルートリスト] をクリックし、宛先のカスタムルートを選択します。
を選択します。確認ダイアログボックスで、[削除] をクリックします。