このトピックでは、Smart Studio を使用してプラットフォームモデルをデプロイし、そのリソースを設定する方法について説明します。
モデルライブラリからモデルを選択し、クラスターにデプロイします。
ステップ 1：モデルの選択
モデルを選択し、基本的なデプロイ設定を行います。
[Model Selection]：ドロップダウンリストからモデルを選択するか、モデルライブラリを参照します。ベースモデルとファインチューニングされたモデルの両方がサポートされています。
[Display Name]：ダッシュボード上でデプロイを識別するための分かりやすい名前 (最大 64 文字) です。
[Service Type]：デプロイのサービス トポロジーを選択します。
[Standard]：ほとんどのユースケースに適した、オールインワンの推論サービスです。
[P/D Separation]：プレフィル段階とデコード段階を独立したサービスに分離して、リソース割り当てを最適化します。
[Backend]：推論バックエンドエンジンを選択します。
[SGLang]：効率的なメモリ管理機能を備えた、高性能な推論エンジンです。
[vLLM]：高いスループットを実現する PagedAttention をサポートする、オープンソースの推論エンジンです。
P/D 分離を使用するケース： このモードは、高同時実行、ロングコンテキストのワークロードに推奨されます。トラフィックの少ない、またはコンテキストの短いユースケースでは、[Standard] モードの方がシンプルでコスト効率に優れています。
[Next] をクリックしてリソースを設定します。
ステップ 2：リソースの設定
リソース設定は、ステップ 1 で選択した [Service Type] によって異なります。
Standard サービス
単一のクラスター上で統合された推論サービスを設定します。
[Cluster]：デプロイ用のアクティブなクラスターを選択します。
[GPU Type]：クラスターで利用可能な GPU タイプ (L20 など) を選択します。要件については、「モデルデプロイごとの最小構成」をご参照ください。
[Number of Replicas]：負荷分散のためのサービス レプリカ数を指定します。デフォルトは 1 です。
[Distributed KV Cache]：(オプション) これを有効にすると、インスタンス間で KV キャッシュを共有できます。
[KV Cache Quantization]：(オプション) これを有効にすると、KV キャッシュを量子化してメモリ使用量を削減できます。
P/D 分離サービス
プレフィルサービスとデコードサービスを個別に設定して、リソース割り当てを最適化します。
[Cluster]：デプロイ用のアクティブなクラスターを選択します。
[P/D Shape]：プレフィルインスタンスとデコードインスタンスの比率を定義します (例：
1p1d= 1 プレフィルインスタンス + 1 デコードインスタンス) 。[Prefill Replicas] / [Decode Replicas]：各サービスのレプリカ数です。デフォルトは 1 です。
[Prefill TP] / [Decode TP]：各サービスのテンソル並列処理です。モデル設定ファイルで要求されている場合にのみ、これを調整してください。デフォルトは 1 です。
[Distributed KV Cache]：(オプション) これを有効にすると、インスタンス間で KV キャッシュを共有できます。
[KV Cache Capacity (GB)]：(オプション) KV キャッシュの容量を指定します。空白のままにすると、設定ファイルのデフォルト値が使用されます。
[Create Deployment] をクリックしてデプロイを開始します。
分散 KV キャッシュの最適化を有効にするケース： このオプションを有効にすると、キャッシュされたキーと値の状態をインスタンス間で共有し、冗長な計算を削減できます。これは、共通のシステムプロンプトなど、複数のレプリカが重複するコンテキストを持つリクエストを処理する場合に役立ちます。リクエストがコンテキストを共有することがほとんどない場合や、GPU メモリが限られている場合は、このオプションを無効のままにしてください。
デプロイの管理
デプロイが完了すると、モデルがデプロイリストに表示されます。リストから、デプロイのステータスの表示、サービスの停止または再起動、不要なデプロイの削除ができます。
