Compute Nest:Compute Nest での Qwen3 シリーズモデルの迅速なデプロイ

モデルデプロイパラメーターのクエリ

1. [ログ] タブで、[リソースタイプ] 列の [ALIYUN::ECS::RunCommand] を見つけ、[関連 ID] をコピーしてクリックし、[ECS クラウドアシスタント] ページに移動します。

   

2. [コマンド実行結果] タブで [ECS クラウドアシスタント] ページの関連 ID を貼り付けて、検索アイコンをクリックします。

   

3. [操作] 列の [表示] をクリックします。 [実行情報] タブの [コマンドコンテンツ] セクションで、モデルデプロイパラメーターを表示します。

   

カスタムパラメーターを使用したモデルのデプロイ

カスタムパラメーターを指定してモデルをデプロイするには、次の手順を実行してサービスインスタンスを変更および再デプロイします。

1. [リソース] タブで、[リモート接続] をクリックして ECS インスタンスに接続します。 表示されるダイアログボックスで、[パスワードなしログオン] をクリックして ECS インスタンスにログオンします。

   

2. モデルサービスを停止します。

   警告

   サービスを停止すると、ビジネスが中断されます。 この操作は、ビジネストラフィックが少ない時間帯に実行することをお勧めします。

   sudo docker stop vllm
   sudo docker rm vllm

3. モデルデプロイコマンド を取得、変更、および実行します。

   この例では、仮想大規模言語モデル (vLLM) と SGlang のリファレンススクリプトが提供されています。 コメントを参照して、実行するスクリプトを変更できます。

   説明

   再デプロイには約 10 分かかります。

   vLLM

   sudo docker run -d -t --net=host \
    --gpus all \ # 使用可能なすべての GPU デバイスへのコンテナのアクセスを許可する
    --entrypoint /bin/bash \
    --privileged \
    --ipc=host \
    --name vllm \ # コンテナに認識しやすい名前 vllm を付ける
    -v /root:/root \ # ホストの /root ディレクトリをデータ共有のためにコンテナの /root にマウントする
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-pytorch2.5.1-cuda12.4-ubuntu22.04 \
    -c "pip install --upgrade vllm==0.8.2 && # バージョンをカスタマイズする (例: pip install vllm==0.7.1)
    export GLOO_SOCKET_IFNAME=eth0 && # VPC ネットワーク通信に必要な環境変数。削除または変更しないでください。
    export NCCL_SOCKET_IFNAME=eth0 && # VPC ネットワーク通信に必要な環境変数。削除または変更しないでください。
    vllm serve /root/llm-model/${ModelName} \  # サービスを使用してモデルを起動する
    --served-model-name ${ModelName} \  # サービスで使用するモデル名を指定する
    --gpu-memory-utilization 0.98 \ # GPU 使用率。高すぎると、他のプロセスで OOM が発生する可能性があります。有効値: 0 と 1。
    --max-model-len ${MaxModelLen} \ # 最大モデル長。値の範囲はモデル自体によって異なります。
    --enable-chunked-prefill \
    --host=0.0.0.0 \
    --port 8080 \
    --trust-remote-code \
    --api-key "${VLLM_API_KEY}" \ # オプション。API キーを設定します。必要ない場合は削除できます。
    --tensor-parallel-size $(nvidia-smi --query-gpu=index --format=csv,noheader | wc -l | awk '{print $1}')" # 使用する GPU の数。デフォルトはすべての GPU です。

   SGlang

    # SGlang を含むパブリックイメージをダウンロードする
    sudo docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250224
   
    sudo docker run -d -t --net=host \
    --gpus all \ # 使用可能なすべての GPU デバイスへのコンテナのアクセスを許可する
    --entrypoint /bin/bash \
    --privileged \
    --ipc=host \
    --name llm-server \
    -v /root:/root \
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250224 \ 
    -c "pip install sglang==0.4.3 && # バージョンをカスタマイズする
    export GLOO_SOCKET_IFNAME=eth0 && # VPC ネットワーク通信に必要な環境変数。削除または変更しないでください。
    export NCCL_SOCKET_IFNAME=eth0 && # VPC ネットワーク通信に必要な環境変数。削除または変更しないでください。
    python3 -m sglang.launch_server \
    --model-path /root/llm-model/${ModelName} \ # サービスを使用してモデルを起動する
    --served-model-name ${ModelName} \ # サービスで使用するモデル名を指定する
    --tp $(nvidia-smi --query-gpu=index --format=csv,noheader | wc -l | awk '{print $1}')" \ # 使用する GPU の数。デフォルトはすべての GPU です。
    --trust-remote-code \
    --host 0.0.0.0 \
    --port 8080 \
    --mem-fraction-static 0.9 # GPU 使用率。高すぎると、他のプロセスで OOM が発生する可能性があります。有効値: 0 と 1。

   リクエスト成功の例。

   

4. モデルサービスが想定どおりに実行されているかどうかを確認します。 次の図に示す結果が返された場合、モデルサービスは正常に再デプロイされています。

   sudo docker ps
   sudo docker logs vllm  

   

   

パフォーマンステストの例