Container Service for Kubernetes:vLLMによるQwen推論サービスのデプロイ

Qwen1.5-4B-Chat

Qwen1.5-4B-Chat は、Alibaba Cloud が開発した 40億パラメーターの Transformer ベースの LLM で、Web テキスト、ドメイン固有の書籍、コードでトレーニングされています。 詳細については、「Qwen GitHub リポジトリ」をご参照ください。

vLLM

vLLM は、高スループットと低レイテンシーに最適化されたオープンソースの LLM 推論フレームワークです。 Qwen を含む最も広く使用されている LLM のほとんどをサポートし、PagedAttention、継続的バッチ処理、量子化を使用して効率を向上させます。 詳細については、「vLLM GitHub リポジトリ」をご参照ください。

モデルのダウンロード

1. Git をインストールします。

      # yum install git または apt install git を実行します。
      yum install git

2. Git Large File Storage (Git LFS) をインストールします。

      # yum install git-lfs または apt install git-lfs を実行します。
      yum install git-lfs

3. ModelScope から Qwen1.5-4B-Chat をクローンします。

      GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

4. Qwen1.5-4B-Chat ディレクトリに移動し、Git LFS ファイルをプルします。

      cd Qwen1.5-4B-Chat
      git lfs pull

OSSへのモデルのアップロード

1. OSSコンソールにログインし、バケット名をメモします。 バケットを作成するには、「バケットの作成」をご参照ください。

2. ossutil をインストールして設定します。 詳細については、「ossutil のインストール」をご参照ください。

3. OSS バケットにQwen1.5-4B-Chatディレクトリを作成します。

      ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

4. モデルファイルを OSS にアップロードします。

      ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

PV と PVC の作成

ACK クラスターに PV と PVC を作成して、OSS からモデルをマウントします。 詳細については、「静的にプロビジョニングされた OSS ボリュームのマウント」をご参照ください。

PV パラメーター：

PVC パラメーター：

GPUタイプの選択

サービスのデプロイ

GPU タイプに基づいてコマンドを選択します。

arena serve custom \
    --name=vllm-qwen-4b-chat \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/vllm:0.4.1-ubuntu22.04 \
    --data=llm-model:/model/Qwen1.5-4B-Chat \
    "python3 -m vllm.entrypoints.openai.api_server --trust-remote-code --model /model/Qwen1.5-4B-Chat/ --gpu-memory-utilization 0.95 --max-model-len 16384"

arena serve custom \
    --name=vllm-qwen-4b-chat \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/vllm:0.4.1-ubuntu22.04 \
    --data=llm-model:/model/Qwen1.5-4B-Chat \
    "python3 -m vllm.entrypoints.openai.api_server --trust-remote-code --model /model/Qwen1.5-4B-Chat/ --gpu-memory-utilization 0.95 --max-model-len 8192 --dtype half"

Arena パラメーター：

期待される出力：

service/vllm-qwen-4b-chat-v1 created
deployment.apps/vllm-qwen-4b-chat-v1-custom-serving created
INFO[0008] The Job vllm-qwen-4b-chat has been submitted successfully
INFO[0008] You can run `arena serve get vllm-qwen-4b-chat --type custom-serving -n default` to check the job status

デプロイの確認

推論サービスのステータスを確認します。

arena serve get vllm-qwen-4b-chat

期待される出力：

Name:       vllm-qwen-4b-chat
Namespace:  default
Type:       Custom
Version:    v1
Desired:    1
Available:  1
Age:        36m
Address:    172.16.XX.XX
Port:       RESTFUL:8000
GPU:        1

Instances:
  NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
  ----                                                  ------   ---  -----  --------  ---  ----
  vllm-qwen-4b-chat-v1-custom-serving-6d7c786b9f-z6nfk  Running  36m  1/1    0         1    cn-beijing.192.168.XX.XX

Available が Desired と一致し、インスタンスのステータスが Running になると、サービスの準備は完了です。

ポートフォワーディングの設定

ポート 8000 をローカルマシンに転送します。

kubectl port-forward svc/vllm-qwen-4b-chat-v1 8000:8000

期待される出力：

Forwarding from 127.0.0.1:8000 -> 8000
Forwarding from [::1]:8000 -> 8000

テストリクエストの送信

新しいターミナルを開き、推論リクエストを送信します。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json"  -d '{"model": "/model/Qwen1.5-4B-Chat/", "messages": [{"role": "user", "content": "Test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

期待される出力：

{"id":"cmpl-503270b21fa44db2b6b3c3e0abaa3c02","object":"chat.completion","created":1717141209,"model":"/model/Qwen1.5-4B-Chat/","choices":[{"index":0,"message":{"role":"assistant","content":"OK. What do you want to test?"},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":21,"total_tokens":30,"completion_tokens":9}}

vLLM は、/v1/chat/completions エンドポイントで OpenAI 互換の API を公開します。