すべてのプロダクト
Search
ドキュメントセンター

Container Service for Kubernetes:LMDeployによるQwen推論サービスのデプロイ

最終更新日:Sep 17, 2026

LMDeploy と A10 GPU を使用して、ACK 上に Qwen1.5-4B-Chat をデプロイし、チャット補完 REST API を公開します。

LMDeploy と Qwen1.5-4B-Chat について

LMDeploy は、大規模言語モデル (LLM) を圧縮、デプロイ、提供するためのオープンソースツールキットです。

  • モデル圧縮と最適化:重み量子化とキーバリュー (KV) キャッシュ量子化を適用して、モデルサイズとメモリ使用量を削減します。テンソル並列処理と KV キャッシュ最適化によりスループットを向上させます。

  • 柔軟なデプロイ:スケーラビリティと高可用性のために、単一マシン、マルチマシン、マルチ GPU のデプロイをサポートします。

  • サービス管理:キャッシュにより冗長な計算を削減し、応答速度を向上させます。

Qwen1.5-4B-Chat は Alibaba Cloud が開発した 40 億パラメータの LLM で、Web テキスト、ドメイン固有の書籍、コードでトレーニングされています。Qwen GitHub リポジトリをご参照ください。

前提条件

開始する前に:

  • GPU 高速化ノード (各ノードの GPU メモリが 16 GB 以上) を備えた ACK Pro マネージドクラスター (Kubernetes 1.22 以降)。GPU ノードは、ドライバーバージョン 525.105.17 を固定するために、ラベル ack.aliyun.com/nvidia-driver-version:525.105.17 が付与されています。

  • 最新の Arena クライアントがインストールされていること。

ステップ 1:モデルデータの準備

このチュートリアルでは Qwen1.5-4B-Chat を例に、モデルのダウンロード、OSS へのアップロード、ACK クラスターでの永続ボリューム (PV) と永続ボリューム要求 (PVC) の作成方法を説明します。

OSS の代わりに NAS を使用する場合は、「Use NAS static persistent volume」をご参照ください。

モデルのダウンロード

  1. Git をインストールします:

    # yum install git または apt install git を実行します。
    yum install git
  2. Git Large File Storage (LFS) をインストールします:

    # yum install git-lfs または apt install git-lfs を実行します。
    yum install git-lfs
  3. LFS ファイルを除外して、ModelScope から Qwen1.5-4B-Chat をクローンします:

    GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
  4. リポジトリに移動し、LFS ファイルを取得します:

    cd Qwen1.5-4B-Chat
    git lfs pull

モデルの OSS へのアップロード

  1. OSS コンソールにログインし、バケット名を確認します。必要に応じて、バケットを作成します。

  2. ossutil をインストールして設定します。

  3. OSS にモデルディレクトリを作成します:

    ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat
  4. モデルファイルをアップロードします:

    ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

PV と PVC の作成

モデルデータをボリュームマウントするため、PV と PVC を作成します。「Mount a statically provisioned OSS volume」をご参照ください。

PV の設定:

パラメータ

値

[PV タイプ]

OSS

[ボリューム名]

llm-model

[アクセス認証情報]

OSS バケットの AccessKey ID と AccessKey secret

[バケット ID]

OSS バケット名

[OSS パス]

/models/Qwen1.5-4B-Chat などのモデルパス

PVC の設定:

パラメータ

値

[PVC タイプ]

OSS

[ボリューム名]

llm-model

[割り当てモード]

既存ボリューム

[既存ボリューム]

[既存のボリューム] をクリックし、作成した PV を選択します。

ステップ 2:推論サービスのデプロイ

  1. Arena を使用して推論サービスをデプロイします:

    arena serve custom \
        --name=lmdeploy-qwen \
        --version=v1 \
        --gpus=1 \
        --replicas=1 \
        --restful-port=8000 \
        --readiness-probe-action="tcpSocket" \
        --readiness-probe-action-option="port: 8000" \
        --readiness-probe-option="initialDelaySeconds: 30" \
        --readiness-probe-option="periodSeconds: 30" \
        --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/lmdeploy:v0.4.2 \
        --data=llm-model:/model/Qwen1.5-4B-Chat \
        "lmdeploy serve api_server /model/Qwen1.5-4B-Chat --server-port 8000"

    コマンドパラメータ:

    パラメータ

    説明

    例

    serve custom

    Arena のサブコマンドです。 tfserving や triton などのプリセットタイプではなく、カスタムモデルサービスをデプロイします。

    —

    --name

    サービス名です。 ログの確認やサービスの削除など、後続の操作で使用する一意の識別子です。

    modelscope

    --version

    サービスバージョンです。 バージョン管理や段階的リリースに役立つ、サービスのバージョンラベルです。

    v1

    --gpus

    GPU 数です。 各 Pod に割り当てる GPU の数です。モデル推論に GPU が必要な場合は必須です。

    1

    --replicas

    レプリカ数です。 実行する Pod 数です。レプリカ数を増やすと、同時スループットと可用性が向上します。

    1

    --restful-port

    RESTful API ポートです。 推論リクエストを受け付けるために、サービスが RESTful API を公開するポートです。

    8000

    --readiness-probe-action

    readiness probe のタイプです。 コンテナがトラフィックを受け付ける準備ができているかを判定するために、Kubernetes の readiness probe が使用するチェック方法です。

    tcpSocket

    --readiness-probe-action-option

    プローブタイプのオプションです。 選択したプローブタイプのパラメータです。tcpSocket の場合は、チェックするポートを指定します。

    port: 8000

    --readiness-probe-option

    追加のプローブ設定です。 readiness probe の追加パラメータです。このフラグは繰り返し指定できます。初回遅延とチェック間隔を設定します。

    initialDelaySeconds: 30、periodSeconds: 30

    --data

    ボリュームマウントです。 <pvc-name>:<mount-path> 形式で、PVC をコンテナ内の指定パスにマウントします。事前に配置したモデルファイルをマウントするために使用します。

    llm-model:/model/Qwen1.5-4B-Chat

    --image

    コンテナイメージです。 サービスの実行環境を定義するコンテナイメージの完全な URL です。

    kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/lmdeploy:v0.4.2

    [COMMAND]

    起動コマンドです。 コンテナ起動後に実行するコマンドです。MODEL_ID 環境変数を設定し、server.py を起動します。

    "lmdeploy serve api_server /model/Qwen1.5-4B-Chat --server-port 8000"

    出力に、推論サービスが正常にデプロイされたことが示されます。

    service/lmdeploy-qwen-v1 created
    deployment.apps/lmdeploy-qwen-v1-custom-serving created
    INFO[0002] The Job lmdeploy-qwen has been submitted successfully
    INFO[0002] You can run `arena serve get lmdeploy-qwen --type custom-serving -n default` to check the job status
  2. サービスのステータスを確認し、Available が 1 になるまで待機します:

    arena serve get lmdeploy-qwen

    想定される出力:

    Name:       lmdeploy-qwen
    Namespace:  default
    Type:       Custom
    Version:    v1
    Desired:    1
    Available:  1
    Age:        1m
    Address:    192.168.XX.XX
    Port:       RESTFUL:8000
    GPU:        1
    
    Instances:
      NAME                                              STATUS   AGE  READY  RESTARTS  GPU  NODE
      ----                                              ------   ---  -----  --------  ---  ----
      lmdeploy-qwen-v1-custom-serving-8476b9dd8c-8b4d2  Running  1m   1/1    0         1    cn-beijing.172.16.XX.XX

    Available: 1 かつ Pod のステータスが Running の場合、サービスは利用可能です。

ステップ 3:推論サービスの検証

  1. ローカルマシンへのポートフォワーディングを設定します:

    kubectl port-forward svc/lmdeploy-qwen-v1 8000:8000

    想定される出力:

    Forwarding from 127.0.0.1:8000 -> 8000
    Forwarding from [::1]:8000 -> 8000
    重要

    kubectl port-forward は開発およびデバッグ専用です。本番環境については、「Ingress overview」をご参照ください。

  2. テスト用の推論リクエストを送信します:

    curl http://localhost:8000/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{"model": "qwen", "messages": [{"role": "user", "content": "Test it out."}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

    想定される出力:

    {"id":"1","object":"chat.completion","created":1719833349,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"Sure, do you have any testing requirements or issues?"},"logprobs":null,"finish_reason":"length"}],"usage":{"prompt_tokens":21,"total_tokens":32,"completion_tokens":11}}

    choices 配列を含む JSON レスポンスが返ることを確認できれば、モデルは正常に動作しています。

(オプション)ステップ 4:クリーンアップ

不要になったリソースを削除します。

  • 推論サービスを削除します:

    arena serve del lmdeploy-qwen
  • PVC と PV を削除します:

    kubectl delete pvc llm-model
    kubectl delete pv llm-model