LMDeploy と A10 GPU を使用して、ACK 上に Qwen1.5-4B-Chat をデプロイし、チャット補完 REST API を公開します。
LMDeploy と Qwen1.5-4B-Chat について
LMDeploy は、大規模言語モデル (LLM) を圧縮、デプロイ、提供するためのオープンソースツールキットです。
モデル圧縮と最適化:重み量子化とキーバリュー (KV) キャッシュ量子化を適用して、モデルサイズとメモリ使用量を削減します。テンソル並列処理と KV キャッシュ最適化によりスループットを向上させます。
柔軟なデプロイ:スケーラビリティと高可用性のために、単一マシン、マルチマシン、マルチ GPU のデプロイをサポートします。
サービス管理:キャッシュにより冗長な計算を削減し、応答速度を向上させます。
Qwen1.5-4B-Chat は Alibaba Cloud が開発した 40 億パラメータの LLM で、Web テキスト、ドメイン固有の書籍、コードでトレーニングされています。Qwen GitHub リポジトリをご参照ください。
前提条件
開始する前に:
GPU 高速化ノード (各ノードの GPU メモリが 16 GB 以上) を備えた ACK Pro マネージドクラスター (Kubernetes 1.22 以降)。GPU ノードは、ドライバーバージョン 525.105.17 を固定するために、ラベル
ack.aliyun.com/nvidia-driver-version:525.105.17が付与されています。最新の Arena クライアントがインストールされていること。
ステップ 1:モデルデータの準備
このチュートリアルでは Qwen1.5-4B-Chat を例に、モデルのダウンロード、OSS へのアップロード、ACK クラスターでの永続ボリューム (PV) と永続ボリューム要求 (PVC) の作成方法を説明します。
OSS の代わりに NAS を使用する場合は、「Use NAS static persistent volume」をご参照ください。
モデルのダウンロード
Git をインストールします:
# yum install git または apt install git を実行します。 yum install gitGit Large File Storage (LFS) をインストールします:
# yum install git-lfs または apt install git-lfs を実行します。 yum install git-lfsLFS ファイルを除外して、ModelScope から Qwen1.5-4B-Chat をクローンします:
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.gitリポジトリに移動し、LFS ファイルを取得します:
cd Qwen1.5-4B-Chat git lfs pull
モデルの OSS へのアップロード
OSS にモデルディレクトリを作成します:
ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chatモデルファイルをアップロードします:
ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat
PV と PVC の作成
モデルデータをボリュームマウントするため、PV と PVC を作成します。「Mount a statically provisioned OSS volume」をご参照ください。
PV の設定:
パラメータ | 値 |
[PV タイプ] | OSS |
[ボリューム名] | llm-model |
[アクセス認証情報] | OSS バケットの AccessKey ID と AccessKey secret |
[バケット ID] | OSS バケット名 |
[OSS パス] |
|
PVC の設定:
パラメータ | 値 |
[PVC タイプ] | OSS |
[ボリューム名] | llm-model |
[割り当てモード] | 既存ボリューム |
[既存ボリューム] | [既存のボリューム] をクリックし、作成した PV を選択します。 |
ステップ 2:推論サービスのデプロイ
Arena を使用して推論サービスをデプロイします:
arena serve custom \ --name=lmdeploy-qwen \ --version=v1 \ --gpus=1 \ --replicas=1 \ --restful-port=8000 \ --readiness-probe-action="tcpSocket" \ --readiness-probe-action-option="port: 8000" \ --readiness-probe-option="initialDelaySeconds: 30" \ --readiness-probe-option="periodSeconds: 30" \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/lmdeploy:v0.4.2 \ --data=llm-model:/model/Qwen1.5-4B-Chat \ "lmdeploy serve api_server /model/Qwen1.5-4B-Chat --server-port 8000"コマンドパラメータ:
パラメータ
説明
例
serve customArena のサブコマンドです。
tfservingやtritonなどのプリセットタイプではなく、カスタムモデルサービスをデプロイします。—
--nameサービス名です。 ログの確認やサービスの削除など、後続の操作で使用する一意の識別子です。
modelscope--versionサービスバージョンです。 バージョン管理や段階的リリースに役立つ、サービスのバージョンラベルです。
v1--gpusGPU 数です。 各 Pod に割り当てる GPU の数です。モデル推論に GPU が必要な場合は必須です。
1--replicasレプリカ数です。 実行する Pod 数です。レプリカ数を増やすと、同時スループットと可用性が向上します。
1--restful-portRESTful API ポートです。 推論リクエストを受け付けるために、サービスが RESTful API を公開するポートです。
8000--readiness-probe-actionreadiness probe のタイプです。 コンテナがトラフィックを受け付ける準備ができているかを判定するために、Kubernetes の readiness probe が使用するチェック方法です。
tcpSocket--readiness-probe-action-optionプローブタイプのオプションです。 選択したプローブタイプのパラメータです。
tcpSocketの場合は、チェックするポートを指定します。port: 8000--readiness-probe-option追加のプローブ設定です。 readiness probe の追加パラメータです。このフラグは繰り返し指定できます。初回遅延とチェック間隔を設定します。
initialDelaySeconds: 30、periodSeconds: 30--dataボリュームマウントです。
<pvc-name>:<mount-path>形式で、PVC をコンテナ内の指定パスにマウントします。事前に配置したモデルファイルをマウントするために使用します。llm-model:/model/Qwen1.5-4B-Chat--imageコンテナイメージです。 サービスの実行環境を定義するコンテナイメージの完全な URL です。
kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/lmdeploy:v0.4.2[COMMAND]起動コマンドです。 コンテナ起動後に実行するコマンドです。
MODEL_ID環境変数を設定し、server.pyを起動します。"lmdeploy serve api_server /model/Qwen1.5-4B-Chat --server-port 8000"出力に、推論サービスが正常にデプロイされたことが示されます。
service/lmdeploy-qwen-v1 created deployment.apps/lmdeploy-qwen-v1-custom-serving created INFO[0002] The Job lmdeploy-qwen has been submitted successfully INFO[0002] You can run `arena serve get lmdeploy-qwen --type custom-serving -n default` to check the job statusサービスのステータスを確認し、
Availableが1になるまで待機します:arena serve get lmdeploy-qwen想定される出力:
Name: lmdeploy-qwen Namespace: default Type: Custom Version: v1 Desired: 1 Available: 1 Age: 1m Address: 192.168.XX.XX Port: RESTFUL:8000 GPU: 1 Instances: NAME STATUS AGE READY RESTARTS GPU NODE ---- ------ --- ----- -------- --- ---- lmdeploy-qwen-v1-custom-serving-8476b9dd8c-8b4d2 Running 1m 1/1 0 1 cn-beijing.172.16.XX.XXAvailable: 1かつ Pod のステータスがRunningの場合、サービスは利用可能です。
ステップ 3:推論サービスの検証
ローカルマシンへのポートフォワーディングを設定します:
kubectl port-forward svc/lmdeploy-qwen-v1 8000:8000想定される出力:
Forwarding from 127.0.0.1:8000 -> 8000 Forwarding from [::1]:8000 -> 8000重要kubectl port-forwardは開発およびデバッグ専用です。本番環境については、「Ingress overview」をご参照ください。テスト用の推論リクエストを送信します:
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "qwen", "messages": [{"role": "user", "content": "Test it out."}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'想定される出力:
{"id":"1","object":"chat.completion","created":1719833349,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"Sure, do you have any testing requirements or issues?"},"logprobs":null,"finish_reason":"length"}],"usage":{"prompt_tokens":21,"total_tokens":32,"completion_tokens":11}}choices配列を含む JSON レスポンスが返ることを確認できれば、モデルは正常に動作しています。
(オプション)ステップ 4:クリーンアップ
不要になったリソースを削除します。
推論サービスを削除します:
arena serve del lmdeploy-qwenPVC と PV を削除します:
kubectl delete pvc llm-model kubectl delete pv llm-model