Container Compute Service:ACS GPU コンピューティング性能を利用した DeepSeek 蒸留モデル推論サービスの構築

ステップ1：モデルファイルの準備

1. git-lfs を使用して、ModelScope から DeepSeek-R1-Distill-Qwen-7B モデルをダウンロードします。

   説明

   git-lfs がインストールされているかどうかを確認してください。インストールされていない場合は、yum install git-lfs または apt-get install git-lfs を実行してインストールしてください。「Git Large File Storageのインストール」をご参照ください。

   git lfs install
   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git
   cd DeepSeek-R1-Distill-Qwen-7B/
   git lfs pull

2. OSS ディレクトリを作成し、モデルファイルをアップロードします。

   説明

   ossutil をインストールするには、「ossutilのインストール」をご参照ください。

   ossutil mkdir oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B
   ossutil cp -r ./DeepSeek-R1-Distill-Qwen-7B oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B

3. PV および PVC を作成します。ターゲットクラスター用に、llm-model という名前の永続ボリューム (PV) と永続ボリューム要求 (PVC) を設定します。詳細な手順については、「OSS静的ボリュームの使用」をご参照ください。

   PV を作成する際には、次のパラメータを使用します。

   パラメータ	値
   PV タイプ	OSS
   ボリューム名	llm-model
   アクセス認証情報	OSS バケットの AccessKey ID および AccessKey Secret
   バケット名	前のステップで作成した OSS バケット
   OSS パス	/models/DeepSeek-R1-Distill-Qwen-7B

   PVC を作成する際には、次のパラメータを使用します。

   パラメータ	値
   PVC タイプ	OSS
   名前	llm-model
   割り当てモード	既存のボリューム
   既存のボリューム	上記で作成した PV を選択

   YAML の例：

   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
   stringData:
     akId: <your-oss-ak>       # OSS バケットの AccessKey ID
     akSecret: <your-oss-sk>   # OSS バケットの AccessKey Secret
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: llm-model
     labels:
       alicloud-pvname: llm-model
   spec:
     capacity:
       storage: 30Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: llm-model
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: <your-bucket-name>       # OSS バケットの名前
         url: <your-bucket-endpoint>      # エンドポイント、例： oss-cn-hangzhou-internal.aliyuncs.com
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
         path: <your-model-path>          # モデルパス、例： /models/DeepSeek-R1-Distill-Qwen-7B/
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: llm-model
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 30Gi
     selector:
       matchLabels:
         alicloud-pvname: llm-model

ステップ2：モデルのデプロイ

1. 次のコマンドを実行して、vLLM 推論サービスをデプロイします。このサービスは、OpenAI 互換の HTTP API を公開します。

   --data フラグは、モデル PVC をコンテナ内の /model/DeepSeek-R1-Distill-Qwen-7B にマウントします。--max-model-len フラグは、トークン単位の最大コンテキスト長を設定します。これを増やすと、モデルの会話品質が向上する可能性がありますが、より多くの GPU メモリを消費する場合があります。

   説明

   • --label=alibabacloud.com/gpu-model-series=<example-model> の <example-model> を、ACS クラスターでサポートされている実際の GPU モデルシリーズに置き換えてください。チケットを送信して、利用可能な GPU モデルシリーズのリストを取得してください。

   • egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} はパブリックレジストリアドレスです。イメージのプル時間を短縮するため、「VPC を使用した AI コンテナイメージプルの高速化」の使用を推奨します。

   arena serve custom \
   --name=deepseek-r1 \
   --version=v1 \
   --gpus=1 \
   --cpu=8 \
   --memory=32Gi \
   --replicas=1 \
   --label=alibabacloud.com/compute-class=gpu \
   --label=alibabacloud.com/gpu-model-series=<example-model> \
   --restful-port=8000 \
   --readiness-probe-action="tcpSocket" \
   --readiness-probe-action-option="port: 8000" \
   --readiness-probe-option="initialDelaySeconds: 30" \
   --readiness-probe-option="periodSeconds: 30" \
   --image=egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless \
   --data=llm-model:/models/DeepSeek-R1-Distill-Qwen-7B \
   "vllm serve /models/DeepSeek-R1-Distill-Qwen-7B --port 8000 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"

   期待される出力：

   service/deepseek-r1-v1 created
   deployment.apps/deepseek-r1-v1-custom-serving created
   INFO[0004] The Job deepseek-r1 has been submitted successfully
   INFO[0004] You can run `arena serve get deepseek-r1 --type custom-serving -n default` to check the job status

   次の表に、主要なパラメータについて説明します。

   パラメータ	説明
   --name	推論サービスの名前
   --version	推論サービスのバージョン
   --gpus	レプリカあたりの GPU 数
   --cpu	レプリカあたりの vCPU 数
   --memory	レプリカあたりのメモリ量
   --replicas	レプリカ数
   --label	ACS GPU コンピューティング性能を指定するラベル。alibabacloud.com/compute-class=gpu および alibabacloud.com/gpu-model-series=<example-model> を設定
   --restful-port	推論サービスが公開するポート
   --readiness-probe-action	Readiness Probe の接続タイプ。有効な値：httpGet、exec、grpc、tcpSocket
   --readiness-probe-action-option	Readiness Probe の接続方法
   --readiness-probe-option	Readiness Probe の設定
   --image	推論サービスのコンテナイメージ
   --data	PVC をコンテナにマウントします。形式：<pvc-name>:<mount-path>。arena data list を実行して、使用可能な PVC をリストアップできます

2. デプロイステータスを確認するには、次のコマンドを実行してください。

   arena serve get deepseek-r1

   期待される出力：

   Name:       deepseek-r1
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        6h
   Address:    10.0.78.27
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                            STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                            ------   ---  -----  --------  ---  ----
     deepseek-r1-v1-custom-serving-54d579d994-dqwxz  Running  1h   1/1    0         1    virtual-kubelet-cn-hangzhou-b

ステップ3：推論サービスの検証

1. kubectl port-forward を使用して、ローカルマシンから推論サービスへのポートフォワーディングを設定してください。

   説明

   kubectl port-forward によって確立されるポートフォワーディングは、本番環境レベルの信頼性、セキュリティ、またはスケーラビリティを提供しません。そのため、これは開発およびデバッグ目的のみのものであり、本番環境には適していません。Kubernetes クラスターにおける本番環境対応のネットワーキングソリューションの詳細については、「Ingress 管理」をご参照ください。

   kubectl port-forward svc/deepseek-r1-v1 8000:8000

   期待される出力：

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. OpenAI 互換のチャット補完エンドポイントにテストリクエストを送信してください。

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "deepseek-r1",
       "messages": [
         {
           "role": "user",
           "content": "Write a letter to my daughter from the future 2025 and tell her to study science and technology well, be the master of science and technology, and promote the development of science and technology and economy. She is now in grade 3."
         }
       ],
       "max_tokens": 1024,
       "temperature": 0.7,
       "top_p": 0.9,
       "seed": 10
     }'

   期待される出力：

   {
     "id": "chatcmpl-53613fd815da46df92cc9b92cd156146",
     "object": "chat.completion",
     "created": 1741216800,
     "model": "deepseek-r1",
     "choices": [
       {
         "index": 0,
         "message": {
           "role": "assistant",
           "content": "<think>...</think>\n\nDear Future 2025: ..."
         },
         "finish_reason": "stop"
       }
     ],
     "usage": {
       "prompt_tokens": 40,
       "completion_tokens": 994,
       "total_tokens": 1034
     }
   }

(オプション) ステップ4：クリーンアップ

不要になった推論サービスおよびストレージリソースを削除してください。

1. 推論サービスを削除します。

   arena serve delete deepseek-r1

   期待される出力：

   INFO[0007] The serving job deepseek-r1 with version v1 has been deleted successfully

2. PVC および PV を削除します。

   kubectl delete pvc llm-model
   kubectl delete pv llm-model

   期待される出力：

   persistentvolumeclaim "llm-model" deleted
   persistentvolume "llm-model" deleted