Container Compute Service:Déployez un service d'inférence pour un modèle DeepSeek distillé en exploitant la puissance de calcul GPU d'ACS

GPU memory = number of model parameters × bytes per parameter

Étape 1 : Préparez les fichiers du modèle

1. Téléchargez le modèle DeepSeek-R1-Distill-Qwen-7B depuis ModelScope en utilisant git-lfs.

   Remarque

   Vérifiez si git-lfs est installé. Sinon, installez-le en exécutant yum install git-lfs ou apt-get install git-lfs. Consultez la documentation Install Git Large File Storage.

   git lfs install
   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git
   cd DeepSeek-R1-Distill-Qwen-7B/
   git lfs pull

2. Créez un répertoire OSS et téléversez les fichiers du modèle.

   Remarque

   Pour installer ossutil, consultez la rubrique Installer ossutil.

   ossutil mkdir oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B
   ossutil cp -r ./DeepSeek-R1-Distill-Qwen-7B oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B

3. Créez un PV et un PVC. Configurez un volume persistant (PV) nommé llm-model et une revendication de volume persistant (PVC) pour le cluster cible. Pour une procédure détaillée, consultez la rubrique Utiliser un volume statique OSS.

   Utilisez les paramètres suivants lors de la création du PV :

   Parameter	Value
   PV type	OSS
   Volume name	llm-model
   Access certificate	L'ID AccessKey et le secret AccessKey de votre bucket OSS
   Bucket ID	Le bucket OSS créé à l'étape précédente
   OSS path	/models/DeepSeek-R1-Distill-Qwen-7B

   Utilisez les paramètres suivants lors de la création du PVC :

   Parameter	Value
   PVC type	OSS
   Name	llm-model
   Allocation mode	Existing volumes
   Existing volumes	Sélectionnez le PV créé précédemment

   Exemple YAML :

   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
   stringData:
     akId: <your-oss-ak>       # AccessKey ID for the OSS bucket
     akSecret: <your-oss-sk>   # AccessKey secret for the OSS bucket
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: llm-model
     labels:
       alicloud-pvname: llm-model
   spec:
     capacity:
       storage: 30Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: llm-model
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: <your-bucket-name>       # Name of the OSS bucket
         url: <your-bucket-endpoint>      # Endpoint, for example, oss-cn-hangzhou-internal.aliyuncs.com
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
         path: <your-model-path>          # Model path, for example, /models/DeepSeek-R1-Distill-Qwen-7B/
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: llm-model
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 30Gi
     selector:
       matchLabels:
         alicloud-pvname: llm-model

Étape 2 : Déployez le modèle

1. Exécutez la commande suivante pour déployer le service d'inférence vLLM. Le service expose une API HTTP compatible avec OpenAI.

   L'option --data monte le PVC du modèle vers /model/DeepSeek-R1-Distill-Qwen-7B à l'intérieur du conteneur. L'option --max-model-len définit la longueur maximale du contexte en tokens ; son augmentation peut améliorer la qualité des conversations du modèle, mais risque de consommer davantage de mémoire GPU.

   Remarque

   • Remplacez <example-model> dans --label=alibabacloud.com/gpu-model-series=<example-model> par la série de modèles GPU réellement prise en charge par votre cluster ACS. Soumettez un ticket pour obtenir la liste des séries de modèles GPU disponibles.

   • egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} est une adresse de registre public. Pour réduire le temps de tirage d'image, nous recommandons d'utiliser le VPC pour accélérer le tirage des images de conteneurs IA.

   arena serve custom \
   --name=deepseek-r1 \
   --version=v1 \
   --gpus=1 \
   --cpu=8 \
   --memory=32Gi \
   --replicas=1 \
   --label=alibabacloud.com/compute-class=gpu \
   --label=alibabacloud.com/gpu-model-series=<example-model> \
   --restful-port=8000 \
   --readiness-probe-action="tcpSocket" \
   --readiness-probe-action-option="port: 8000" \
   --readiness-probe-option="initialDelaySeconds: 30" \
   --readiness-probe-option="periodSeconds: 30" \
   --image=egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless \
   --data=llm-model:/models/DeepSeek-R1-Distill-Qwen-7B \
   "vllm serve /models/DeepSeek-R1-Distill-Qwen-7B --port 8000 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"

   Le résultat attendu est le suivant :

   service/deepseek-r1-v1 created
   deployment.apps/deepseek-r1-v1-custom-serving created
   INFO[0004] The Job deepseek-r1 has been submitted successfully
   INFO[0004] You can run `arena serve get deepseek-r1 --type custom-serving -n default` to check the job status

   Le tableau suivant décrit les paramètres clés.

   Parameter	Description
   --name	Nom du service d'inférence
   --version	Version du service d'inférence
   --gpus	Nombre de GPU par réplica
   --cpu	Nombre de vCPU par réplica
   --memory	Quantité de mémoire par réplica
   --replicas	Nombre de réplicas
   --label	Libellés qui spécifient la puissance de calcul GPU d'ACS. Définissez alibabacloud.com/compute-class=gpu et alibabacloud.com/gpu-model-series=<example-model>
   --restful-port	Port exposé par le service d'inférence
   --readiness-probe-action	Type de connexion pour les sondes de readiness. Valeurs valides : httpGet, exec, grpc, tcpSocket
   --readiness-probe-action-option	Méthode de connexion pour les sondes de readiness
   --readiness-probe-option	Configuration de la sonde de readiness
   --image	Image de conteneur pour le service d'inférence
   --data	Monte un PVC dans le conteneur. Format : <pvc-name>:<mount-path>. Exécutez arena data list pour lister les PVC disponibles

2. Pour vérifier l'état du déploiement, exécutez :

   arena serve get deepseek-r1

   Résultat attendu :

   Name:       deepseek-r1
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        6h
   Address:    10.0.78.27
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                            STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                            ------   ---  -----  --------  ---  ----
     deepseek-r1-v1-custom-serving-54d579d994-dqwxz  Running  1h   1/1    0         1    virtual-kubelet-cn-hangzhou-b

Étape 3 : Vérifiez le service d'inférence

1. Utilisez kubectl port-forward pour configurer la redirection de port depuis votre machine locale vers le service d'inférence.

   Remarque

   La redirection de port établie par kubectl port-forward n'offre pas la fiabilité, la sécurité ou l'évolutivité requises pour un environnement de production. Elle est donc destinée uniquement au développement et au débogage, et ne convient pas aux environnements de production. Pour plus d'informations sur les solutions de réseau adaptées à la production dans les clusters Kubernetes, consultez la rubrique Gestion Ingress.

   kubectl port-forward svc/deepseek-r1-v1 8000:8000

   Résultat attendu :

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. Envoyez une requête de test vers le point de terminaison de complétion de chat compatible avec OpenAI.

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "deepseek-r1",
       "messages": [
         {
           "role": "user",
           "content": "Write a letter to my daughter from the future 2035 and tell her to study science and technology well, be the master of science and technology, and promote the development of science and technology and economy. She is now in grade 3."
         }
       ],
       "max_tokens": 1024,
       "temperature": 0.7,
       "top_p": 0.9,
       "seed": 10
     }'

   Résultat attendu :

   {
     "id": "chatcmpl-53613fd815da46df92cc9b92cd156146",
     "object": "chat.completion",
     "created": 1739261570,
     "model": "deepseek-r1",
     "choices": [
       {
         "index": 0,
         "message": {
           "role": "assistant",
           "content": "<think>...</think>\n\nDear Future 2035: ..."
         },
         "finish_reason": "stop"
       }
     ],
     "usage": {
       "prompt_tokens": 40,
       "completion_tokens": 994,
       "total_tokens": 1034
     }
   }

(Facultatif) Étape 4 : Nettoyez les ressources

Supprimez le service d'inférence et les ressources de stockage lorsqu'ils ne sont plus nécessaires.

1. Supprimez le service d'inférence.

   arena serve delete deepseek-r1

   Résultat attendu :

   INFO[0007] The serving job deepseek-r1 with version v1 has been deleted successfully

2. Supprimez le PVC et le PV.

   kubectl delete pvc llm-model
   kubectl delete pv llm-model

   Résultat attendu :

   persistentvolumeclaim "llm-model" deleted
   persistentvolume "llm-model" deleted