Container Service for Kubernetes:Deploy a DeepSeek distilled model inference service on ACK

Étape 1 : Préparer les fichiers du modèle DeepSeek-R1-Distill-Qwen-7B

1. Téléchargez le modèle DeepSeek-R1-Distill-Qwen-7B depuis ModelScope.

   Remarque

   Git Large File Storage (LFS) doit être installé. Exécutez yum install git-lfs ou apt-get install git-lfs. Consultez Install Git Large File Storage.

   git lfs install
   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git
   cd DeepSeek-R1-Distill-Qwen-7B/
   git lfs pull

2. Créez un répertoire dans OSS et téléversez les fichiers du modèle.

   Remarque

   Consultez Installer ossutil.

   ossutil mkdir oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B
   ossutil cp -r ./DeepSeek-R1-Distill-Qwen-7B oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B

3. Créez un volume persistant (PV) et une revendication de volume persistant (PVC) nommés llm-model pour le cluster cible. Consultez Utiliser des volumes ossfs 1.0 provisionnés statiquement.

   Console

   Exemple de configuration PV :

   Paramètre	Description
   Type de PV	OSS
   Nom	llm-model
   Certificat d'accès	L'AccessKey ID et l'AccessKey secret pour l'accès à OSS.
   ID du bucket	Le bucket OSS de l'étape précédente.
   Chemin OSS	Le chemin de stockage du modèle, par exemple /models/DeepSeek-R1-Distill-Qwen-7B.

   Exemple de configuration PVC :

   Paramètre	Description
   Type de PVC	OSS
   Nom	llm-model
   Mode d'allocation	Sélectionnez un PV existant
   Volumes existants	Sélectionnez le PV créé ci-dessus.

   kubectl

   Exemple de fichier YAML :

   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
   stringData:
     akId: <your-oss-ak> # Your AccessKey ID for accessing OSS.
     akSecret: <your-oss-sk> # Your AccessKey secret for accessing OSS.
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: llm-model
     labels:
       alicloud-pvname: llm-model
   spec:
     capacity:
       storage: 30Gi 
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: llm-model
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: <your-bucket-name> # The name of your bucket.
         url: <your-bucket-endpoint> # The endpoint, such as oss-cn-hangzhou-internal.aliyuncs.com.
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
         path: <your-model-path> # In this example, the path is /models/DeepSeek-R1-Distill-Qwen-7B/.
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: llm-model
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 30Gi
     selector:
       matchLabels:
         alicloud-pvname: llm-model

Étape 2 : Déployer le service d'inférence

1. Démarrez le service d'inférence nommé deepseek.

   arena serve kserve \
       --name=deepseek \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.6.6 \
       --gpus=1 \
       --cpu=4 \
       --memory=12Gi \
       --data=llm-model:/models/DeepSeek-R1-Distill-Qwen-7B \
       "vllm serve /models/DeepSeek-R1-Distill-Qwen-7B --port 8080 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"

   Paramètres :

   Paramètre	Obligatoire	Description
   --name	Oui	Nom du service d'inférence. Doit être unique globalement.
   --image	Oui	Image du service d'inférence.
   --gpus	Non	Nombre de GPU. Valeur par défaut : 0.
   --cpu	Non	Nombre de CPU.
   --memory	Non	Taille de la mémoire.
   --data	Non	Chemin de l'artefact du modèle. Dans cet exemple, le PV llm-model de l'étape précédente, monté sur /models/ dans le conteneur.

   Sortie attendue :

   inferenceservice.serving.kserve.io/deepseek created
   INFO[0003] The Job deepseek has been submitted successfully
   INFO[0003] You can run `arena serve get deepseek --type kserve -n default` to check the job status

Étape 3 : Vérifier le service d'inférence

1. Vérifiez l'état du déploiement du service d'inférence KServe.

   arena serve get deepseek

   Sortie attendue :

   Name:       deepseek
   Namespace:  default
   Type:       KServe
   Version:    1
   Desired:    1
   Available:  1
   Age:        3m
   Address:    http://deepseek-default.example.com
   Port:       :80
   GPU:        1
   Instances:
     NAME                                 STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                 ------   ---  -----  --------  ---  ----
     deepseek-predictor-7cd4d568fd-fznfg  Running  3m   1/1    0         1    cn-beijing.172.16.1.77

   La sortie confirme que le service d'inférence est déployé.

2. Envoyez une requête au service d'inférence via l'adresse IP de la passerelle NGINX Ingress.

   # Get the IP address of the NGINX Ingress.
   NGINX_INGRESS_IP=$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}')
   # Get the hostname of the inference service.
   SERVICE_HOSTNAME=$(kubectl get inferenceservice deepseek -o jsonpath='{.status.url}' | cut -d "/" -f 3)
   # Send a request to the inference service.
   curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" http://$NGINX_INGRESS_IP:80/v1/chat/completions -d '{"model": "deepseek-r1", "messages": [{"role": "user", "content": "Say this is a test!"}], "max_tokens": 512, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

   Sortie attendue :

   {"id":"chatcmpl-0fe3044126252c994d470e84807d4a0a","object":"chat.completion","created":1738828016,"model":"deepseek-r1","choices":[{"index":0,"message":{"role":"assistant","content":"<think>\n\n</think>\n\nIt seems like you're testing or sharing some information. How can I assist you further? If you have any questions or need help with something, feel free to ask!","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":9,"total_tokens":48,"completion_tokens":39,"prompt_tokens_details":null},"prompt_logprobs":null}

arena serve kserve \
    --name=deepseek \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.6.6 \
    --gpus=1 \
    --cpu=4 \
    --memory=12Gi \
    --enable-prometheus=true \
    --data=llm-model:/models/DeepSeek-R1-Distill-Qwen-7B \
    "vllm serve /models/DeepSeek-R1-Distill-Qwen-7B --port 8080 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"