Container Compute Service:Build a DeepSeek distilled model inference service using ACS GPU computing power

GPU memory = number of model parameters × bytes per parameter

Paso 1: Prepare los archivos del modelo

1. Descargue el modelo DeepSeek-R1-Distill-Qwen-7B desde ModelScope con git-lfs.

   Nota

   Compruebe si git-lfs está instalado. Si no lo está, instálelo con el comando yum install git-lfs o apt-get install git-lfs. Consulte Instalar Git Large File Storage.

   git lfs install
   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git
   cd DeepSeek-R1-Distill-Qwen-7B/
   git lfs pull

2. Cree un directorio de OSS y cargue los archivos del modelo.

   Nota

   Para instalar ossutil, consulte Install ossutil.

   ossutil mkdir oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B
   ossutil cp -r ./DeepSeek-R1-Distill-Qwen-7B oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B

3. Cree un PV y un PVC. Configure un volumen persistente (PV) llamado llm-model y una solicitud de volumen persistente (PVC) para el clúster de destino. Para ver una guía completa, consulte Use an OSS static volume.

   Use los parámetros a continuación al crear el PV:

   Parameter	Value
   Tipo de PV	OSS
   Nombre del volumen	llm-model
   Certificado de acceso	El AccessKey ID y el AccessKey secret de su bucket de OSS
   ID del bucket	El bucket de OSS que creó en el paso anterior
   Ruta de OSS	/models/DeepSeek-R1-Distill-Qwen-7B

   Use los parámetros a continuación al crear el PVC:

   Parameter	Value
   Tipo de PVC	OSS
   Nombre	llm-model
   Modo de asignación	Volúmenes existentes
   Volúmenes existentes	Seleccione el PV creado anteriormente

   Ejemplo de YAML:

   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
   stringData:
     akId: <your-oss-ak>       # AccessKey ID for the OSS bucket
     akSecret: <your-oss-sk>   # AccessKey secret for the OSS bucket
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: llm-model
     labels:
       alicloud-pvname: llm-model
   spec:
     capacity:
       storage: 30Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: llm-model
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: <your-bucket-name>       # Name of the OSS bucket
         url: <your-bucket-endpoint>      # Endpoint, for example, oss-cn-hangzhou-internal.aliyuncs.com
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
         path: <your-model-path>          # Model path, for example, /models/DeepSeek-R1-Distill-Qwen-7B/
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: llm-model
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 30Gi
     selector:
       matchLabels:
         alicloud-pvname: llm-model

Paso 2: Despliegue el modelo

1. Ejecute el comando a continuación para desplegar el servicio de inference de vLLM. Este servicio expone una API HTTP compatible con OpenAI.

   La marca --data monta el PVC del modelo en /model/DeepSeek-R1-Distill-Qwen-7B dentro del contenedor. La marca --max-model-len establece la longitud máxima del contexto en tokens. Aumentarla puede mejorar la calidad de conversación del modelo, pero consume más memoria de GPU.

   Nota

   • Reemplace <example-model> en --label=alibabacloud.com/gpu-model-series=<example-model> por la serie real de modelo de GPU compatible con su clúster de ACS. Envíe un ticket para obtener la lista de series de modelos de GPU disponibles.

   • egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/{image:tag} es una dirección de registro público. Para reducir el tiempo de descarga de la imagen, se recomienda using VPC to accelerate AI container image pulls.

   arena serve custom \
   --name=deepseek-r1 \
   --version=v1 \
   --gpus=1 \
   --cpu=8 \
   --memory=32Gi \
   --replicas=1 \
   --label=alibabacloud.com/compute-class=gpu \
   --label=alibabacloud.com/gpu-model-series=<example-model> \
   --restful-port=8000 \
   --readiness-probe-action="tcpSocket" \
   --readiness-probe-action-option="port: 8000" \
   --readiness-probe-option="initialDelaySeconds: 30" \
   --readiness-probe-option="periodSeconds: 30" \
   --image=egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.02-vllm0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250305-serverless \
   --data=llm-model:/models/DeepSeek-R1-Distill-Qwen-7B \
   "vllm serve /models/DeepSeek-R1-Distill-Qwen-7B --port 8000 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"

   El resultado esperado es el siguiente:

   service/deepseek-r1-v1 created
   deployment.apps/deepseek-r1-v1-custom-serving created
   INFO[0004] The Job deepseek-r1 has been submitted successfully
   INFO[0004] You can run `arena serve get deepseek-r1 --type custom-serving -n default` to check the job status

   La tabla a continuación describe los parámetros clave.

   Parameter	Description
   --name	Nombre del servicio de inference
   --version	Versión del servicio de inference
   --gpus	Número de GPU por réplica
   --cpu	Número de vCPU por réplica
   --memory	Cantidad de memoria por réplica
   --replicas	Número de réplicas
   --label	Etiquetas que specify ACS GPU compute power. Establezca alibabacloud.com/compute-class=gpu y alibabacloud.com/gpu-model-series=<example-model>
   --restful-port	Puerto que expone el servicio de inference
   --readiness-probe-action	Tipo de conexión para las pruebas de disponibilidad. Valores válidos: httpGet, exec, grpc, tcpSocket
   --readiness-probe-action-option	Método de conexión para las pruebas de disponibilidad
   --readiness-probe-option	Configuración de la prueba de disponibilidad
   --image	Imagen de contenedor para el servicio de inference
   --data	Monta un PVC en el contenedor. Formato: <pvc-name>:<mount-path>. Ejecute arena data list para listar los PVC disponibles

2. Para comprobar el estado del despliegue, ejecute:

   arena serve get deepseek-r1

   Resultado esperado:

   Name:       deepseek-r1
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        6h
   Address:    10.0.78.27
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                            STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                            ------   ---  -----  --------  ---  ----
     deepseek-r1-v1-custom-serving-54d579d994-dqwxz  Running  1h   1/1    0         1    virtual-kubelet-cn-hangzhou-b

Paso 3: Compruebe el servicio de inference

1. Use kubectl port-forward para configurar el reenvío de puertos desde su computadora local hacia el servicio de inference.

   Nota

   El reenvío de puertos que configura kubectl port-forward no ofrece la confiabilidad, seguridad ni escalabilidad necesarias para producción. Por lo tanto, está diseñado únicamente para fines de desarrollo y depuración, y no es adecuado para entornos de producción. Para obtener más información sobre soluciones de red listas para producción en clústeres de Kubernetes, consulte Ingress management.

   kubectl port-forward svc/deepseek-r1-v1 8000:8000

   Resultado esperado:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. Envíe una solicitud de prueba al endpoint de finalización de chat compatible con OpenAI.

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "deepseek-r1",
       "messages": [
         {
           "role": "user",
           "content": "Write a letter to my daughter from the future 2035 and tell her to study science and technology well, be the master of science and technology, and promote the development of science and technology and economy. She is now in grade 3."
         }
       ],
       "max_tokens": 1024,
       "temperature": 0.7,
       "top_p": 0.9,
       "seed": 10
     }'

   Resultado esperado:

   {
     "id": "chatcmpl-53613fd815da46df92cc9b92cd156146",
     "object": "chat.completion",
     "created": 1739261570,
     "model": "deepseek-r1",
     "choices": [
       {
         "index": 0,
         "message": {
           "role": "assistant",
           "content": "<think>...</think>\n\nDear Future 2035: ..."
         },
         "finish_reason": "stop"
       }
     ],
     "usage": {
       "prompt_tokens": 40,
       "completion_tokens": 994,
       "total_tokens": 1034
     }
   }

(Opcional) Paso 4: Limpie los recursos

Elimine el servicio de inference y los recursos de almacenamiento cuando ya no los necesite.

1. Elimine el servicio de inference.

   arena serve delete deepseek-r1

   Resultado esperado:

   INFO[0007] The serving job deepseek-r1 with version v1 has been deleted successfully

2. Elimine el PVC y el PV.

   kubectl delete pvc llm-model
   kubectl delete pv llm-model

   Resultado esperado:

   persistentvolumeclaim "llm-model" deleted
   persistentvolume "llm-model" deleted