Container Service for Kubernetes:Quickly deploy a large language model inference service in ACK

Paso 1: Descargar los archivos del modelo

1. Instale Git y Git Large File Storage (LFS). macOS

   brew install git
   brew install git-lfs

   Windows Descargue e instale Git desde el sitio web oficial de Git. Git Large File Storage viene incluido con Git for Windows; descargue la versión más reciente. Linux (basado en Red Hat)

   yum install git
   yum install git-lfs

   Para otras distribuciones de Linux, consulte el sitio web oficial de Git.

2. Clone el repositorio del modelo Qwen1.5-4B-Chat y obtenga los archivos grandes:

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
   cd Qwen1.5-4B-Chat
   git lfs pull

Paso 2: Cargar los archivos del modelo en OSS

1. Install and configure ossutil.

2. Cree un bucket. Para reducir la latencia de obtención del modelo, cree el bucket en la misma región que su clúster:

   ossutil mb oss://<your-bucket-name>

3. Cree una carpeta en el bucket para los archivos del modelo:

   ossutil mkdir oss://<your-bucket-name>/Qwen1.5-4B-Chat

4. Cargue los archivos del modelo:

   ossutil cp -r ./Qwen1.5-4B-Chat oss://<your-bucket-name>/Qwen1.5-4B-Chat

Paso 3: Configurar un volumen persistente (PV)

1. Inicie sesión en la consola de ACK y haga clic en el clúster de destino. En el panel de navegación izquierdo, seleccione Volumes > Persistent Volumes.

2. Haga clic en Create. En el cuadro de diálogo Create PV, configure los siguientes parámetros y haga clic en Create:

   Parámetro	Valor
   PV type	OSS
   Volume name	llm-model
   Capacity	20Gi
   Access mode	ReadOnlyMany
   Access certificate	Seleccione Create Secret
   Optional parameters	-o umask=022 -o max_stat_cache_size=0 -o allow_other
   Bucket ID	Haga clic en Select Bucket y seleccione su bucket
   OSS path	/Qwen1.5-4B-Chat
   Endpoint	Seleccione Public Endpoint

Paso 4: Configurar una solicitud de volumen persistente (PVC)

1. En el panel de navegación izquierdo, seleccione Volumes > Persistent Volume Claims.

2. En la página Persistent Volume Claims, configure los siguientes parámetros y haga clic en Create:

   Parámetro	Valor
   PVC type	OSS
   Name	llm-model
   Allocation mode	Seleccione Existing Volumes
   Existing volumes	Seleccione el PV llm-model creado en el paso anterior
   Capacity	20Gi

Paso 5: Desplegar el servicio de inference

Ejecute el comando de Arena para desplegar el servicio. La bandera --data monta la PVC que contiene los archivos del modelo precargados. Dado que el modelo ya se encuentra en el volumen montado, el pod se inicia sin descargar nada:

arena serve custom \
    --name=modelscope \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --data=llm-model:/Qwen1.5-4B-Chat \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

La siguiente salida confirma que se envió el servicio de inference:

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0001] The Job modelscope has been submitted successfully
INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

Compruebe el estado del servicio:

arena serve get modelscope

Cuando el estado del pod muestre Running, el servicio de inference estará listo.

# Delete the inference service
arena serve del modelscope

# Delete the PVC and PV (Option 2 only)
kubectl delete pvc llm-model
kubectl delete pv llm-model

¿Cómo puedo obtener archivos de modelo desde Hugging Face en lugar de ModelScope?

Asegúrese de que el entorno de ejecución del contenedor pueda acceder al repositorio de Hugging Face y luego establezca MODEL_SOURCE=Huggingface en el comando de Arena. El nodo GPU necesita como mínimo 30 GB de espacio libre en disco para alojar los archivos descargados:

arena serve custom \
    --name=huggingface \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

La siguiente salida confirma que se crearon los recursos:

service/huggingface-v1 created
deployment.apps/huggingface-v1-custom-serving created
INFO[0003] The Job huggingface has been submitted successfully
INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status

Obtener modelos desde Hugging Face

1. Asegúrese de que el entorno de ejecución del contenedor pueda acceder al repositorio de Hugging Face.

2. Utilice el cliente Arena para desplegar un servicio personalizado y especifique la imagen de contenedor para el despliegue mediante el parámetro --image. Para obtener más información sobre los parámetros, consulte Command parameter reference.

   Este método descarga los archivos del modelo de Hugging Face en el contenedor. Asegúrese de que su nodo GPU tenga como mínimo 30 GB de espacio disponible en disco.

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   La siguiente salida indica que se han creado los recursos de Kubernetes para el servicio de inference huggingface-v1:

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status