Container Service for Kubernetes:Quickly deploy a large language model inference service in ACK

Étape 1 : Télécharger les fichiers du modèle

1. Installez Git et Git Large File Storage (LFS). macOS

   brew install git
   brew install git-lfs

   Windows Téléchargez et installez Git depuis le site officiel de Git. Git Large File Storage est inclus avec Git for Windows ; téléchargez la dernière version. Linux (basé sur Red Hat)

   yum install git
   yum install git-lfs

   Pour les autres distributions Linux, consultez le site officiel de Git.

2. Clonez le dépôt du modèle Qwen1.5-4B-Chat et récupérez les fichiers volumineux :

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
   cd Qwen1.5-4B-Chat
   git lfs pull

Étape 2 : Charger les fichiers du modèle sur OSS

1. Installez et configurez ossutil.

2. Créez un bucket. Pour réduire la latence de récupération du modèle, créez le bucket dans la même région que votre cluster :

   ossutil mb oss://<your-bucket-name>

3. Créez un dossier dans le bucket pour les fichiers du modèle :

   ossutil mkdir oss://<your-bucket-name>/Qwen1.5-4B-Chat

4. Chargez les fichiers du modèle :

   ossutil cp -r ./Qwen1.5-4B-Chat oss://<your-bucket-name>/Qwen1.5-4B-Chat

Étape 3 : Configurer un volume persistant (PV)

1. Connectez-vous à la console ACK et cliquez sur le cluster cible. Dans le volet de navigation de gauche, sélectionnez Volumes > Persistent Volumes.

2. Cliquez sur Create. Dans la boîte de dialogue Create PV, définissez les paramètres suivants et cliquez sur Create :

   Paramètre	Valeur
   PV type	OSS
   Volume name	llm-model
   Capacity	20Gi
   Access mode	ReadOnlyMany
   Access certificate	Sélectionnez Create Secret
   Optional parameters	-o umask=022 -o max_stat_cache_size=0 -o allow_other
   Bucket ID	Cliquez sur Select Bucket et sélectionnez votre bucket
   OSS path	/Qwen1.5-4B-Chat
   Endpoint	Sélectionnez Public Endpoint

Étape 4 : Configurer une revendication de volume persistant (PVC)

1. Dans le volet de navigation de gauche, sélectionnez Volumes > Persistent Volume Claims.

2. Sur la page Persistent Volume Claims, définissez les paramètres suivants et cliquez sur Create :

   Paramètre	Valeur
   PVC type	OSS
   Name	llm-model
   Allocation mode	Sélectionnez Existing Volumes
   Existing volumes	Sélectionnez le PV llm-model créé à l'étape précédente
   Capacity	20Gi

Étape 5 : Déployer le service d'inférence

Exécutez la commande Arena pour déployer le service. L'option --data monte le PVC contenant les fichiers du modèle préchargés. Comme le modèle est déjà présent sur le volume monté, le pod démarre sans aucun téléchargement :

arena serve custom \
    --name=modelscope \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --data=llm-model:/Qwen1.5-4B-Chat \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

La sortie suivante confirme la soumission du service d'inférence :

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0001] The Job modelscope has been submitted successfully
INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

Vérifiez l'état du service :

arena serve get modelscope

Lorsque l'état du pod passe à Running, le service d'inférence est prêt.

# Delete the inference service
arena serve del modelscope

# Delete the PVC and PV (Option 2 only)
kubectl delete pvc llm-model
kubectl delete pv llm-model

Comment extraire les fichiers de modèle depuis Hugging Face plutôt que depuis ModelScope ?

Assurez-vous que le runtime du conteneur peut atteindre le dépôt Hugging Face, puis définissez MODEL_SOURCE=Huggingface dans la commande Arena. Le nœud GPU nécessite au moins 30 Go d'espace disque libre pour accueillir les fichiers téléchargés :

arena serve custom \
    --name=huggingface \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

La sortie suivante confirme la création des ressources :

service/huggingface-v1 created
deployment.apps/huggingface-v1-custom-serving created
INFO[0003] The Job huggingface has been submitted successfully
INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status

Extraire les modèles depuis Hugging Face

1. Assurez-vous que l'environnement d'exécution du conteneur peut accéder au dépôt Hugging Face.

2. Utilisez le client Arena pour déployer un service personnalisé et spécifiez l'image de conteneur pour le déploiement à l'aide du paramètre --image. Pour plus d'informations sur les paramètres, consultez la section Référence des paramètres de commande.

   Cette méthode télécharge les fichiers de modèle Hugging Face dans le conteneur. Assurez-vous que votre nœud GPU dispose d'au moins 30 Go d'espace disque disponible.

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   La sortie suivante indique la création des ressources Kubernetes pour le service d'inférence huggingface-v1 :

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status