Configurer le découpage GPU pour les services EAS - Platform For AI

Elastic Algorithm Service (EAS) propose le découpage GPU pour optimiser le coût et l'efficacité des ressources de calcul lors du déploiement de services de modèles. Cette fonctionnalité partitionne la puissance de calcul et la mémoire GPU d'une carte physique unique afin de les partager entre plusieurs instances de service. Elle améliore ainsi l'utilisation du GPU et réduit les coûts de déploiement.

Prérequis

La configuration du découpage GPU nécessite le respect des conditions suivantes :

Type de ressource : Utilisez un groupe de ressources EAS ou un quota de ressources Lingjun.
État de l'instance : Les instances GPU du groupe de ressources doivent être à l'état running. Elles ne doivent pas se trouver dans d'autres états, tels que Starting ou Stopped.

Remarque
Lors de l'achat initial d'une instance GPU, l'initialisation prend généralement 8 à 10 minutes. Attendez la fin de l'initialisation avant de poursuivre.

Configuration

Configurez le découpage GPU lors de la création ou de la mise à jour d'un service.

Console

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page, puis choisissez l'espace de travail souhaité. Cliquez sur Enter Elastic Algorithm Service (EAS).
Créez un nouveau service ou mettez à jour un service existant pour accéder à la page de configuration.

Dans la section Resource Information, configurez les paramètres clés suivants. Pour plus de détails sur les autres paramètres, consultez la rubrique déploiement personnalisé.

Paramètre	Description
Resource Type	Sélectionnez EAS Resource Group ou Resource Quota.
GPU Slicing	Cochez cette case pour activer le découpage GPU. Remarque Si cette option n'est pas disponible, consultez la section Pourquoi l'option de découpage GPU est-elle manquante ?.
Deployment Resources	Single-GPU Memory (GB) : Obligatoire. Mémoire GPU requise pour chaque instance de service. La valeur doit être un entier. Ce paramètre permet à plusieurs instances de partager un seul GPU. Important Pour les spécifications de ressources commençant par ml, l'unité de la mémoire GPU unique est Go. Pour celles commençant par ecs, l'unité est GiB. Computing Power per GPU (%) : Facultatif. Pourcentage de la puissance de calcul d'un seul GPU requis pour chaque instance de service. La valeur doit être un entier compris entre 1 et 100. Ce paramètre permet à plusieurs instances de partager un seul GPU. Le système applique une condition logique ET à ces paramètres. Par exemple, si vous définissez la mémoire GPU unique sur 48 Go et le pourcentage de calcul GPU sur 10 %, une instance peut utiliser simultanément jusqu'à 48 Go de mémoire GPU et 10 % de la puissance de calcul.

Une fois les paramètres configurés, cliquez sur Deploy ou Update.

Client local

L'exemple suivant présente les champs de découpage GPU dans un fichier de configuration JSON :
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory : Correspond au paramètre Single-GPU Memory (GB) de la console PAI.
- gpu_core_percentage : Correspond au paramètre Computing Power per GPU (%) de la console PAI. Si vous spécifiez ce paramètre, vous devez également spécifier le paramètre gpu_memory. Sinon, il sera ignoré.
Important
Si vous utilisez la planification basée sur la mémoire GPU, ne configurez pas le champ gpu ou définissez-le sur 0. Si le champ gpu est défini sur 1, l'instance utilise exclusivement la carte GPU entière. Dans ce cas, les champs gpu_memory et gpu_core_percentage sont ignorés.
Consultez la référence des commandes et exécutez la commande create ou modify pour créer ou mettre à jour le service.

FAQ

Q : Pourquoi l'option de découpage GPU est-elle manquante ?

Suivez les étapes ci-dessous pour résoudre le problème :

Assurez-vous que le paramètre Resource Type est défini sur EAS resource group ou Lingjun resource quota.
Vérifiez que le groupe de ressources sélectionné contient des ressources GPU (la valeur de la colonne GPU ne doit pas être 0).
Vérifiez que l'état de l'instance GPU est « running » et non « Starting » ou « Stopped ». Si la ressource est en cours d'initialisation, attendez la fin du processus.