Container Service for Kubernetes:Use CPU acceleration in node pools that support TDX confidential VMs to accelerate Stable Diffusion XL Turbo models for text-to-image inference

Contexte

Famille d'instances généralistes de 8e génération g8i

La famille d'instances ECS généralistes de 8e génération g8i s'appuie sur les Cloud Infrastructure Processing Units (CIPU) et Apsara Stack. Elle intègre les processeurs Intel® Xeon® Scalables de 5e génération (nom de code Emerald Rapids) pour booster les performances. De plus, la famille g8i prend en charge les Advanced Matrix Extensions (AMX), qui améliorent les performances et la sécurité des charges de travail IA. Toutes les instances ECS de la famille g8i sont compatibles avec Intel® TDX. Cette technologie vous permet de déployer vos charges de travail dans un environnement d'exécution de confiance (TEE) sans modifier vos applications. Elle réduit la complexité technique pour les débutants et renforce la confidentialité des applications IA, telles que les grands modèles de langage, avec une perte de performance minimale. Pour plus d'informations, consultez la section Famille d'instances généralistes g8i.

Intel^® TDX

Intel^® TDX est une technologie de protection matérielle dédiée aux instances ECS. Au sein d'une instance TDX, les registres du processeur, les données en mémoire, la gestion des interruptions et d'autres états d'exécution sont protégés de manière confidentielle par le matériel du processeur. Ni le fournisseur de cloud ni des attaquants externes ne peuvent surveiller ou altérer l'état d'exécution interne d'une instance TDX, notamment les processus en cours et les données sensibles traitées lors des calculs. Consultez la documentation Intel® Trusted Domain Extension (Intel® TDX).

Intel^® TDX sécurise les instances et les applications par défaut. Les applications existantes peuvent migrer vers des instances TDX sans nécessiter de refonte.

IPEX

Intel^® Extension for PyTorch (IPEX) est une extension open source de PyTorch maintenue par Intel. Elle améliore considérablement les performances des applications IA utilisant PyTorch et s'exécutant sur des processeurs Intel. Intel optimise continuellement IPEX en intégrant les dernières innovations matérielles et logicielles pour soutenir la communauté PyTorch. Pour plus d'informations, consultez le dépôt IPEX.

Prérequis

• Un cluster ACK Pro a été créé dans la région China (Beijing). Pour plus d'informations, consultez la section Créer un cluster ACK managé.

• Un pool de nœuds a été créé.

  • Pool de nœuds standard : Créez un pool de nœuds contenant des instances ECS de la famille g8i et respectant les exigences suivantes :

    • Région et zone : Le pool de nœuds doit se trouver dans une région et une zone prises en charge par ECS. Pour plus d'informations, consultez la page Types d'instances disponibles par région.

    • Types d'instance : Sélectionnez un type d'instance disposant d'au moins 16 vCPU. Nous vous recommandons de choisir ecs.g8i.4xlarge, ecs.g8i.8xlarge ou ecs.g8i.12xlarge.

    • Espace disque : L'espace disque de chaque nœud du pool doit être d'au moins 200 Go. Vous pouvez utiliser un disque système ou un disque de données supérieur à 200 Go.

  • Pool de nœuds compatible avec les machines virtuelles confidentielles TDX : Vous pouvez également migrer votre application vers un pool de nœuds prenant en charge les machines virtuelles confidentielles TDX afin de renforcer la sécurité de votre service d'inférence. Assurez-vous que les Prérequis sont satisfaits.

• Un client kubectl est connecté au cluster ACK. Pour plus d'informations, consultez la section Obtenir un fichier kubeconfig et se connecter à un cluster avec kubectl.

Étape 1 : Préparer un modèle Stable Diffusion XL Turbo

Cet exemple utilise le modèle Stable Diffusion XL Turbo stabilityai/sdxl-turbo.

Procédure

resources:
   limits:
     cpu: "16"
     memory: 32Gi
   requests:
     cpu: "14"
     memory: 24Gi

Configuration du déploiement du service dans values.yaml

# The number of replicated pods.
replicaCount: 1

# The container image.
image:
  repository: registry-vpc.cn-beijing.aliyuncs.com/eric-dev/stable-diffusion-ipex
  pullPolicy: IfNotPresent
  tag: "v0.1.5"             # The container image contains the stabilityai/sdxl-turbo model file.
  tagOnlyApi: "v0.1.5-lite"  # The container image does not contain the official stabilityai/sdxl-turbo model file. You need to manually mount the model file. For more information, see the comment for the useCustomModels parameter.

# Specify the Secret that stores the credentials used to pull a custom private container image.
imagePullSecrets: []

# The path of images in containers.
outputDirPath: /tmp/sd

# Specify whether to use a custom stabilityai/sdxl-turbo model.
useCustomModels: false

volumes:
  # The mount configuration corresponding to outputDirPath.
  output:
    name: output-volume
    emptyDir: {}
  # The mount configuration of the custom stabilityai/sdxl-turbo model when useCustomModels is set to true.
  # Place the model file in the stabilityai/sdxl-turbo subdirectory in the mount path.
  models:
    name: data-volume
    persistentVolumeClaim:
      claimName: models-oss-pvc
#    hostPath:
#      path: /data/models
#      type: DirectoryOrCreate

# The configuration for exposing the service.
service:
  type: ClusterIP
  port: 5000

# The container resource configuration.
resources:
   limits:
     cpu: "16"
     memory: 32Gi
   requests:
     cpu: "14"
     memory: 24Gi

# The workload update policy.
strategy:
  type: RollingUpdate

# The workload scheduling configuration.
nodeSelector: {}
tolerations: []
affinity: {}

# The container security configuration.
securityContext:
   capabilities:
     drop:
     - ALL
   runAsNonRoot: true
   runAsUser: 1000

# Specify whether to enable the Horizontal Pod Autoscaler (HPA).
# https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 3
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 90

Étape 2 : Déployer l'exemple de service

1. Exécutez la commande suivante pour déployer un modèle Stable Diffusion XL Turbo accéléré par IPEX :

   helm install stable-diffusion-ipex https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/pre/charts-incubator/stable-diffusion-ipex-0.1.7.tgz -f values.yaml

   Résultat attendu :

   NAME: stable-diffusion-ipex
   LAST DEPLOYED: Mon Jan 22 20:42:35 2024
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

2. Attendez 10 minutes, puis exécutez la commande suivante pour vérifier l'état du pod. Assurez-vous que le pod est en cours d'exécution.

   kubectl get pod |grep stable-diffusion-ipex

   Résultat attendu :

   stable-diffusion-ipex-65d98cc78-vmj49   1/1     Running            0                1m44s

Une fois le service déployé, une API texte-vers-image accessible publiquement est générée. Pour plus d'informations sur les paramètres de l'API, consultez la section Paramètres de l'API.

Étape 3 : Tester l'exemple de service

Procédure

1. Exécutez la commande suivante pour mapper le port du service Stable Diffusion XL Turbo sur un port local :

   kubectl port-forward svc/stable-diffusion-ipex 5000:5000

   Résultat attendu :

   Forwarding from 127.0.0.1:5000 -> 5000
   Forwarding from [::1]:5000 -> 5000

2. Utilisez des invites textuelles pour demander au service de générer une image.

   Dans cet exemple, le service génère des images de dimension 512x512 ou 1024x1024.

   Image 512x512

   Exécutez la commande suivante pour demander au service de générer une image à partir de l'invite textuelle A panda listening to music with headphones. highly detailed, 8k. :

   curl -X POST http://127.0.0.1:5000/api/text2image \
   	-d '{"prompt": "A panda listening to music with headphones. highly detailed, 8k.", "number": 1}'

   Résultat attendu :

   {
     "averageImageGenerationTimeSeconds": 2.0333826541900635,
     "generationTimeSeconds": 2.0333826541900635,
     "id": "9ae43577-170b-45c9-ab80-69c783b41a70",
     "meta": {
       "input": {
         "batch": 1,
         "model": "stabilityai/sdxl-turbo",
         "number": 1,
         "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
         "size": "512x512",
         "step": 4
       }
     },
     "output": [
       {
         "latencySeconds": 2.0333826541900635,
         "url": "http://127.0.0.1:5000/images/9ae43577-170b-45c9-ab80-69c783b41a70/0_0.png"
       }
     ],
     "status": "success"
   }

   Saisissez l'URL renvoyée dans la barre d'adresse de votre navigateur pour afficher l'image.

   Image 1024x1024

   Exécutez la commande suivante pour demander au service de générer une image à partir de l'invite textuelle A panda listening to music with headphones. highly detailed, 8k. :

   curl -X POST http://127.0.0.1:5000/api/text2image \
   	-d '{"prompt": "A panda listening to music with headphones. highly detailed, 8k.", "number": 1, "size": "1024x1024"}'

   Résultat attendu :

   {
     "averageImageGenerationTimeSeconds": 8.635204315185547,
     "generationTimeSeconds": 8.635204315185547,
     "id": "ac341ced-430d-4952-b9f9-efa57b4eeb60",
     "meta": {
       "input": {
         "batch": 1,
         "model": "stabilityai/sdxl-turbo",
         "number": 1,
         "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
         "size": "1024x1024",
         "step": 4
       }
     },
     "output": [
       {
         "latencySeconds": 8.635204315185547,
         "url": "http://127.0.0.1:5000/images/ac341ced-430d-4952-b9f9-efa57b4eeb60/0_0.png"
       }
     ],
     "status": "success"
   }

   Saisissez l'URL renvoyée dans la barre d'adresse de votre navigateur pour afficher l'image.

Données de test

Le tableau suivant présente les durées moyennes de génération d'images 512x512 et 1024x1024 par le modèle Stable Diffusion XL Turbo sur différents types d'instances ECS de la famille g8i. Ces statistiques sont indicatives et peuvent varier selon votre environnement.

(Facultatif) Étape 4 : Migrer le service vers un pool de nœuds compatible avec les machines virtuelles confidentielles TDX

Après avoir déployé l'exemple de service, vous pouvez le migrer de manière transparente vers un pool de nœuds prenant en charge les machines virtuelles confidentielles TDX afin de renforcer la sécurité du service d'inférence.

Prérequis

• Un pool de nœuds compatible avec les machines virtuelles confidentielles TDX a été créé dans le cluster ACK et répond aux exigences spécifiées. Pour plus d'informations, consultez la section Créer un pool de nœuds de machines virtuelles confidentielles TDX.

  De plus, le pool de nœuds doit satisfaire aux critères suivants :

  • Type d'instance : Choisissez un type d'instance disposant d'au moins 16 vCPU. Nous vous recommandons de sélectionner ecs.g8i.4xlarge.

  • Espace disque : L'espace disque de chaque nœud du pool doit être d'au moins 200 Go. Vous pouvez utiliser un disque système ou un disque de données supérieur à 200 Go.

  • Libellé de nœud : Ajoutez le libellé nodepool-label=tdx-vm-pool au pool de nœuds.

Procédure

1. Créez un fichier nommé tdx_values.yaml et ajoutez-y le contenu suivant.

   Pour plus d'informations sur le fichier values.yaml, consultez la section Configuration du déploiement du service dans values.yaml.

   Remarque

   Dans cet exemple, le libellé nodepool-label=tdx-vm-pool est ajouté au pool de nœuds. Pour ajouter d'autres libellés, remplacez la valeur de nodepool-label dans la section nodeSelector.

   nodeSelector:
     nodepool-label: tdx-vm-pool

2. Exécutez la commande suivante pour migrer le modèle Stable Diffusion vers le pool de nœuds :

   helm upgrade stable-diffusion-ipex https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/pre/charts-incubator/stable-diffusion-ipex-0.1.7.tgz -f tdx_values.yaml 

   Résultat attendu :

   Release "stable-diffusion-ipex" has been upgraded. Happy Helming!
   NAME: stable-diffusion-ipex
   LAST DEPLOYED: Wed Jan 24 16:38:04 2024
   NAMESPACE: default
   STATUS: deployed
   REVISION: 2
   TEST SUITE: None

3. Attendez 10 minutes, puis vérifiez l'état du pod. Assurez-vous que le pod est en cours d'exécution.

   kubectl get pod |grep stable-diffusion-ipex

   Résultat attendu :

   stable-diffusion-ipex-7f8c4f88f5-r478t   1/1     Running            0                1m44s

4. Répétez l'Étape 3 : Tester l'exemple de service pour tester le modèle Stable Diffusion dans le pool de nœuds.

Informations sur l'API

Paramètres de l'API

Lorsque vous déployez un service Stable Diffusion XL Turbo à partir du modèle stabilityai/sdxl-turbo, une API texte-vers-image accessible publiquement est générée. Les tableaux ci-dessous décrivent les paramètres de l'API.

Syntaxe de la requête

POST /api/text2image

{
  "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
  "number": 1
}

{
  "averageImageGenerationTimeSeconds": 2.0333826541900635,
  "generationTimeSeconds": 2.0333826541900635,
  "id": "9ae43577-170b-45c9-ab80-69c783b41a70",
  "meta": {
    "input": {
      "batch": 1,
      "model": "stabilityai/sdxl-turbo",
      "number": 1,
      "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
      "size": "512x512",
      "step": 4
    }
  },
  "output": [
    {
      "latencySeconds": 2.0333826541900635,
      "url": "http://127.0.0.1:5000/images/9ae43577-170b-45c9-ab80-69c783b41a70/0_0.png"
    }
  ],
  "status": "success"
}

Comparaison des performances

Le pool de nœuds compatible avec les machines virtuelles confidentielles TDX contient des instances ECS de la famille g8i, optimisées par AMX et IPEX. Elles accélèrent efficacement l'inférence texte-vers-image et permettent d'activer un environnement d'exécution de confiance (TEE) pour renforcer la sécurité. Dans cet exemple, des instances ECS de type ecs.g8i.4xlarge équipées de processeurs Intel® Xeon® Scalables de 5e génération sont utilisées pour exécuter et affiner le modèle stabilityai/sdxl-turbo. Cet exemple illustre comment développer un service d'inférence texte-vers-image rentable et sécurisé.

En termes de vitesse de génération d'images, l'accélération par GPU (A10) reste supérieure à l'accélération par processeur. Avec un type d'instance ecs.g8i.8xlarge, un paramètre step de 30 et une taille de lot (batch) de 16, la vitesse de génération atteint 0,14 image/s. Avec une instance accélérée par GPU A10, un paramètre step de 30 et une taille de lot de 16, la vitesse atteint 0,4 image/s. Toutefois, pour obtenir une qualité d'image optimale, avec un type d'instance ecs.g8i.8xlarge, un paramètre step de 4 et une taille de lot de 16, la vitesse de génération atteint 1,2 image/s. Cela signifie qu'il est possible de générer une image par seconde sans compromettre la qualité visuelle.

Par conséquent, cette solution offre une alternative à l'accélération par GPU pour vous aider à développer des services d'inférence texte-vers-image stables, performants, rentables et sécurisés.

Si vous recherchez un bon rapport coût-efficacité, un calcul confidentiel basé sur TEE et une disponibilité élevée des ressources, nous vous recommandons d'utiliser le type d'instance ecs.g8i.4xlarge pour exécuter et affiner le modèle stabilityai/sdxl-turbo.

• L'utilisation d'ecs.g8i.8xlarge au lieu d'ecs.gn7i-c8g1.2xlarge réduit le coût de 9 % tout en garantissant une vitesse de génération d'images de 1,2 image/s.

• L'utilisation d'ecs.g8i.4xlarge au lieu d'ecs.gn7i-c8g1.2xlarge ralentit la génération d'images à 0,5 image/s, mais réduit le coût de plus de 53 %.

Références

Créer un pool de nœuds de machines virtuelles confidentielles TDX