Container Service for Kubernetes:Acelere a inferência de texto para imagem do Stable Diffusion XL Turbo com CPU

Quando usar inferência via CPU

A combinação g8i + IPEX + Advanced Matrix Extensions (AMX) é uma alternativa prática à inferência via GPU quando:

• O custo é prioritário: A troca de ecs.gn7i-c8g1.2xlarge (GPU) para ecs.g8i.4xlarge reduz o custo da instância em mais de 53%.

• Os requisitos de throughput são moderados: Com step=4 e batch=16, a instância ecs.g8i.8xlarge gera 1,2 imagens/s — acima do limiar de 1 imagem/s exigido por muitas cargas de trabalho em produção.

• A confidencialidade dos dados é obrigatória: Migre para um pool de nós de VM confidencial TDX sem alterar o código.

Se o seu SLO de latência exigir throughput equivalente ao de GPU (0,4 imagens/s com step=30 e batch=16), mantenha as instâncias GPU. Caso 1,2 imagens/s com step=4 seja aceitável, a instância g8i oferece melhor custo-benefício.

Contexto

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um cluster ACK Pro na região China (Beijing). Consulte Criar um cluster gerenciado ACK.

• Um pool de nós com instâncias ECS g8i que atenda aos seguintes requisitos:

  • Tipo de instância: No mínimo 16 vCPUs. Recomendado: ecs.g8i.4xlarge, ecs.g8i.8xlarge ou ecs.g8i.12xlarge.

  • Espaço em disco: Pelo menos 200 GiB por nó (disco do sistema ou disco de dados).

  • Região e zona: Uma região e zona onde as instâncias g8i estejam disponíveis. Verifique os Tipos de instância disponíveis por região.

• O kubectl conectado ao cluster ACK. Consulte Conectar-se a um cluster ACK usando kubectl.

Etapa 1: Preparar o modelo

A implantação utiliza o modelo stabilityai/sdxl-turbo. Escolha uma opção com base no local onde seu modelo está armazenado.

resources:
  limits:
    cpu: "16"
    memory: 32Gi
  requests:
    cpu: "14"
    memory: 24Gi

# Number of pod replicas.
replicaCount: 1

# Container image configuration.
image:
  repository: registry-vpc.cn-beijing.aliyuncs.com/eric-dev/stable-diffusion-ipex
  pullPolicy: IfNotPresent
  tag: "v0.1.5"              # Bundles the official stabilityai/sdxl-turbo model
  tagOnlyApi: "v0.1.5-lite"  # API-only image; requires mounting the model manually (see useCustomModels)

# Credentials for pulling a private container image.
imagePullSecrets: []

# Output path for generated images inside the container.
outputDirPath: /tmp/sd

# Set to true to use a custom model mounted via the volumes.models PVC.
# When false, the image.tag image (which includes the model) is used.
useCustomModels: false

volumes:
  # Volume for the image output path.
  output:
    name: output-volume
    emptyDir: {}
  # Volume for the custom model. Only active when useCustomModels: true.
  # Place the model in the stabilityai/sdxl-turbo subdirectory of the mount path.
  models:
    name: data-volume
    persistentVolumeClaim:
      claimName: models-oss-pvc
  # Alternatively, use a host path:
  # models:
  #   hostPath:
  #     path: /data/models
  #     type: DirectoryOrCreate

# Service configuration.
service:
  type: ClusterIP
  port: 5000

# Container resource limits and requests.
resources:
  limits:
    cpu: "16"
    memory: 32Gi
  requests:
    cpu: "14"
    memory: 24Gi

# Workload update strategy.
strategy:
  type: RollingUpdate

# Scheduling configuration.
nodeSelector: {}
tolerations: []
affinity: {}

# Container security settings.
securityContext:
  capabilities:
    drop:
    - ALL
  runAsNonRoot: true
  runAsUser: 1000

# Horizontal Pod Autoscaler (HPA) configuration.
# https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 3
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 90

Etapa 2: Implantar o serviço

1. Implante o serviço Stable Diffusion XL Turbo acelerado por IPEX usando o Helm.

   helm install stable-diffusion-ipex \
     https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/pre/charts-incubator/stable-diffusion-ipex-0.1.7.tgz \
     -f values.yaml

   Saída esperada:

   NAME: stable-diffusion-ipex
   LAST DEPLOYED: Mon Jan 22 20:42:35 2024
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

2. Aguarde cerca de 10 minutos para o carregamento do modelo e verifique se o pod está em execução.

   kubectl get pod | grep stable-diffusion-ipex

   Saída esperada:

   stable-diffusion-ipex-65d98cc78-vmj49   1/1     Running   0   1m44s

Após iniciar, o serviço expõe uma API de texto para imagem na porta 5000. Consulte a Referência da API para ver os parâmetros.

Etapa 3: Testar o serviço

1. Encaminhe a porta do serviço para sua máquina local.

   kubectl port-forward svc/stable-diffusion-ipex 5000:5000

   Saída esperada:

   Forwarding from 127.0.0.1:5000 -> 5000
   Forwarding from [::1]:5000 -> 5000

2. Envie uma solicitação de geração. Tamanhos suportados: 512x512 e 1024x1024. Imagem 512x512

   curl -X POST http://127.0.0.1:5000/api/text2image \
     -d '{"prompt": "A panda listening to music with headphones. highly detailed, 8k.", "number": 1}'

   Saída esperada:

   {
     "averageImageGenerationTimeSeconds": 2.0333826541900635,
     "generationTimeSeconds": 2.0333826541900635,
     "id": "9ae43577-170b-45c9-ab80-69c783b41a70",
     "meta": {
       "input": {
         "batch": 1,
         "model": "stabilityai/sdxl-turbo",
         "number": 1,
         "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
         "size": "512x512",
         "step": 4
       }
     },
     "output": [
       {
         "latencySeconds": 2.0333826541900635,
         "url": "http://127.0.0.1:5000/images/9ae43577-170b-45c9-ab80-69c783b41a70/0_0.png"
       }
     ],
     "status": "success"
   }

   Imagem 1024x1024

   curl -X POST http://127.0.0.1:5000/api/text2image \
     -d '{"prompt": "A panda listening to music with headphones. highly detailed, 8k.", "number": 1, "size": "1024x1024"}'

   Saída esperada:

   {
     "averageImageGenerationTimeSeconds": 8.635204315185547,
     "generationTimeSeconds": 8.635204315185547,
     "id": "ac341ced-430d-4952-b9f9-efa57b4eeb60",
     "meta": {
       "input": {
         "batch": 1,
         "model": "stabilityai/sdxl-turbo",
         "number": 1,
         "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
         "size": "1024x1024",
         "step": 4
       }
     },
     "output": [
       {
         "latencySeconds": 8.635204315185547,
         "url": "http://127.0.0.1:5000/images/ac341ced-430d-4952-b9f9-efa57b4eeb60/0_0.png"
       }
     ],
     "status": "success"
   }

   Abra a url em um navegador para visualizar a imagem gerada.

(Opcional) Etapa 4: Migrar para um pool de nós de VM confidencial TDX

Migre o serviço implantado para um pool de nós de VM confidencial TDX para obter isolamento e criptografia de memória baseados em hardware. Nenhuma alteração de código é necessária.

Referência da API

Após a implantação, o serviço expõe uma API REST na porta 5000.

POST /api/text2image

{
  "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
  "number": 1
}

{
  "averageImageGenerationTimeSeconds": 2.0333826541900635,
  "generationTimeSeconds": 2.0333826541900635,
  "id": "9ae43577-170b-45c9-ab80-69c783b41a70",
  "meta": {
    "input": {
      "batch": 1,
      "model": "stabilityai/sdxl-turbo",
      "number": 1,
      "prompt": "A panda listening to music with headphones. highly detailed, 8k.",
      "size": "512x512",
      "step": 4
    }
  },
  "output": [
    {
      "latencySeconds": 2.0333826541900635,
      "url": "http://127.0.0.1:5000/images/9ae43577-170b-45c9-ab80-69c783b41a70/0_0.png"
    }
  ],
  "status": "success"
}

Comparação de desempenho

O pool de nós g8i usa AMX e IPEX para acelerar a inferência via CPU. Os benchmarks utilizam ecs.g8i.8xlarge (32 vCPUs, 128 GiB) com as ferramentas de benchmark lambda-diffusers. Os resultados servem apenas como referência.

Próximos passos

• Criar um pool de nós compatível com VMs confidenciais TDX