Container Service for Kubernetes:CPU を使用した Stable Diffusion XL Turbo の Text-to-Image 推論の高速化

g8i インスタンスファミリー

汎用 ECS インスタンスファミリーである g8i は、Cloud Infrastructure Processing Units (CIPU) と Apsara Stack を搭載しています。AI アクセラレーションのために AMX を備えた第 5 世代 Intel® Xeon® スケーラブルプロセッサー (開発コード名：Emerald Rapids) を使用しています。すべての g8i インスタンスは Intel® TDX をサポートしており、最小限のパフォーマンスオーバーヘッドで、コードを変更することなく高信頼実行環境 (TEE) ワークロードを実現します。

詳細については、「g8i、汎用インスタンスファミリー」をご参照ください。

Intel® TDX

Intel® TDX は、ECS インスタンスを分離および暗号化し、実行時に CPU レジスタ、メモリ、および割り込みの注入を保護するハードウェアベースの高信頼実行環境 (TEE) テクノロジーです。これにより、コードを変更することなく、プロセスや機密データへの不正アクセスを防止できます。

詳細については、「Intel® Trust Domain Extensions (Intel® TDX)」をご参照ください。

IPEX

Intel® Extension for PyTorch (IPEX) は、Intel プロセッサー上の AI を高速化するオープンソースの PyTorch 拡張機能であり、最新の Intel ハードウェアおよびソフトウェア向けに継続的に最適化されています。

詳細については、「IPEX」をご参照ください。

values.yaml の完全なリファレンス

Helm チャートは、リソースとモデルソース以外の追加オプションもサポートしています。デフォルト値：

# Pod レプリカの数。
replicaCount: 1

# コンテナイメージの設定。
image:
  repository: registry-vpc.cn-beijing.aliyuncs.com/eric-dev/stable-diffusion-ipex
  pullPolicy: IfNotPresent
  tag: "v0.1.5"              # 公式の stabilityai/sdxl-turbo モデルをバンドル
  tagOnlyApi: "v0.1.5-lite"  # API 専用イメージ。モデルを手動でマウントする必要があります (useCustomModels を参照)

# プライベートコンテナイメージをプルするための認証情報。
imagePullSecrets: []

# コンテナ内で生成された画像の出力パス。
outputDirPath: /tmp/sd

# volumes.models PVC を介してマウントされたカスタムモデルを使用する場合は true に設定します。
# false の場合、image.tag イメージ (モデルを含む) が使用されます。
useCustomModels: false

volumes:
  # 画像出力パス用のボリューム。
  output:
    name: output-volume
    emptyDir: {}
  # カスタムモデル用のボリューム。useCustomModels: true の場合にのみ有効。
  # マウントパスの stabilityai/sdxl-turbo サブディレクトリにモデルを配置します。
  models:
    name: data-volume
    persistentVolumeClaim:
      claimName: models-oss-pvc
  # または、ホストパスを使用します:
  # models:
  #   hostPath:
  #     path: /data/models
  #     type: DirectoryOrCreate

# Service の設定。
service:
  type: ClusterIP
  port: 5000

# コンテナのリソースリミットとリクエスト。
resources:
  limits:
    cpu: "16"
    memory: 32Gi
  requests:
    cpu: "14"
    memory: 24Gi

# ワークロードの更新戦略。
strategy:
  type: RollingUpdate

# スケジューリングの設定。
nodeSelector: {}
tolerations: []
affinity: {}

# コンテナのセキュリティ設定。
securityContext:
  capabilities:
    drop:
    - ALL
  runAsNonRoot: true
  runAsUser: 1000

# Horizontal Pod Autoscaler (HPA) の設定。
# https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
autoscaling:
  enabled: false
  minReplicas: 1
  maxReplicas: 3
  targetCPUUtilizationPercentage: 80
  targetMemoryUtilizationPercentage: 90

パフォーマンスベンチマーク

g8i インスタンスタイプでの平均生成時間 (batch: 1、step: 4)。結果は参考用です。

推奨：ecs.g8i.8xlarge は、コストとスループットのバランスが最も優れています。step=4、batch=16 の設定で、1.2 画像/秒を生成します。

前提条件

ACK クラスターに、次の設定を持つ TDX 機密 VM ノードプールが存在すること。

• インスタンスタイプ：16 vCPU 以上。推奨：ecs.g8i.4xlarge。

• ディスク容量：ノードあたり 200 GiB 以上。

• ノードラベル：nodepool-label=tdx-vm-pool。

詳細については、「TDX 機密 VM をサポートするノードプールの作成」をご参照ください。

サービスの移行

1. 次のノードセレクターを使用して tdx_values.yaml を作成します。異なるラベル値を使用した場合は、tdx-vm-pool を置き換えてください。

   nodeSelector:
     nodepool-label: tdx-vm-pool

2. Helm リリースをアップグレードして、Pod を TDX ノードプールに再スケジュールします。

   helm upgrade stable-diffusion-ipex \
     https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/pre/charts-incubator/stable-diffusion-ipex-0.1.7.tgz \
     -f tdx_values.yaml

   期待される出力：

   Release "stable-diffusion-ipex" has been upgraded. Happy Helming!
   NAME: stable-diffusion-ipex
   LAST DEPLOYED: Wed Jan 24 16:38:04 2024
   NAMESPACE: default
   STATUS: deployed
   REVISION: 2
   TEST SUITE: None

3. 約 10 分待ち、Pod が TDX ノードプールで実行されていることを確認してください。

   kubectl get pod | grep stable-diffusion-ipex

   期待される出力：

   stable-diffusion-ipex-7f8c4f88f5-r478t   1/1     Running   0   1m44s

4. 「手順3：サービスのテスト」を繰り返し、モデルが TDX ノードプールで動作することを確認してください。

リクエスト構文

POST /api/text2image

CPU アクセラレーションのベンチマーク

パフォーマンス結果 (画像/秒):

GPU アクセラレーションのベンチマーク

コスト比較

これらの見積もりは、g8i CPU インスタンスと ecs.gn7i-c8g1.2xlarge (GPU) を比較したものです。現在の価格については、Elastic Compute Service ページの [料金] タブをご参照ください。

コスト削減と 1 画像/秒を超えるスループットの両方が必要な場合は、ecs.g8i.8xlarge を使用します。コスト削減や大規模な CPU リソース供給が優先事項であり、0.5 画像/秒のスループットで要件を満たす場合は ecs.g8i.4xlarge を使用します。