Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Deploy a production-grade Stable Diffusion service with Knative

Son Güncelleme:Nov 03, 2026

Stable Diffusion'ı Knative içeren bir ACK kümesinde dağıttığınızda, Knative tek bir pod'un işleyebileceği eşzamanlı istek sayısını aktarım hızına göre hassas bir şekilde kontrol etmenize olanak tanır. Bu sayede hizmet kararlılığı korunur. Knative ayrıca trafik olmadığında pod'ları otomatik olarak sıfıra ölçeklendirerek GPU kaynak maliyetlerini azaltır.

Önkoşullar

  • GPU düğümleri içeren bir ACK kümesi oluşturmuş olmanız gerekir. Kümeniz Kubernetes 1.24 veya üzeri bir sürümde çalışmalıdır. Daha fazla bilgi için bkz. ACK yönetilen kümesi oluşturma.

    Aşağıdaki örnek türleri önerilir: ecs.gn5-c4g1.xlarge, ecs.gn5i-c8g1.2xlarge veya ecs.gn5-c8g1.2xlarge.

  • Knative'i kümede dağıtmış olmanız gerekir. Daha fazla bilgi için bkz. Knative bileşenlerini dağıtma ve yönetme.

Nasıl çalışır

Önemli

Üçüncü taraf Stable Diffusion modelinin kullanıcı sözleşmelerine, kullanım şartlarına ve geçerli yasa ve yönetmeliklere uymanız gerekir. Alibaba Cloud, Stable Diffusion modelinin yasalığını, güvenliğini veya doğruluğunu garanti etmez ve kullanımından kaynaklanan hiçbir zarardan sorumlu tutulmaz.

Stable Diffusion, hedef sahneleri ve görselleri hızlı ve doğru bir şekilde oluşturur. Ancak üretim ortamları genellikle aşağıdaki gereksinimlere sahiptir:

  • Tek bir pod'un sınırlı bir aktarım hızı vardır ve birden çok eşzamanlı isteği işlemek pod'u aşırı yükleyebilir. Bu nedenle, pod başına düşen eşzamanlı istek sayısını hassas bir şekilde kontrol etmeniz gerekir.

  • GPU kaynakları pahalıdır. GPU kaynaklarını talebe göre ayırmanız ve yoğunluğun düşük olduğu saatlerde bunları zamanında serbest bırakmanız gerekir.

ACK Knative, eşzamanlı istek sayısına dayalı hassas zamanlama desteği sunar ve üretim düzeyinde bir Stable Diffusion hizmeti oluşturmak için otomatik ölçeklendirmeyi uygular. Aşağıdaki şekil bu süreci gösterir.

image

1. Adım: Stable Diffusion hizmetini dağıtma

Önemli

Stable Diffusion hizmetinin GPU düğümlerine dağıtıldığından emin olmanız gerekir. Aksi takdirde hizmet çalışmaz.

  1. ACK konsolu adresine gidin. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.

  2. Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde Applications > Knative seçeneğini belirleyin.

  3. Stable Diffusion hizmetini dağıtın.

    ACK Knative, popüler uygulama şablonları sağlar. Hızlı dağıtım yapmak için bir uygulama şablonu kullanabilir veya YAML kullanarak hizmeti dağıtabilirsiniz.

    Uygulama şablonu

    Popular Apps sekmesine tıklayın ve Stable Diffusion hizmet kartındaki Deploy seçeneğine tıklayın.

    Dağıtım tamamlandıktan sonra, hizmet listesindeki dağıtım ilerlemesini görüntülemek için Services sekmesine tıklayın. Status alanında Success göründüğünde hizmet dağıtılmış olur.

    YAML

    Services sekmesine tıklayın, Namespace açılır listesinden default değerini seçin ve ardından Create from Template seçeneğine tıklayın. Aşağıdaki YAML örneğini şablona yapıştırın ve stable-diffusion adlı bir hizmet oluşturmak için Create seçeneğine tıklayın.

    apiVersion: serving.knative.dev/v1
    kind: Service
    metadata:
      name: stable-diffusion
      annotations:
        serving.knative.dev.alibabacloud/affinity: "cookie"
        serving.knative.dev.alibabacloud/cookie-name: "sd"
        serving.knative.dev.alibabacloud/cookie-timeout: "1800"
    spec:
      template:
        metadata:
          annotations:
            autoscaling.knative.dev/class: kpa.autoscaling.knative.dev
            autoscaling.knative.dev/maxScale: '10'
            autoscaling.knative.dev/targetUtilizationPercentage: "100"
            k8s.aliyun.com/eci-use-specs: ecs.gn5-c4g1.xlarge,ecs.gn5i-c8g1.2xlarge,ecs.gn5-c8g1.2xlarge  
        spec:
          containerConcurrency: 1
          containers:
          - args:
            - --listen
            - --skip-torch-cuda-test
            - --api
            command:
            - python3
            - launch.py
            image: yunqi-registry.cn-shanghai.cr.aliyuncs.com/lab/stable-diffusion@sha256:62b3228f4b02d9e89e221abe6f1731498a894b042925ab8d4326a571b3e992bc
            imagePullPolicy: IfNotPresent
            ports:
            - containerPort: 7860
              name: http1
              protocol: TCP
            name: stable-diffusion
            readinessProbe:
              tcpSocket:
                port: 7860
              initialDelaySeconds: 5
              periodSeconds: 1
              failureThreshold: 3

    Services sayfasında, stable-diffusion hizmetinin varsayılan alan adı stable-diffusion.default.example.com şeklindedir.

2. Adım: Hizmete erişme

  1. Services sekmesinde hizmetin Gateway ve Default Domain bilgilerini edinin.

    Not

    Ağ geçidi türü ALB Gateway ise, hizmet adresine erişmek için curl komutunu kullanabilirsiniz. Biçim aşağıdaki gibidir:

    curl -H "Host: stable-diffusion.default.example.com" http://alb-XXX.cn-hangzhou.alb.aliyuncsslb.com # Replace the placeholder with your ALB Gateway address.

    Hizmete doğrudan alan adı üzerinden erişmek için ALB örneği için bir CNAME kaydı yapılandırabilirsiniz.

  2. Örneğin:

    47.xx.xxx.xx stable-diffusion.default.example.com # Replace the placeholder with the gateway IP address.
  3. Ana bilgisayar eşlemesini yapılandırdıktan sonra, Services sekmesinde stable-diffusion hizmetinin varsayılan alan adına tıklayın.

    Artık Stable Diffusion'a doğrudan alan adı kullanarak erişebilirsiniz.

    Erişim başarılı olursa tarayıcınızda Stable Diffusion web kullanıcı arayüzünün txt2img sayfası görüntülenir ve adres çubuğunda Knative hizmet alan adı yer alır. Pozitif prompt giriş kutusuna cat gibi bir metin girin ve ardından Generate seçeneğine tıklayın. İlgili AI görseli oluşturulursa, Knative tarafından dağıtılan Stable Diffusion çıkarım hizmeti doğru şekilde çalışıyor demektir.

3. Adım: İsteğe dayalı otomatik ölçeklendirmeyi doğrulama

  1. Hey yük testi aracını kullanarak bir stres testi çalıştırın.

    Not

    Hey yük testi aracı hakkında daha fazla bilgi için bkz. Hey.

    hey -n 50 -c 5 -t 180 -m POST -H "Content-Type: application/json" -d '{"prompt": "pretty dog"}' http://stable-diffusion.default.example.com/sdapi/v1/txt2img

    Bu komut, 5 eşzamanlılık düzeyi ve 180 saniyelik zaman aşımı ile 50 istek gönderir.

    Beklenen çıktı:

    Summary:
      Total:    252.1749 secs
      Slowest:    62.4155 secs
      Fastest:    9.9399 secs
      Average:    23.9748 secs
      Requests/sec:    0.1983
    Response time histogram:
      9.940 [1]    |■■
      15.187 [17]    |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
      20.435 [9]    |■■■■■■■■■■■■■■■■■■■■■
      25.683 [11]    |■■■■■■■■■■■■■■■■■■■■■■■■■■
      30.930 [1]    |■■
      36.178 [1]    |■■
      41.425 [3]    |■■■■■■■
      46.673 [1]    |■■
      51.920 [2]    |■■■■■
      57.168 [1]    |■■
      62.415 [3]    |■■■■■■■
    Latency distribution:
      10% in 10.4695 secs
      25% in 14.8245 secs
      50% in 20.0772 secs
      75% in 30.5207 secs
      90% in 50.7006 secs
      95% in 61.5010 secs
      0% in 0.0000 secs
    Details (average, fastest, slowest):
      DNS+dialup:    0.0424 secs, 9.9399 secs, 62.4155 secs
      DNS-lookup:    0.0385 secs, 0.0000 secs, 0.3855 secs
      req write:    0.0000 secs, 0.0000 secs, 0.0004 secs
      resp wait:    23.8850 secs, 9.9089 secs, 62.3562 secs
      resp read:    0.0471 secs, 0.0166 secs, 0.1834 secs
    Status code distribution:
      [200]    50 responses

    Çıktı, 50 isteğin gönderildiğini ve başarı oranının %100 olduğunu gösterir.

  2. Pod otomatik ölçeklendirmesini gerçek zamanlı olarak gözlemlemek için aşağıdaki komutu çalıştırın:

    watch -n 1 'kubectl get po'

    Stres testi sırasında pod sayısı otomatik olarak beşe yükselir ve tüm pod'ların durumu Running olarak görünür.

    Tek bir pod için maksimum eşzamanlılık 1 olarak ayarlandığından (containerConcurrency: 1), Stable Diffusion hizmeti stres testi sırasında otomatik olarak 5 poda ölçeklenir.

4. Adım: Hizmet izleme verilerini görüntüleme

Knative, kullanıma hazır gözlemlenebilirlik özellikleri sunar. Knative sayfasında Stable Diffusion hizmetinin izleme verilerini görüntülemek için Monitoring Dashboards sekmesine tıklayın. Knative İzleme Panosu'nu etkinleştirme ve kullanma hakkında daha fazla bilgi için bkz. Knative İzleme Panosunu Görüntüleme.

İlgili belgeler

Knative ile AI modeli çıkarım hizmetlerini dağıtmaya yönelik yapılandırma önerileri için bkz. Knative'de AI modeli çıkarım hizmetlerini dağıtmaya ilişkin en iyi uygulamalar.