Stable Diffusion'ı Knative içeren bir ACK kümesinde dağıttığınızda, Knative tek bir pod'un işleyebileceği eşzamanlı istek sayısını aktarım hızına göre hassas bir şekilde kontrol etmenize olanak tanır. Bu sayede hizmet kararlılığı korunur. Knative ayrıca trafik olmadığında pod'ları otomatik olarak sıfıra ölçeklendirerek GPU kaynak maliyetlerini azaltır.
Önkoşullar
-
GPU düğümleri içeren bir ACK kümesi oluşturmuş olmanız gerekir. Kümeniz Kubernetes 1.24 veya üzeri bir sürümde çalışmalıdır. Daha fazla bilgi için bkz. ACK yönetilen kümesi oluşturma.
Aşağıdaki örnek türleri önerilir: ecs.gn5-c4g1.xlarge, ecs.gn5i-c8g1.2xlarge veya ecs.gn5-c8g1.2xlarge.
Knative'i kümede dağıtmış olmanız gerekir. Daha fazla bilgi için bkz. Knative bileşenlerini dağıtma ve yönetme.
Nasıl çalışır
Üçüncü taraf Stable Diffusion modelinin kullanıcı sözleşmelerine, kullanım şartlarına ve geçerli yasa ve yönetmeliklere uymanız gerekir. Alibaba Cloud, Stable Diffusion modelinin yasalığını, güvenliğini veya doğruluğunu garanti etmez ve kullanımından kaynaklanan hiçbir zarardan sorumlu tutulmaz.
Stable Diffusion, hedef sahneleri ve görselleri hızlı ve doğru bir şekilde oluşturur. Ancak üretim ortamları genellikle aşağıdaki gereksinimlere sahiptir:
Tek bir pod'un sınırlı bir aktarım hızı vardır ve birden çok eşzamanlı isteği işlemek pod'u aşırı yükleyebilir. Bu nedenle, pod başına düşen eşzamanlı istek sayısını hassas bir şekilde kontrol etmeniz gerekir.
GPU kaynakları pahalıdır. GPU kaynaklarını talebe göre ayırmanız ve yoğunluğun düşük olduğu saatlerde bunları zamanında serbest bırakmanız gerekir.
ACK Knative, eşzamanlı istek sayısına dayalı hassas zamanlama desteği sunar ve üretim düzeyinde bir Stable Diffusion hizmeti oluşturmak için otomatik ölçeklendirmeyi uygular. Aşağıdaki şekil bu süreci gösterir.
1. Adım: Stable Diffusion hizmetini dağıtma
Stable Diffusion hizmetinin GPU düğümlerine dağıtıldığından emin olmanız gerekir. Aksi takdirde hizmet çalışmaz.
ACK konsolu adresine gidin. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde seçeneğini belirleyin.
-
Stable Diffusion hizmetini dağıtın.
ACK Knative, popüler uygulama şablonları sağlar. Hızlı dağıtım yapmak için bir uygulama şablonu kullanabilir veya YAML kullanarak hizmeti dağıtabilirsiniz.
Uygulama şablonu
Popular Apps sekmesine tıklayın ve Stable Diffusion hizmet kartındaki Deploy seçeneğine tıklayın.
Dağıtım tamamlandıktan sonra, hizmet listesindeki dağıtım ilerlemesini görüntülemek için Services sekmesine tıklayın. Status alanında Success göründüğünde hizmet dağıtılmış olur.
YAML
Services sekmesine tıklayın, Namespace açılır listesinden default değerini seçin ve ardından Create from Template seçeneğine tıklayın. Aşağıdaki YAML örneğini şablona yapıştırın ve stable-diffusion adlı bir hizmet oluşturmak için Create seçeneğine tıklayın.
apiVersion: serving.knative.dev/v1 kind: Service metadata: name: stable-diffusion annotations: serving.knative.dev.alibabacloud/affinity: "cookie" serving.knative.dev.alibabacloud/cookie-name: "sd" serving.knative.dev.alibabacloud/cookie-timeout: "1800" spec: template: metadata: annotations: autoscaling.knative.dev/class: kpa.autoscaling.knative.dev autoscaling.knative.dev/maxScale: '10' autoscaling.knative.dev/targetUtilizationPercentage: "100" k8s.aliyun.com/eci-use-specs: ecs.gn5-c4g1.xlarge,ecs.gn5i-c8g1.2xlarge,ecs.gn5-c8g1.2xlarge spec: containerConcurrency: 1 containers: - args: - --listen - --skip-torch-cuda-test - --api command: - python3 - launch.py image: yunqi-registry.cn-shanghai.cr.aliyuncs.com/lab/stable-diffusion@sha256:62b3228f4b02d9e89e221abe6f1731498a894b042925ab8d4326a571b3e992bc imagePullPolicy: IfNotPresent ports: - containerPort: 7860 name: http1 protocol: TCP name: stable-diffusion readinessProbe: tcpSocket: port: 7860 initialDelaySeconds: 5 periodSeconds: 1 failureThreshold: 3Services sayfasında, stable-diffusion hizmetinin varsayılan alan adı
stable-diffusion.default.example.comşeklindedir.
2. Adım: Hizmete erişme
-
Services sekmesinde hizmetin Gateway ve Default Domain bilgilerini edinin.
NotAğ geçidi türü ALB Gateway ise, hizmet adresine erişmek için
curlkomutunu kullanabilirsiniz. Biçim aşağıdaki gibidir:curl -H "Host: stable-diffusion.default.example.com" http://alb-XXX.cn-hangzhou.alb.aliyuncsslb.com # Replace the placeholder with your ALB Gateway address.Hizmete doğrudan alan adı üzerinden erişmek için ALB örneği için bir CNAME kaydı yapılandırabilirsiniz.
-
Örneğin:
47.xx.xxx.xx stable-diffusion.default.example.com # Replace the placeholder with the gateway IP address. -
Ana bilgisayar eşlemesini yapılandırdıktan sonra, Services sekmesinde stable-diffusion hizmetinin varsayılan alan adına tıklayın.
Artık Stable Diffusion'a doğrudan alan adı kullanarak erişebilirsiniz.
Erişim başarılı olursa tarayıcınızda Stable Diffusion web kullanıcı arayüzünün txt2img sayfası görüntülenir ve adres çubuğunda Knative hizmet alan adı yer alır. Pozitif prompt giriş kutusuna
catgibi bir metin girin ve ardından Generate seçeneğine tıklayın. İlgili AI görseli oluşturulursa, Knative tarafından dağıtılan Stable Diffusion çıkarım hizmeti doğru şekilde çalışıyor demektir.
3. Adım: İsteğe dayalı otomatik ölçeklendirmeyi doğrulama
-
Hey yük testi aracını kullanarak bir stres testi çalıştırın.
NotHey yük testi aracı hakkında daha fazla bilgi için bkz. Hey.
hey -n 50 -c 5 -t 180 -m POST -H "Content-Type: application/json" -d '{"prompt": "pretty dog"}' http://stable-diffusion.default.example.com/sdapi/v1/txt2imgBu komut, 5 eşzamanlılık düzeyi ve 180 saniyelik zaman aşımı ile 50 istek gönderir.
Beklenen çıktı:
Summary: Total: 252.1749 secs Slowest: 62.4155 secs Fastest: 9.9399 secs Average: 23.9748 secs Requests/sec: 0.1983 Response time histogram: 9.940 [1] |■■ 15.187 [17] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ 20.435 [9] |■■■■■■■■■■■■■■■■■■■■■ 25.683 [11] |■■■■■■■■■■■■■■■■■■■■■■■■■■ 30.930 [1] |■■ 36.178 [1] |■■ 41.425 [3] |■■■■■■■ 46.673 [1] |■■ 51.920 [2] |■■■■■ 57.168 [1] |■■ 62.415 [3] |■■■■■■■ Latency distribution: 10% in 10.4695 secs 25% in 14.8245 secs 50% in 20.0772 secs 75% in 30.5207 secs 90% in 50.7006 secs 95% in 61.5010 secs 0% in 0.0000 secs Details (average, fastest, slowest): DNS+dialup: 0.0424 secs, 9.9399 secs, 62.4155 secs DNS-lookup: 0.0385 secs, 0.0000 secs, 0.3855 secs req write: 0.0000 secs, 0.0000 secs, 0.0004 secs resp wait: 23.8850 secs, 9.9089 secs, 62.3562 secs resp read: 0.0471 secs, 0.0166 secs, 0.1834 secs Status code distribution: [200] 50 responsesÇıktı, 50 isteğin gönderildiğini ve başarı oranının %100 olduğunu gösterir.
-
Pod otomatik ölçeklendirmesini gerçek zamanlı olarak gözlemlemek için aşağıdaki komutu çalıştırın:
watch -n 1 'kubectl get po'Stres testi sırasında pod sayısı otomatik olarak beşe yükselir ve tüm pod'ların durumu Running olarak görünür.
Tek bir pod için maksimum eşzamanlılık 1 olarak ayarlandığından (
containerConcurrency: 1), Stable Diffusion hizmeti stres testi sırasında otomatik olarak 5 poda ölçeklenir.
4. Adım: Hizmet izleme verilerini görüntüleme
Knative, kullanıma hazır gözlemlenebilirlik özellikleri sunar. Knative sayfasında Stable Diffusion hizmetinin izleme verilerini görüntülemek için Monitoring Dashboards sekmesine tıklayın. Knative İzleme Panosu'nu etkinleştirme ve kullanma hakkında daha fazla bilgi için bkz. Knative İzleme Panosunu Görüntüleme.
İlgili belgeler
Knative ile AI modeli çıkarım hizmetlerini dağıtmaya yönelik yapılandırma önerileri için bkz. Knative'de AI modeli çıkarım hizmetlerini dağıtmaya ilişkin en iyi uygulamalar.