ACK Knative veya üzerinde KServe kullanarak yapay zeka modellerini sunucusuz çıkarım hizmetleri olarak dağıtabilirsiniz. Bu sayede otomatik ölçeklendirme, sürümleme ve kanarya sürümü gibi özellikleri uygulayabilirsiniz.
1. Adım: KServe eklentisini yükleyin ve yapılandırın
KServe'yi Knative'in ALB Ingress veya Kourier gateway ile sorunsuz entegre etmek için öncelikle KServe eklentisini yüklemeniz gerekir. Ardından, yerleşik Istio VirtualService'i devre dışı bırakmak için varsayılan ayarlarını değiştirin.
-
KServe eklentisini yükleyin.
ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde seçeneğine tıklayın.
Add-ons sekmesinde Add-on Components bölümünde KServe eklentisini bulup dağıtın.
-
Istio VirtualService oluşturmayı devre dışı bırakın.
inferenceservice-configConfigMap dosyasını düzenleyin vedisableIstioVirtualHostdeğerinitrueolarak ayarlayın.kubectl get configmap inferenceservice-config -n kserve -o yaml \ | sed 's/"disableIstioVirtualHost": false/"disableIstioVirtualHost": true/g' \ | kubectl apply -f -Beklenen çıktı:
configmap/inferenceservice-config configured -
Yapılandırmayı doğrulayın.
kubectl get configmap inferenceservice-config -n kserve -o yaml \ | grep '"disableIstioVirtualHost":' \ | tail -n1 \ | awk -F':' '{gsub(/[ ,]/,"",$2); print $2}'Çıktının
trueolması, yapılandırmanın güncellendiğini gösterir. -
Yapılandırma değişikliğinin uygulanması için KServe denetleyicisini yeniden başlatın.
kubectl rollout restart deployment kserve-controller-manager -n kserve
2. Adım: InferenceService'i dağıtın
Bu örnekte Iris veri seti üzerinde eğitilen bir scikit-learn sınıflandırma modeli dağıtılmaktadır. Hizmet, çiçeğin boyutlarını temsil eden dört özellik değeri alır ve türünü tahmin eder.
|
Giriş, ardışık dört sayısal özellikten oluşur:
|
Çıktı, tahmin edilen sınıfı temsil eden bir dizindir:
|
-
Çıkarım hizmetini dağıtmak için bir
inferenceservice.yamldosyası oluşturun.apiVersion: "serving.kserve.io/v1beta1" kind: "InferenceService" metadata: name: "sklearn-iris" spec: predictor: model: # The format of the model. In this case, sklearn. modelFormat: name: sklearn image: "kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0" command: - sh - -c - "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080" -
InferenceService'i dağıtın.
kubectl apply -f inferenceservice.yaml -
Hizmet durumunu kontrol edin.
kubectl get inferenceservices sklearn-irisÇıktıda,
READYsütunundakiTruedeğeri hizmetin hazır olduğunu gösterir.NAME URL READY PREV LATEST PREVROLLEDOUTREVISION LATESTREADYREVISION AGE sklearn-iris http://sklearn-iris-predictor-default.default.example.com True 100 sklearn-iris-predictor-default-00001 51s
3. Adım: Hizmete erişin
Kümenin giriş ağ geçidi üzerinden hizmete bir çıkarım isteği gönderin.
-
Knative sayfasında Services sekmesine gidin. ALB veya Kourier ağ geçidinin Gateway değerini ve hizmetin Default Domain değerini edinin.
Bu örnekte ALB Ingress kullanılmıştır. Kourier ağ geçidi kullanıcı arayüzü de benzerdir.
Sayfanın üst kısmında
alb-xxx.aliyuncsslb.comgibi bir gateway address görüntülenir. Hizmet listesinde sklearn-iris-predictor durumu Successful olarak görünür ve default domain name değerisklearn-iris-predictor.default.example.comşeklindedir. -
İstek verilerini hazırlayın.
Yerel terminalinizde iki dizi içeren bir
./iris-input.jsondosyası oluşturun. Her dizi, tahmin edilmesi gereken bir örneği temsil eder.cat <<EOF > "./iris-input.json" { "instances": [ [6.8, 2.8, 4.8, 1.4], [6.0, 3.4, 4.5, 1.6] ] } EOF -
Yerel terminalinizde hizmete erişmek için bir çıkarım isteği gönderin.
${INGRESS_DOMAIN}ifadesini 1. Adım bölümünde edindiğiniz Gateway değeriyle değiştirin.curl -H "Content-Type: application/json" -H "Host: sklearn-iris-predictor.default.example.com" "http://${INGRESS_DOMAIN}/v1/models/sklearn-iris:predict" -d @./iris-input.jsonÇıktı, modelin her iki giriş örneği için de 1 (Iris versicolour) sınıf dizinini tahmin ettiğini gösterir.
{"predictions":[1,1]}
Faturalama
KServe ve Knative bileşenleri ücretsizdir. Ancak, kullandığınız hesaplama kaynakları (ECS ve Elastic Container Instance gibi) ve ağ kaynakları (ALB ve CLB gibi) için ücretlendirilirsiniz. Daha fazla bilgi için cloud ürün kaynağı ücretlerine bakın.
SSS
Not Ready durumunda olan InferenceService
Sorunu gidermek için:
kubectl describe inferenceservice <yourServiceName>komutunu çalıştırın ve olaylardaki hata mesajlarını kontrol edin.Hizmetle ilişkili herhangi bir Pod'un
ErrorveyaCrashLoopBackOffdurumunda olup olmadığını kontrol etmek içinkubectl get podskomutunu çalıştırın. Bu Pod'ların adları genellikle hizmet adıyla başlar.Bir Pod anormal durumdaysa,
kubectl logs <pod-name> -c kserve-containerkomutunu çalıştırarak model hizmeti konteynerinin günlüklerini görüntüleyin. Günlüklerde, ağ hataları veya yanlış model dosyası biçimi gibi nedenlerle oluşan model yükleme hatalarını kontrol edin.
Özel model dağıtma
Model dosyasını bir OSS paketine yükleyebilirsiniz. InferenceService oluştururken spec.predictor.model.storageUri alanının değerini model dosyasının URI'siyle değiştirin. Ayrıca modelFormat parametresini model çerçevesine göre tensorflow, pytorch veya onnx gibi geçerli bir değer olarak ayarlamanız gerekir.
GPU kaynaklarını yapılandırma
Modeliniz çıkarım için GPU gerektiriyorsa, GPU kaynakları istemek için InferenceService YAML dosyasının predictor bölümüne resources alanını ekleyebilirsiniz. Örneğin:
Knative'de GPU kaynaklarının nasıl kullanılacağı hakkında daha fazla bilgi için bkz. GPU kaynaklarını kullanma .
spec:
predictor:
resources:
requests:
nvidia.com/gpu: "1"
limits:
nvidia.com/gpu: "1"
İlgili belgeler
Knative'de yapay zeka model çıkarım hizmetlerini dağıtmaya yönelik yapılandırma önerileri için bkz. Knative'de yapay zeka model çıkarım hizmetlerini dağıtmaya yönelik en iyi uygulamalar.
ACK Knative Stable Diffusion için bir uygulama şablonu sağlar. Daha fazla bilgi için bkz. Knative ile üretim düzeyinde bir Stable Diffusion hizmeti dağıtma.