ACK üzerinde makine öğrenimi modellerini sunmak için Alibaba Cloud tarafından optimize edilmiş bir KServe dağıtımı olan ack-kserve'i yükleyin.
Yükleme işlemi; cert-manager ve ack-kserve'in dağıtılmasını içerir.
Önkoşullar
Aşağıdaki koşulların sağlandığından emin olun:
Kubernetes 1.22 veya sonraki bir sürümü çalıştıran bir ACK yönetilen Pro kümesi oluşturulmuştur.
NGINX Ingress denetleyicisi yüklenmiştir.
Adım 1: cert-manager'ı yükleme
ack-kserve, TLS sertifikası yönetimi için cert-manager'a bağımlıdır.
ACK konsolu üzerinden oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde Applications > Helm yolunu izleyin.
Helm sayfasında Deploy düğmesine tıklayın. Basic Information bölümünde Application Name alanını doldurun,
cert-managerseçeneğini Chart bölümünden belirleyin ve Next düğmesine tıklayın.Parameters bölümünde Chart Version ve parametreleri gözden geçirin, ardından OK düğmesine tıklayın.
Dağıtım tamamlandıktan sonra cert-manager, Helm sayfasında görünür.
Adım 2: ack-kserve'i yükleme
Varsayılan olarak ack-kserve, RawDeployment modunda dağıtılır ve NGINX Ingress denetleyicisi ile entegre edilir.
ACK konsolu üzerinden oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde Applications > Helm yolunu izleyin.
Helm sayfasında Deploy düğmesine tıklayın. Basic Information bölümünde Application Name alanını doldurun,
ack-kserveseçeneğini Chart bölümünden belirleyin ve Next düğmesine tıklayın.Parameters bölümünde Chart Version ve parametreleri gözden geçirin, ardından OK düğmesine tıklayın. Dağıtım tamamlandıktan sonra ack-kserve, Helm sayfasında görünür.
-
ack-kserve'in çalıştığını doğrulayın:
kubectl get pod -n kserveTüm pod'ların
STATUSsütunundarunningdurumunu göstermesi halinde ack-kserve başarıyla yüklenmiştir.
(İsteğe bağlı) Adım 3: ack-kserve'i görüntüleme veya güncelleme
Bileşen ayrıntılarını görüntüleme
Helm sayfasında ack-kserve'i bulun ve Actions sütunundaki View Details bağlantısına tıklayın. Ayrıntılar sayfasında Basic Information, Parameters ve History sekmeleri görüntülenir.
Bileşeni güncelleme
Helm sayfasında ack-kserve'i bulun ve Actions sütunundaki Update bağlantısına tıklayın. Update Release panelinde chart sürümünü değiştirin veya parametreleri düzenleyin.
(İsteğe bağlı) Adım 4: ack-kserve ek bileşenini kaldırma
Kaynakların boşa çıkmasını önlemek için bileşenleri aşağıdaki sırayla kaldırın:
KServe özel kaynaklarını silin
KServe CustomResourceDefinitions (CRD) öğelerini silin
ack-kserve'i kaldırın
cert-manager'ı kaldırın
cert-manager CRD'lerini silin
KServe özel kaynaklarını ve CRD'lerini silme
Bir CRD'nin silinmesi, ilişkili tüm özel kaynakları otomatik olarak siler. Özel kaynaklar silindikten sonra geri yüklenemez. InferenceService kaynaklarınızın artık gerekli olmadığından emin olun.
-
Tüm InferenceService özel kaynaklarını yedekleyin ve silin:
# List all InferenceService resources in the cluster kubectl get isvc --all-namespaces # Back up all resources to a file kubectl get isvc --all-namespaces -oyaml > isvc.yaml.bak # Delete all resources kubectl delete isvc --all -
KServe CRD'lerini silin.
NotBir CRD'yi silmeden önce tüm özel kaynakları silin. Aksi takdirde CRD silme işlemi başarısız olur.
kubectl delete crd clusterservingruntimes.serving.kserve.io kubectl delete crd clusterstoragecontainers.serving.kserve.io kubectl delete crd inferencegraphs.serving.kserve.io kubectl delete crd inferenceservices.serving.kserve.io kubectl delete crd predictors.serving.kserve.io kubectl delete crd servingruntimes.serving.kserve.io kubectl delete crd trainedmodels.serving.kserve.io
ack-kserve'i kaldırma
ACK konsolu üzerinden oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde Applications > Helm yolunu izleyin.
Helm sayfasında ack-kserve öğesini bulun ve Actions sütunundaki Delete düğmesine tıklayın. İletişim kutusunda OK düğmesine tıklayın.
cert-manager'ı kaldırma
cert-manager'ı kaldırmadan önce başka hiçbir küme bileşeninin buna bağımlı olmadığından emin olun. Kullanımda olan cert-manager'ın kaldırılması hizmet kesintilerine neden olur.
ACK konsolu üzerinden oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde Applications > Helm yolunu izleyin.
Helm sayfasında cert-manager öğesini bulun ve Actions sütunundaki Delete düğmesine tıklayın. İletişim kutusunda OK düğmesine tıklayın.
-
cert-manager CRD'lerini silin:
kubectl delete crd certificaterequests.cert-manager.io kubectl delete crd certificates.cert-manager.io kubectl delete crd challenges.acme.cert-manager.io kubectl delete crd clusterissuers.cert-manager.io kubectl delete crd issuers.cert-manager.io kubectl delete crd orders.acme.cert-manager.io
Sorun giderme
ack-kserve kurulumu sırasında hata: TLS sertifikası doğrulaması başarısız oldu
failed to call webhook: Post "https://cert-manager-webhook.cert-manager.svc:443/validate?timeout=30s": tls: failed to verify certificate: x509: certificate signed by unknown authority
ack-kserve, cert-manager'ın tamamen hazır olmasını gerektirir. Bu hata, cert-manager yüklenmediğinde veya pod'ları henüz çalışmadığında oluşur.
-
cert-manager'ın yüklü olup olmadığını kontrol edin:
kubectl get crd | grep certificates.cert-manager.iocert-manager yüklüyse beklenen çıktı aşağıdaki gibidir:
certificates.cert-manager.io 2024-05-06T07:09:17ZÇıktı yoksa öncelikle cert-manager'ı yükleyin.
-
cert-manager pod'larının hazır olup olmadığını kontrol edin:
kubectl -n cert-manager get poTüm pod'ların
READYsütununda1/1değerini göstermesi gerekir:NAME READY STATUS RESTARTS AGE cert-manager-7f4bb44d5b-jrrfn 1/1 Running 0 23h cert-manager-cainjector-79544456cc-qp5pp 1/1 Running 0 23h cert-manager-webhook-f74ccb647-7m5dt 1/1 Running 0 23hTüm pod'lar hazırsa ack-kserve'i kaldırın ve yeniden yükleyin.