Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Deploy an inference service with KServe

Son Güncelleme:Oct 06, 2026

ACK Knative veya üzerinde KServe kullanarak yapay zeka modellerini sunucusuz çıkarım hizmetleri olarak dağıtabilirsiniz. Bu sayede otomatik ölçeklendirme, sürümleme ve kanarya sürümü gibi özellikleri uygulayabilirsiniz.

1. Adım: KServe eklentisini yükleyin ve yapılandırın

KServe'yi Knative'in ALB Ingress veya Kourier gateway ile sorunsuz entegre etmek için öncelikle KServe eklentisini yüklemeniz gerekir. Ardından, yerleşik Istio VirtualService'i devre dışı bırakmak için varsayılan ayarlarını değiştirin.

  1. KServe eklentisini yükleyin.

    1. ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesine tıklayın.

    2. Clusters sayfasında kümenizin adına tıklayın. Sol gezinme bölmesinde Applications > Knative seçeneğine tıklayın.

    3. Add-ons sekmesinde Add-on Components bölümünde KServe eklentisini bulup dağıtın.

  2. Istio VirtualService oluşturmayı devre dışı bırakın.

    inferenceservice-config ConfigMap dosyasını düzenleyin ve disableIstioVirtualHost değerini true olarak ayarlayın.

    kubectl get configmap inferenceservice-config -n kserve -o yaml \
    | sed 's/"disableIstioVirtualHost": false/"disableIstioVirtualHost": true/g' \
    | kubectl apply -f -

    Beklenen çıktı:

    configmap/inferenceservice-config configured
  3. Yapılandırmayı doğrulayın.

    kubectl get configmap inferenceservice-config -n kserve -o yaml \
    | grep '"disableIstioVirtualHost":' \
    | tail -n1 \
    | awk -F':' '{gsub(/[ ,]/,"",$2); print $2}'

    Çıktının true olması, yapılandırmanın güncellendiğini gösterir.

  4. Yapılandırma değişikliğinin uygulanması için KServe denetleyicisini yeniden başlatın.

    kubectl rollout restart deployment kserve-controller-manager -n kserve

2. Adım: InferenceService'i dağıtın

Bu örnekte Iris veri seti üzerinde eğitilen bir scikit-learn sınıflandırma modeli dağıtılmaktadır. Hizmet, çiçeğin boyutlarını temsil eden dört özellik değeri alır ve türünü tahmin eder.

Giriş, ardışık dört sayısal özellikten oluşur:

  1. Sepal uzunluğu

  2. Sepal genişliği

  3. Petal uzunluğu

  4. Petal genişliği

Çıktı, tahmin edilen sınıfı temsil eden bir dizindir:

  • 0: Iris setosa

  • 1: Iris versicolour

  • 2: Iris virginica

  1. Çıkarım hizmetini dağıtmak için bir inferenceservice.yaml dosyası oluşturun.

    apiVersion: "serving.kserve.io/v1beta1"
    kind: "InferenceService"
    metadata:
      name: "sklearn-iris"
    spec:
      predictor:
        model:
          # The format of the model. In this case, sklearn.
          modelFormat:
            name: sklearn
          image: "kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0"
          command:
          - sh
          - -c
          - "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080"
  2. InferenceService'i dağıtın.

    kubectl apply -f inferenceservice.yaml
  3. Hizmet durumunu kontrol edin.

    kubectl get inferenceservices sklearn-iris

    Çıktıda, READY sütunundaki True değeri hizmetin hazır olduğunu gösterir.

    NAME           URL                                                         READY   PREV   LATEST   PREVROLLEDOUTREVISION   LATESTREADYREVISION                    AGE
    sklearn-iris   http://sklearn-iris-predictor-default.default.example.com   True           100                              sklearn-iris-predictor-default-00001   51s

3. Adım: Hizmete erişin

Kümenin giriş ağ geçidi üzerinden hizmete bir çıkarım isteği gönderin.

  1. Knative sayfasında Services sekmesine gidin. ALB veya Kourier ağ geçidinin Gateway değerini ve hizmetin Default Domain değerini edinin.

    Bu örnekte ALB Ingress kullanılmıştır. Kourier ağ geçidi kullanıcı arayüzü de benzerdir.

    Sayfanın üst kısmında alb-xxx.aliyuncsslb.com gibi bir gateway address görüntülenir. Hizmet listesinde sklearn-iris-predictor durumu Successful olarak görünür ve default domain name değeri sklearn-iris-predictor.default.example.com şeklindedir.

  2. İstek verilerini hazırlayın.

    Yerel terminalinizde iki dizi içeren bir ./iris-input.json dosyası oluşturun. Her dizi, tahmin edilmesi gereken bir örneği temsil eder.

    cat <<EOF > "./iris-input.json"
    {
      "instances": [
        [6.8,  2.8,  4.8,  1.4],
        [6.0,  3.4,  4.5,  1.6]
      ]
    }
    EOF
  3. Yerel terminalinizde hizmete erişmek için bir çıkarım isteği gönderin.

    ${INGRESS_DOMAIN} ifadesini 1. Adım bölümünde edindiğiniz Gateway değeriyle değiştirin.

    curl -H "Content-Type: application/json" -H "Host: sklearn-iris-predictor.default.example.com" "http://${INGRESS_DOMAIN}/v1/models/sklearn-iris:predict" -d @./iris-input.json

    Çıktı, modelin her iki giriş örneği için de 1 (Iris versicolour) sınıf dizinini tahmin ettiğini gösterir.

    {"predictions":[1,1]}                        

Faturalama

KServe ve Knative bileşenleri ücretsizdir. Ancak, kullandığınız hesaplama kaynakları (ECS ve Elastic Container Instance gibi) ve ağ kaynakları (ALB ve CLB gibi) için ücretlendirilirsiniz. Daha fazla bilgi için cloud ürün kaynağı ücretlerine bakın.

SSS

Not Ready durumunda olan InferenceService

Sorunu gidermek için:

  1. kubectl describe inferenceservice <yourServiceName> komutunu çalıştırın ve olaylardaki hata mesajlarını kontrol edin.

  2. Hizmetle ilişkili herhangi bir Pod'un Error veya CrashLoopBackOff durumunda olup olmadığını kontrol etmek için kubectl get pods komutunu çalıştırın. Bu Pod'ların adları genellikle hizmet adıyla başlar.

  3. Bir Pod anormal durumdaysa, kubectl logs <pod-name> -c kserve-container komutunu çalıştırarak model hizmeti konteynerinin günlüklerini görüntüleyin. Günlüklerde, ağ hataları veya yanlış model dosyası biçimi gibi nedenlerle oluşan model yükleme hatalarını kontrol edin.

Özel model dağıtma

Model dosyasını bir OSS paketine yükleyebilirsiniz. InferenceService oluştururken spec.predictor.model.storageUri alanının değerini model dosyasının URI'siyle değiştirin. Ayrıca modelFormat parametresini model çerçevesine göre tensorflow, pytorch veya onnx gibi geçerli bir değer olarak ayarlamanız gerekir.

GPU kaynaklarını yapılandırma

Modeliniz çıkarım için GPU gerektiriyorsa, GPU kaynakları istemek için InferenceService YAML dosyasının predictor bölümüne resources alanını ekleyebilirsiniz. Örneğin:

Knative'de GPU kaynaklarının nasıl kullanılacağı hakkında daha fazla bilgi için bkz. GPU kaynaklarını kullanma .
spec:
  predictor:
    resources:
      requests:
        nvidia.com/gpu: "1"
      limits:
        nvidia.com/gpu: "1"

İlgili belgeler