Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Configure Prometheus monitoring for KServe to monitor the performance and health of model services

Son Güncelleme:Oct 14, 2026

KServe, model hizmetlerinin performansını ve sağlık durumunu izlemenize yardımcı olmak için bir dizi varsayılan Prometheus ölçümü sağlar. Bu konu, KServe çerçevesi için Prometheus izlemesinin nasıl yapılandırılacağını göstermek amacıyla Qwen-7B-Chat-Int8 modeli ve V100 GPU'yu örnek olarak kullanır.

Önkoşullar

1. Adım: Bir KServe uygulaması dağıtın

  1. Bir scikit-learn KServe uygulaması dağıtmak için aşağıdaki komutu çalıştırın.

    arena serve kserve \
        --name=sklearn-iris \
        --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0 \
        --cpu=1 \
        --memory=200Mi \
        --enable-prometheus=true \
        --metrics-port=8080 \
        "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080"

    Beklenen çıktı:

    service/sklearn-iris-metric-svc created # The service named sklearn-iris-metric-svc is created.
    inferenceservice.serving.kserve.io/sklearn-iris created # KServe InferenceService resource sklearn-iris is created.
    servicemonitor.monitoring.coreos.com/sklearn-iris-svcmonitor created # ServiceMonitor resource is created to integrate with the Prometheus monitoring system and collect the monitoring data exposed by the sklearn-iris-metric-svc service.
    INFO[0004] The Job sklearn-iris has been submitted successfully # Job has been submitted to the cluster.
    INFO[0004] You can run `arena serve get sklearn-iris --type kserve -n default` to check the job status

    Çıktı, Arena'nın Prometheus izleme entegrasyonu ile birlikte bir scikit-learn modeli kullanan KServe uygulamasının dağıtımını başlattığını gösterir.

  2. Çıkarım giriş isteğini hazırlamak için aşağıdaki JSON içeriğini ./iris-input.json dosyasına yazmak üzere aşağıdaki komutu çalıştırın.

    cat <<EOF > "./iris-input.json"
    {
      "instances": [
        [6.8,  2.8,  4.8,  1.4],
        [6.0,  3.4,  4.5,  1.6]
      ]
    }
    EOF
  3. NGINX Ingress ağ geçidinin IP adresini kümeden ve InferenceService için dışarıdan erişilebilir URL'in ana bilgisayar adı bölümünü almak için aşağıdaki komutları çalıştırın.

    NGINX_INGRESS_IP=`kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'`
    SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -o jsonpath='{.status.url}' | cut -d "/" -f 3)
  4. Uygulamaya tekrarlayan istekler göndererek izleme verileri oluşturmak için Hey stres testi aracını kullanmak üzere aşağıdaki komutu çalıştırın.

    Not

    Hey stres testi aracı hakkında daha fazla bilgi için bkz. Hey.

    hey -z 2m -c 20 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -D ./iris-input.json http://${NGINX_INGRESS_IP}:80/v1/models/sklearn-iris:predict

    Beklenen çıktı:

    Expand to view the expected output

    Summary:
      Total:	120.0296 secs
      Slowest:	0.1608 secs
      Fastest:	0.0213 secs
      Average:	0.0275 secs
      Requests/sec:	727.3875
      Total data:	1833468 bytes
      Size/request:	21 bytes
    Response time histogram:
      0.021 [1]	|
      0.035 [85717]	|■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
      0.049 [1272]	|■
      0.063 [144]	|
      0.077 [96]	|
      0.091 [44]	|
      0.105 [7]	|
      0.119 [0]	|
      0.133 [0]	|
      0.147 [11]	|
      0.161 [16]	|
    Latency distribution:
      10% in 0.0248 secs
      25% in 0.0257 secs
      50% in 0.0270 secs
      75% in 0.0285 secs
      90% in 0.0300 secs
      95% in 0.0315 secs
      99% in 0.0381 secs
    Details (average, fastest, slowest):
      DNS+dialup:	0.0000 secs, 0.0213 secs, 0.1608 secs
      DNS-lookup:	0.0000 secs, 0.0000 secs, 0.0000 secs
      req write:	0.0000 secs, 0.0000 secs, 0.0225 secs
      resp wait:	0.0273 secs, 0.0212 secs, 0.1607 secs
      resp read:	0.0001 secs, 0.0000 secs, 0.0558 secs
    Status code distribution:
      [200]	87308 responses

    Çıktı, işleme hızı, veri aktarım hızı ve yanıt gecikme süresi gibi temel ölçümler dahil olmak üzere bu testteki sistem performansını özetler. Bu ölçümler, sistemin verimliliğini ve kararlılığını değerlendirmenize yardımcı olur.

  5. (İsteğe bağlı) Uygulama ölçümlerinin doğru şekilde açığa çıkarıldığını doğrulamak için bunları manuel olarak alın.

    Aşağıdaki örnekte, bir ACK kümesinde sklearn-iris ile ilişkili belirli bir Pod'dan izleme ölçümlerinin nasıl toplanacağı ve verilerin Pod'a oturum açmadan veya bağlantı noktasını harici bir ağa açmadan yerel olarak nasıl görüntüleneceği gösterilmektedir.

    1. Adında sklearn-iris geçen Pod'un 8080 numaralı bağlantı noktasını, $POD_NAME değişkeniyle belirtilerek yerel ana bilgisayarın 8080 numaralı bağlantı noktasına iletmek için aşağıdaki komutları çalıştırın. Bu bağlantı noktası iletme yoluyla, yerel 8080 numaralı bağlantı noktasına gönderilen istekler şeffaf bir şekilde Pod'un 8080 numaralı bağlantı noktasına iletilir.

      # Get the Pod name.
      POD_NAME=`kubectl get po|grep sklearn-iris |awk -F ' ' '{print $1}'`
      # Use port-forward to forward port 8080 of the Pod to the local host.
      kubectl port-forward pod/$POD_NAME 8080:8080

      Beklenen çıktı:

      Forwarding from 127.0.0.1:8080 -> 8080
      Forwarding from [::1]:8080 -> 8080

      Çıktı, hem IPv4 hem de IPv6 üzerinden yapılan yerel bağlantı girişimlerinin Pod'un 8080 numaralı bağlantı noktasına doğru şekilde iletildiğini gösterir.

    2. Pod'un 8080 numaralı bağlantı noktasına erişmek ve ölçümleri görüntülemek için bir tarayıcıya aşağıdaki URL'i girin.

      http://localhost:8080/metrics

      Beklenen çıktı:

      Expand to view the expected output

      # HELP python_gc_objects_collected_total Objects collected during gc
      # TYPE python_gc_objects_collected_total counter
      python_gc_objects_collected_total{generation="0"} 10298.0
      python_gc_objects_collected_total{generation="1"} 1826.0
      python_gc_objects_collected_total{generation="2"} 0.0
      # HELP python_gc_objects_uncollectable_total Uncollectable object found during GC
      # TYPE python_gc_objects_uncollectable_total counter
      python_gc_objects_uncollectable_total{generation="0"} 0.0
      python_gc_objects_uncollectable_total{generation="1"} 0.0
      python_gc_objects_uncollectable_total{generation="2"} 0.0
      # HELP python_gc_collections_total Number of times this generation was collected
      # TYPE python_gc_collections_total counter
      python_gc_collections_total{generation="0"} 660.0
      python_gc_collections_total{generation="1"} 60.0
      python_gc_collections_total{generation="2"} 5.0
      # HELP python_info Python platform information
      # TYPE python_info gauge
      python_info{implementation="CPython",major="3",minor="9",patchlevel="18",version="3.9.18"} 1.0
      # HELP process_virtual_memory_bytes Virtual memory size in bytes.
      # TYPE process_virtual_memory_bytes gauge
      process_virtual_memory_bytes 1.406291968e+09
      # HELP process_resident_memory_bytes Resident memory size in bytes.
      # TYPE process_resident_memory_bytes gauge
      process_resident_memory_bytes 2.73207296e+08
      # HELP process_start_time_seconds Start time of the process since unix epoch in seconds.
      # TYPE process_start_time_seconds gauge
      process_start_time_seconds 1.71533439115e+09
      # HELP process_cpu_seconds_total Total user and system CPU time spent in seconds.
      # TYPE process_cpu_seconds_total counter
      process_cpu_seconds_total 228.18
      # HELP process_open_fds Number of open file descriptors.
      # TYPE process_open_fds gauge
      process_open_fds 16.0
      # HELP process_max_fds Maximum number of open file descriptors.
      # TYPE process_max_fds gauge
      process_max_fds 1.048576e+06
      # HELP request_preprocess_seconds pre-process request latency
      # TYPE request_preprocess_seconds histogram
      request_preprocess_seconds_bucket{le="0.005",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.01",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.025",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.05",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.075",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.1",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.25",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.5",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="0.75",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="1.0",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="2.5",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="5.0",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="7.5",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="10.0",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_bucket{le="+Inf",model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_count{model_name="sklearn-iris"} 259709.0
      request_preprocess_seconds_sum{model_name="sklearn-iris"} 1.7146860011853278
      # HELP request_preprocess_seconds_created pre-process request latency
      # TYPE request_preprocess_seconds_created gauge
      request_preprocess_seconds_created{model_name="sklearn-iris"} 1.7153354578475933e+09
      # HELP request_postprocess_seconds post-process request latency
      # TYPE request_postprocess_seconds histogram
      request_postprocess_seconds_bucket{le="0.005",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.01",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.025",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.05",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.075",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.1",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.25",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.5",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="0.75",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="1.0",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="2.5",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="5.0",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="7.5",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="10.0",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_bucket{le="+Inf",model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_count{model_name="sklearn-iris"} 259709.0
      request_postprocess_seconds_sum{model_name="sklearn-iris"} 1.625360683305189
      # HELP request_postprocess_seconds_created post-process request latency
      # TYPE request_postprocess_seconds_created gauge
      request_postprocess_seconds_created{model_name="sklearn-iris"} 1.7153354578482144e+09
      # HELP request_predict_seconds predict request latency
      # TYPE request_predict_seconds histogram
      request_predict_seconds_bucket{le="0.005",model_name="sklearn-iris"} 259708.0
      request_predict_seconds_bucket{le="0.01",model_name="sklearn-iris"} 259708.0
      request_predict_seconds_bucket{le="0.025",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.05",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.075",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.1",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.25",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.5",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="0.75",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="1.0",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="2.5",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="5.0",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="7.5",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="10.0",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_bucket{le="+Inf",model_name="sklearn-iris"} 259709.0
      request_predict_seconds_count{model_name="sklearn-iris"} 259709.0
      request_predict_seconds_sum{model_name="sklearn-iris"} 47.95311741752084
      # HELP request_predict_seconds_created predict request latency
      # TYPE request_predict_seconds_created gauge
      request_predict_seconds_created{model_name="sklearn-iris"} 1.7153354578476949e+09
      # HELP request_explain_seconds explain request latency
      # TYPE request_explain_seconds histogram

      Çıktı, Pod'daki uygulama tarafından sağlanan çeşitli performans ve durum ölçümlerini gösterir. Bu durum, isteğin nihayetinde Pod'daki uygulama hizmetine iletildiğini gösterir.

2. Adım: KServe uygulama ölçümlerini sorgulayın

  1. ARMS konsolu üzerinde oturum açın.

  2. Sol gezinme bölmesinde Integration Management seçeneğine tıklayın ve ardından Query Dashboards seçeneğine tıklayın.

  3. Dashboards sayfasında, Grafana sayfasına gitmek için Kubernetes Pod panosuna tıklayın.

  4. Sol gezinme bölmesinde Explore seçeneğine tıklayın ve uygulama ölçüm değerlerini sorgulamak için request_predict_seconds_bucket sorgu ifadesini girin.

    Not

    Veri toplamada yaklaşık 5 dakikalık bir gecikme vardır.

    Sorgu çalıştırıldıktan sonra Grafik alanı, request_predict_seconds_bucket ölçümünün zaman içindeki eğilimini bir çizgi grafik olarak gösterir.

SSS ve çözümler

SSS

request_predict_seconds_bucket ölçümü için verilerin toplandığını nasıl doğrularım?

Çözümler

  1. ARMS konsolu üzerinde oturum açın.

  2. Connected Environments sayfasında Container Environment sekmesine tıklayın, hedef kapsayıcı ortamının adına tıklayın ve ardından Self-Monitoring sekmesine tıklayın.

  3. Sol gezinme bölmesinde Targets seçeneğine tıklayın. default/sklearn-iris-svcmonitor/0 (1/1 up) ifadesi görüntüleniyorsa ölçüm verisi toplama işlemi başarılı olmuştur.

Referanslar

KServe çerçevesi tarafından sağlanan varsayılan ölçümler hakkında daha fazla bilgi için topluluk belgelerine bakın: KServe Prometheus Metrics.