KServe, model hizmetlerinin performansını ve sağlık durumunu izlemenize yardımcı olmak için bir dizi varsayılan Prometheus ölçümü sağlar. Bu konu, KServe çerçevesi için Prometheus izlemesinin nasıl yapılandırılacağını göstermek amacıyla Qwen-7B-Chat-Int8 modeli ve V100 GPU'yu örnek olarak kullanır.
Önkoşullar
Arena istemcisi yüklüdür ve sürüm 0.9.15 veya üzeridir. Daha fazla bilgi için bkz. Arena istemcisini yapılandırma.
ack-kserve eklentisini yükleme işlemi tamamlanmıştır.
Managed Service for Prometheus eklentisi etkinleştirilmiştir. Daha fazla bilgi için bkz. Prometheus izlemeyi etkinleştirme.
1. Adım: Bir KServe uygulaması dağıtın
-
Bir scikit-learn KServe uygulaması dağıtmak için aşağıdaki komutu çalıştırın.
arena serve kserve \ --name=sklearn-iris \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0 \ --cpu=1 \ --memory=200Mi \ --enable-prometheus=true \ --metrics-port=8080 \ "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080"Beklenen çıktı:
service/sklearn-iris-metric-svc created # The service named sklearn-iris-metric-svc is created. inferenceservice.serving.kserve.io/sklearn-iris created # KServe InferenceService resource sklearn-iris is created. servicemonitor.monitoring.coreos.com/sklearn-iris-svcmonitor created # ServiceMonitor resource is created to integrate with the Prometheus monitoring system and collect the monitoring data exposed by the sklearn-iris-metric-svc service. INFO[0004] The Job sklearn-iris has been submitted successfully # Job has been submitted to the cluster. INFO[0004] You can run `arena serve get sklearn-iris --type kserve -n default` to check the job statusÇıktı, Arena'nın Prometheus izleme entegrasyonu ile birlikte bir scikit-learn modeli kullanan KServe uygulamasının dağıtımını başlattığını gösterir.
-
Çıkarım giriş isteğini hazırlamak için aşağıdaki JSON içeriğini
./iris-input.jsondosyasına yazmak üzere aşağıdaki komutu çalıştırın.cat <<EOF > "./iris-input.json" { "instances": [ [6.8, 2.8, 4.8, 1.4], [6.0, 3.4, 4.5, 1.6] ] } EOF -
NGINX Ingress ağ geçidinin IP adresini kümeden ve InferenceService için dışarıdan erişilebilir URL'in ana bilgisayar adı bölümünü almak için aşağıdaki komutları çalıştırın.
NGINX_INGRESS_IP=`kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'` SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -o jsonpath='{.status.url}' | cut -d "/" -f 3) -
Uygulamaya tekrarlayan istekler göndererek izleme verileri oluşturmak için Hey stres testi aracını kullanmak üzere aşağıdaki komutu çalıştırın.
NotHey stres testi aracı hakkında daha fazla bilgi için bkz. Hey.
hey -z 2m -c 20 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -D ./iris-input.json http://${NGINX_INGRESS_IP}:80/v1/models/sklearn-iris:predictBeklenen çıktı:
Çıktı, işleme hızı, veri aktarım hızı ve yanıt gecikme süresi gibi temel ölçümler dahil olmak üzere bu testteki sistem performansını özetler. Bu ölçümler, sistemin verimliliğini ve kararlılığını değerlendirmenize yardımcı olur.
-
(İsteğe bağlı) Uygulama ölçümlerinin doğru şekilde açığa çıkarıldığını doğrulamak için bunları manuel olarak alın.
Aşağıdaki örnekte, bir ACK kümesinde
sklearn-irisile ilişkili belirli bir Pod'dan izleme ölçümlerinin nasıl toplanacağı ve verilerin Pod'a oturum açmadan veya bağlantı noktasını harici bir ağa açmadan yerel olarak nasıl görüntüleneceği gösterilmektedir.-
Adında sklearn-iris geçen Pod'un 8080 numaralı bağlantı noktasını,
$POD_NAMEdeğişkeniyle belirtilerek yerel ana bilgisayarın 8080 numaralı bağlantı noktasına iletmek için aşağıdaki komutları çalıştırın. Bu bağlantı noktası iletme yoluyla, yerel 8080 numaralı bağlantı noktasına gönderilen istekler şeffaf bir şekilde Pod'un 8080 numaralı bağlantı noktasına iletilir.# Get the Pod name. POD_NAME=`kubectl get po|grep sklearn-iris |awk -F ' ' '{print $1}'` # Use port-forward to forward port 8080 of the Pod to the local host. kubectl port-forward pod/$POD_NAME 8080:8080Beklenen çıktı:
Forwarding from 127.0.0.1:8080 -> 8080 Forwarding from [::1]:8080 -> 8080Çıktı, hem IPv4 hem de IPv6 üzerinden yapılan yerel bağlantı girişimlerinin Pod'un 8080 numaralı bağlantı noktasına doğru şekilde iletildiğini gösterir.
-
Pod'un 8080 numaralı bağlantı noktasına erişmek ve ölçümleri görüntülemek için bir tarayıcıya aşağıdaki URL'i girin.
http://localhost:8080/metricsBeklenen çıktı:
Çıktı, Pod'daki uygulama tarafından sağlanan çeşitli performans ve durum ölçümlerini gösterir. Bu durum, isteğin nihayetinde Pod'daki uygulama hizmetine iletildiğini gösterir.
-
2. Adım: KServe uygulama ölçümlerini sorgulayın
ARMS konsolu üzerinde oturum açın.
Sol gezinme bölmesinde Integration Management seçeneğine tıklayın ve ardından Query Dashboards seçeneğine tıklayın.
Dashboards sayfasında, Grafana sayfasına gitmek için Kubernetes Pod panosuna tıklayın.
-
Sol gezinme bölmesinde Explore seçeneğine tıklayın ve uygulama ölçüm değerlerini sorgulamak için
request_predict_seconds_bucketsorgu ifadesini girin.NotVeri toplamada yaklaşık 5 dakikalık bir gecikme vardır.
Sorgu çalıştırıldıktan sonra Grafik alanı,
request_predict_seconds_bucketölçümünün zaman içindeki eğilimini bir çizgi grafik olarak gösterir.
SSS ve çözümler
SSS
request_predict_seconds_bucket ölçümü için verilerin toplandığını nasıl doğrularım?
Çözümler
ARMS konsolu üzerinde oturum açın.
Connected Environments sayfasında Container Environment sekmesine tıklayın, hedef kapsayıcı ortamının adına tıklayın ve ardından Self-Monitoring sekmesine tıklayın.
Sol gezinme bölmesinde Targets seçeneğine tıklayın. default/sklearn-iris-svcmonitor/0 (1/1 up) ifadesi görüntüleniyorsa ölçüm verisi toplama işlemi başarılı olmuştur.
Referanslar
KServe çerçevesi tarafından sağlanan varsayılan ölçümler hakkında daha fazla bilgi için topluluk belgelerine bakın: KServe Prometheus Metrics.