KServe model hizmetlerini dağıtırken ve yönetirken son derece dinamik çıkarım yükünü yönetmeniz gerekir. KServe, Kubernetes HPA ve ölçeklendirme denetleyicilerini entegre ederek CPU, bellek, GPU kullanımı veya özel ölçümlere göre Pod çoğaltmalarını ayarlar. Bu konuda, V100 GPU'lar üzerindeki Qwen-7B-Chat-Int8 modeli örnek alınarak KServe hizmetleri için esnek ölçeklendirme yapılandırması gösterilmektedir.
Bu konudaki örnekler, V100 GPU üzerinde çalışan bir Qwen-7B-Chat-Int8 modelini kullanır.
Bir ölçeklendirme türü seçin
| Ölçeklendirme türü | Tetikleyici | Dağıtım modu | Kullanım senaryosu |
|---|---|---|---|
| CPU/bellek tabanlı HPA | CPU veya bellek kullanımı bir eşiği aştığında | Raw Deployment | Öngörülemeyen trafiğe sahip, CPU veya bellek sınırlı çıkarım iş yükleri |
| GPU kullanımı tabanlı HPA | Özel GPU ölçümü (DCGM) bir eşiği aştığında | Raw Deployment | LLM sunumu gibi GPU sınırlı çıkarım iş yükleri |
| Zamanlanmış ölçeklendirme (CronHPA) | Zaman çizelgesi (cron ifadesi) | Raw Deployment | İş saatleri zirveleri gibi öngörülebilir trafik desenleri |
HPA, 0'a ölçeklendirmeyi desteklemez. --min-replicas değeri 0'dan büyük olmalıdır.
Ön koşullar
Arena istemcisi sürüm 0.9.15 veya üzeri yüklenmiştir.
ack-kserve bileşeni yüklenmiştir.
CPU/bellek tabanlı esnek ölçeklendirmeyi yapılandırın
HPA, Raw Deployment modunda CPU veya bellek kullanımına göre pod çoğaltmalarını ayarlar. Bu örnekte, CPU tabanlı ölçeklendirme kullanan bir sklearn-iris modeli ele alınmaktadır.
Kubernetes belgelerindeki Yatay Pod Otomatik Ölçeklendirme bölümüne bakın.
-
Çıkarım hizmetini ölçeklendirme parametreleriyle gönderin.
Parametre Açıklama --scale-metricÖlçeklendirme ölçümü. Geçerli değerler: cpu,memory.--scale-targetYüzde cinsinden ölçeklendirme eşiği. --min-replicasMinimum çoğaltma sayısı. 0'dan büyük olmalıdır. --max-replicasMaksimum çoğaltma sayısı. --min-replicasdeğerinden yüksek olmalıdır.arena serve kserve \ --name=sklearn-iris \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/ai-sample/kserve-sklearn-server:v0.12.0 \ --cpu=1 \ --memory=200Mi \ --scale-metric=cpu \ --scale-target=10 \ --min-replicas=1 \ --max-replicas=10 \ "python -m sklearnserver --model_name=sklearn-iris --model_dir=/models --http_port=8080"Beklenen çıktı:
inferenceservice.serving.kserve.io/sklearn-iris created INFO[0002] The Job sklearn-iris has been submitted successfully INFO[0002] You can run `arena serve get sklearn-iris --type kserve -n default` to check the job status -
Aşağıdaki içeriğe sahip
iris-input.jsonadlı bir dosya oluşturun:cat <<EOF > "./iris-input.json" { "instances": [ [6.8, 2.8, 4.8, 1.4], [6.0, 3.4, 4.5, 1.6] ] } EOF -
Çıkarım hizmetini test edin.
# Get the load balancer IP of the nginx-ingress-lb service in the kube-system namespace. NGINX_INGRESS_IP=`kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'` # Get the hostname of the sklearn-iris InferenceService. SERVICE_HOSTNAME=$(kubectl get inferenceservice sklearn-iris -o jsonpath='{.status.url}' | cut -d "/" -f 3) # Send a prediction request using the iris-input.json file. curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" \ http://$NGINX_INGRESS_IP:80/v1/models/sklearn-iris:predict -d @./iris-input.jsonBeklenen çıktı:
{"predictions":[1,1]}% -
Ölçeklendirmeyi tetiklemek için bir stres testi çalıştırın.
NotBu adımda Hey stres testi aracı kullanılmaktadır.
hey -z 2m -c 20 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -D ./iris-input.json http://${NGINX_INGRESS_IP}:80/v1/models/sklearn-iris:predict -
Stres testi devam ederken, ayrı bir terminalde HPA ölçeklendirme durumunu kontrol edin.
kubectl describe hpa sklearn-iris-predictorEventsbölümü, HPA'nın yük altında 8 çoğaltmaya kadar ölçeklendiğini, ardından yük azaldıkça 7 ve 1'e geri döndüğünü göstermektedir.
GPU kullanımı tabanlı esnek ölçeklendirmeyi yapılandırın
Bu tür, özel GPU ölçümlerini ortaya çıkarmak için ack-alibaba-cloud-metrics-adapter bileşeniyle birlikte Raw Deployment modunda HPA kullanır. Bkz. Alibaba Cloud Prometheus ölçümlerine dayalı yatay pod otomatik ölçeklendirme.
Bu örnekte, GPU kullanımı tabanlı otomatik ölçeklendirme yapılandırılmaktadır.
Qwen-7B-Chat-Int8 model verilerini hazırlayın. Bkz. Bir vLLM çıkarım hizmeti dağıtma.
Özel GPU ölçümlerini yapılandırın. Bkz. GPU ölçümlerine dayalı esnek ölçeklendirmeyi uygulama.
-
GPU tabanlı ölçeklendirme ile vLLM çıkarım hizmetini dağıtın.
arena serve kserve \ --name=qwen \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \ --gpus=1 \ --cpu=4 \ --memory=12Gi \ --scale-metric=DCGM_CUSTOM_PROCESS_SM_UTIL \ --scale-target=50 \ --min-replicas=1 \ --max-replicas=2 \ --data="llm-model:/mnt/models/Qwen-7B-Chat-Int8" \ "python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"Beklenen çıktı:
inferenceservice.serving.kserve.io/qwen created INFO[0002] The Job qwen has been submitted successfully INFO[0002] You can run `arena serve get qwen --type kserve -n default` to check the job status -
Çıkarım hizmetini test edin.
# Get the IP address of the Nginx Ingress. NGINX_INGRESS_IP=$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}') # Get the hostname of the InferenceService. SERVICE_HOSTNAME=$(kubectl get inferenceservice qwen -o jsonpath='{.status.url}' | cut -d "/" -f 3) # Send a test request to the vLLM chat completions endpoint. curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" http://$NGINX_INGRESS_IP:80/v1/chat/completions -d '{"model": "qwen", "messages": [{"role": "user", "content": "Test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'Beklenen çıktı:
{"id":"cmpl-77088b96abe744c89284efde2e779174","object":"chat.completion","created":1715590010,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"OK, what do you need to test?<|im_end|>"},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":10,"total_tokens":20,"completion_tokens":10}}% -
GPU tabanlı ölçeklendirmeyi tetiklemek için bir stres testi çalıştırın.
NotBu adımda Hey stres testi aracı kullanılmaktadır.
hey -z 2m -c 5 -m POST -host $SERVICE_HOSTNAME -H "Content-Type: application/json" -d '{"model": "qwen", "messages": [{"role": "user", "content": "Test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}' http://$NGINX_INGRESS_IP:80/v1/chat/completions -
Stres testi devam ederken, ayrı bir terminalde HPA ölçeklendirme durumunu kontrol edin.
kubectl describe hpa qwen-hpaHizmet, stres testi sırasında 2 pod'a ölçeklendi ve testin bitmesinden yaklaşık 5 dakika sonra tekrar 1 pod'a döndü.
Zamanlanmış esnek ölçeklendirmeyi yapılandırın
Bu tür, öngörülebilir trafik desenleri için uygun olan cron zamanlamasına göre pod çoğaltmalarını ayarlamak üzere ack-kubernetes-cronhpa-controller bileşenini (CronHPA) kullanır.
CronHPA bileşenini yükleyin. Bkz. Konteynerlerin zamanlanmış yatay ölçeklendirmesi için CronHPA kullanma.
Qwen-7B-Chat-Int8 model verilerini hazırlayın. Bkz. Bir vLLM çıkarım hizmeti dağıtma.
-
vLLM çıkarım hizmetini dağıtın.
arena serve kserve \ --name=qwen-cronhpa \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \ --gpus=1 \ --cpu=4 \ --memory=12Gi \ --annotation="serving.kserve.io/autoscalerClass=external" \ --data="llm-model:/mnt/models/Qwen-7B-Chat-Int8" \ "python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"Beklenen çıktı:
inferenceservice.serving.kserve.io/qwen-cronhpa created INFO[0004] The Job qwen-cronhpa has been submitted successfully INFO[0004] You can run `arena serve get qwen-cronhpa --type kserve -n default` to check the job status -
Çıkarım hizmetini test edin.
# Get the IP address of the Nginx Ingress. NGINX_INGRESS_IP=`kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}'` # Get the hostname of the InferenceService. SERVICE_HOSTNAME=$(kubectl get inferenceservice qwen-cronhpa -o jsonpath='{.status.url}' | cut -d "/" -f 3) # Send a test request to the vLLM chat completions endpoint. curl -H "Host: ${SERVICE_HOSTNAME}" -H "Content-Type: application/json" \ http://$NGINX_INGRESS_IP:80/v1/chat/completions -X POST \ -d '{"model": "qwen", "messages": [{"role": "user", "content": "Hello"}], "max_tokens": 512, "temperature": 0.7, "top_p": 0.9, "seed": 10, "stop":["<|endoftext|>", "<|im_end|>", "<|im_start|>"]}'Beklenen çıktı:
{"id":"cmpl-b7579597aa284f118718b22b83b726f8","object":"chat.completion","created":1715589652,"model":"qwen","choices":[{"index":0,"message":{"role":"assistant","content":"OK, what do you need to test?<|im_end|>"},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":10,"total_tokens":20,"completion_tokens":10}}% -
CronHPA yapılandırmasını uygulayın. Bu örnekte, her gün saat 10:30'da 2 pod'a ve saat 12:00'de 1 pod'a geri ölçeklendirme yapılır.
CronHPA kaynağında iki zamanlanmış iş bulunur.
qwen-cronhpa-predictorDağıtımı, her gün saat 10:30'da 2 pod'a ve saat 12:00'de 1 pod'a ölçeklenir.
Sonraki adımlar
Bkz. Otomatik Ölçeklendirme.