KServe, Kubernetes üzerinde makine öğrenimi modellerinin dağıtımını ve çalıştırılmasını basitleştiren açık kaynaklı, cloud-native bir model sunma platformudur. Birden çok çerçeveyi destekler, esnek ölçeklendirme sunar ve model hizmeti yapılandırması ile yönetimini kolaylaştırmak için basit YAML dosyalarında tanımlanan bildirimsel API'leri kullanır.
Çerçeve
KServe; TensorFlow, XGBoost, scikit-learn, PyTorch ve Hugging Face Transformer/LLM gibi çerçeveler için standartlaştırılmış veri düzlemi protokollerine sahip CRD'ler aracılığıyla model hizmetlerini yönetir. GPU otomatik ölçeklendirmeyi, Sıfıra Ölçeklendirmeyi (Scale to Zero) ve Canary Dağıtımlarını etkinleştirmek amacıyla Otomatik Ölçeklendirme, ağ, durum denetimi ve sunucu yapılandırmasını soyutlar.
Bkz. GitHub'daki KServe.
Dağıtım modları
KServe üç dağıtım modunu destekler: Raw Deployment, Serverless ve ModelMesh. Özellik desteği moda göre değişir.
|
Dağıtım modu |
Açıklama |
Referanslar |
|
Raw Deployment |
Sadece cert-manager ve ağ geçitlerini gerektiren en basit moddur. Otomatik Ölçeklendirme, Prometheus izleme, belirli ağ geçitleriyle Canary Dağıtımları ve GPU otomatik ölçeklendirme gibi özellikleri destekler. |
|
|
Serverless |
cert-manager, ağ geçitleri ve Knative gerektirir. Otomatik ölçeklendirme, Sıfıra Ölçeklendirme, Canary Dağıtımları ve GPU otomatik ölçeklendirme gibi özellikleri destekler. |
|
|
ModelMesh |
cert-manager, Knative ve ModelMesh gerektirir. Örneğin, Alibaba Cloud Service Mesh (ASM) ile birlikte çalışabilir. Service Mesh (ASM) Örneğin bu şekilde çalışır. Otomatik Ölçeklendirme, Sıfıra Ölçeklendirme, Canary Dağıtımları ve GPU otomatik ölçeklendirme gibi özellikleri destekler. |
Yok |
ack-kserve yüklemesi
ACK kümesinde ack-kserve'i dağıtmak ve yönetmek için bkz. ack-kserve eklentisini yükleyin.