KServe adalah platform penyajian model open-source yang cloud-native untuk menyederhanakan penerapan dan menjalankan model pembelajaran mesin di Kubernetes. Platform ini mendukung berbagai framework, menyediakan skalabilitas elastis, serta menggunakan API deklaratif yang didefinisikan dalam file YAML sederhana guna mempermudah konfigurasi dan manajemen layanan model.
Framework
KServe mengelola layanan model melalui CRD dengan protokol bidang data terstandarisasi untuk framework seperti TensorFlow, XGBoost, scikit-learn, PyTorch, dan Hugging Face Transformer/LLM. Platform ini mengabstraksi AutoScaling, jaringan, pemeriksaan kesehatan, dan konfigurasi server untuk mengaktifkan auto scaling GPU, Scale to Zero, serta Canary Rollouts.
Lihat KServe di GitHub.
Mode penyebaran
KServe mendukung tiga mode penyebaran: Raw Deployment, Serverless, dan ModelMesh. Dukungan fitur bervariasi tergantung pada mode yang digunakan.
|
Mode penyebaran |
Deskripsi |
Referensi |
|
Raw Deployment |
Mode paling sederhana, hanya memerlukan cert-manager dan gateways. Mendukung fitur seperti AutoScaling, pemantauan Prometheus, Canary Rollouts dengan gateway tertentu, dan auto scaling GPU. |
|
|
Serverless |
Memerlukan cert-manager, gateways, dan Knative. Mendukung fitur seperti autoscaling, Scale to Zero, Canary Rollouts, dan autoscaling GPU. |
|
|
ModelMesh |
Memerlukan cert-manager, Knative, dan ModelMesh. Misalnya, dapat dijalankan bersama Alibaba Cloud Service Mesh (ASM). Service Mesh (ASM) , sebagai contoh. Mendukung fitur seperti AutoScaling, Scale to Zero, Canary Rollouts, dan auto scaling GPU. |
N/A |
Instalasi ack-kserve
Untuk menerapkan dan mengelola ack-kserve di kluster ACK, lihat Instal add-on ack-kserve.