KServe adalah platform layanan model cloud-native open source yang dirancang untuk menyederhanakan penyebaran dan pengoperasian model pembelajaran mesin pada Kubernetes. Platform ini mendukung berbagai kerangka kerja pembelajaran mesin serta menyediakan fitur penskalaan otomatis. Dengan menggunakan API deklaratif, Anda dapat menyebar model melalui file konfigurasi YAML sederhana, sehingga memudahkan pengaturan dan pengelolaan layanan model.
Kerangka Kerja
KServe menyediakan serangkaian CustomResourceDefinitions (CRD) untuk mengelola dan memberikan layanan model pembelajaran mesin. Platform ini menawarkan antarmuka tingkat lanjut yang mudah digunakan dan protokol bidang data standar untuk berbagai model seperti TensorFlow, XGBoost, scikit-learn, PyTorch, serta Huggingface Transformer/LLM. Selain itu, KServe mengotomatiskan operasi kompleks seperti AutoScaling, jaringan, pemeriksaan kesehatan, dan konfigurasi server, termasuk dukungan untuk penskalaan GPU otomatis, Scale to Zero, dan Canary Rollouts. Fitur-fitur ini membantu menyederhanakan proses penyebaran dan pemeliharaan model AI.
Untuk informasi lebih lanjut, lihat KServe.
Mode Penyebaran
KServe menyediakan tiga mode penyebaran: Raw Deployment, Serverless, dan ModelMesh. Fitur yang didukung oleh KServe bervariasi tergantung pada mode penyebaran yang dipilih.
Mode Penyebaran | Deskripsi | Referensi |
Raw Deployment | Raw Deployment adalah mode penyebaran paling sederhana dari KServe yang hanya bergantung pada cert-manager dan gateway. Mode penyebaran ini mendukung fitur seperti AutoScaling, Pemantauan Prometheus, Canary Rollouts dengan gateway tertentu, dan penskalaan GPU otomatis. | |
Serverless | Mode penyebaran Serverless bergantung pada cert-manager, gateway, dan Knative. Mode penyebaran ini mendukung fitur seperti autoscaling, Scale to Zero, Canary Rollouts, dan penskalaan GPU otomatis. | |
ModelMesh | Mode penyebaran ModelMesh bergantung pada cert-manager, Knative, dan ModelMesh. Sebagai contoh, ModelMesh digunakan untuk menyebar Service Mesh (ASM). Mode penyebaran ini mendukung fitur seperti AutoScaling, Scale to Zero, Canary Rollouts, dan penskalaan GPU otomatis. | N/A |
Instalasi ack-kserve
Untuk panduan lebih lanjut tentang cara menyebar dan mengelola ack-kserve dalam klaster Container Service for Kubernetes (ACK), lihat Instal ack-kserve.