KServe est une plateforme de service de modèles open source et cloud native qui simplifie le déploiement et l'exécution de modèles d'apprentissage automatique sur Kubernetes. Elle prend en charge plusieurs frameworks, assure une mise à l'échelle élastique et utilise des API déclaratives définies dans de simples fichiers YAML pour faciliter la configuration et la gestion des services de modèles.
Framework
KServe gère les services de modèles via des CRD avec des protocoles de plan de données standardisés pour des frameworks tels que TensorFlow, XGBoost, scikit-learn, PyTorch et Hugging Face Transformer/LLM. Il abstrait les fonctionnalités AutoScaling, la mise en réseau, les contrôles d'intégrité et la configuration du serveur afin d'activer la mise à l'échelle automatique des GPU, la mise à l'échelle à zéro (Scale to Zero) et les déploiements Canary (Canary Rollouts).
Consultez KServe sur GitHub.
Modes de déploiement
KServe prend en charge trois modes de déploiement : Raw Deployment, Serverless et ModelMesh. La prise en charge des fonctionnalités varie selon le mode choisi.
|
Mode de déploiement |
Description |
Références |
|
Raw Deployment |
Le mode le plus simple, nécessitant uniquement cert-manager et des passerelles. Il prend en charge des fonctionnalités telles que AutoScaling, la surveillance Prometheus, les déploiements Canary (Canary Rollouts) avec des passerelles spécifiques et la mise à l'échelle automatique des GPU. |
|
|
Serverless |
Nécessite cert-manager, des passerelles et Knative. Prend en charge des fonctionnalités telles que la mise à l'échelle automatique, la mise à l'échelle à zéro (Scale to Zero), les déploiements Canary (Canary Rollouts) et la mise à l'échelle automatique des GPU. |
Déployer un service d'inférence de modèle en mode serverless |
|
ModelMesh |
Nécessite cert-manager, Knative et ModelMesh. Par exemple, il peut s'exécuter avec Alibaba Cloud Service Mesh (ASM) Service Mesh (ASM) . Prend en charge des fonctionnalités telles que AutoScaling, la mise à l'échelle à zéro (Scale to Zero), les déploiements Canary (Canary Rollouts) et la mise à l'échelle automatique des GPU. |
S/O |
Installation d'ack-kserve
Pour déployer et gérer ack-kserve dans un cluster ACK, consultez Installer le module complémentaire ack-kserve.