Un maillage de services de modèles offre une infrastructure évolutive et haute performance pour gérer, déployer et planifier plusieurs services de modèles. Il simplifie le déploiement des modèles, le contrôle de version, le routage et l'équilibrage de charge des requêtes d'inférence.
Qu'est-ce qu'un maillage de services de modèles
Un maillage de services de modèles est un modèle architectural utilisé pour déployer et gérer les services de modèles d'apprentissage automatique dans un environnement distribué.
Le maillage déploie les modèles sous forme de services évolutifs et gère leur acheminement. Il abstrait les services de modèles en unités orchestrables et évolutives, ce qui simplifie leur déploiement, leur mise à l'échelle et le contrôle de version. Il fournit également des fonctionnalités essentielles telles que l'équilibrage de charge, la mise à l'échelle automatique et la récupération après incident afin de garantir une haute disponibilité et une grande fiabilité. Les modèles peuvent être mis à l'échelle automatiquement et leur charge équilibrée en fonction de la charge utile des requêtes d'inférence.
Le maillage de services de modèles propose aussi des fonctionnalités avancées comme la répartition du trafic, les tests A/B et les déploiements progressifs, offrant ainsi un meilleur contrôle sur le trafic des services de modèles. Vous pouvez basculer facilement entre différentes versions de modèles et revenir à une version antérieure si nécessaire. Le maillage prend en charge le routage dynamique, qui dirige les requêtes vers le service de modèle approprié en fonction des propriétés de la requête, telles que le type de modèle, le format des données ou d'autres métadonnées.
Les développeurs peuvent déployer, gérer et mettre à l'échelle les modèles d'apprentissage automatique via le maillage, qui assure haute disponibilité, élasticité et flexibilité pour divers scénarios métier.