Cette rubrique explique comment déployer le modèle Grounded-SAM à l'aide de Model Gallery et l'utiliser pour la segmentation et l'annotation d'images.
Informations générales
Le modèle Grounded SAM est une puissante application de vision par ordinateur en zero-shot capable de détecter, segmenter et générer n'importe quelle image à partir d'une entrée textuelle. Développé par une équipe chinoise dirigée par IDEA, il s'appuie sur le modèle SAM de Meta ainsi que sur trois autres modèles zero-shot performants.
Le modèle Grounded SAM se compose de deux modèles principaux : Grounding DINO et Segment Anything Model (SAM). SAM est un modèle de segmentation zero-shot qui génère des masques pour n'importe quel objet présent dans une image ou une vidéo, y compris les objets non vus lors de l'entraînement. Grounding DINO est un détecteur zero-shot avancé capable de localiser n'importe quel objet dans une image à partir d'une description textuelle.
Accéder à la page des détails du modèle
-
Accédez à la page Model Gallery.
Connectez-vous à la PAI console.
Dans le coin supérieur gauche de la barre de navigation supérieure, sélectionnez une région.
Dans le volet de navigation de gauche, cliquez sur Workspaces puis sur le nom de l'espace de travail à ouvrir.
Dans le volet de navigation de gauche, choisissez Quick Start > Model Gallery.
Sur la page d'accueil de Model Gallery, dans la zone Computer Vision, cliquez sur Image Segmentation. Dans la liste des modèles située à droite, cliquez sur la carte du modèle Modelscope_Segment-Anything pour ouvrir la page des détails du modèle.
Déployer le service en ligne
Model Gallery est intégré à Elastic Algorithm Service (EAS). Cette intégration permet de déployer le modèle Grounded-SAM en tant que service en ligne et de générer une application WebUI. L'application WebUI facilite le test des fonctionnalités de segmentation d'images du modèle Grounded-SAM. Pour déployer le service en ligne depuis Model Gallery, suivez les étapes ci-dessous :
Sur la page des détails du modèle, cliquez sur Deploy.
-
Confirmez les informations de base concernant le service et les ressources.
Model Gallery préconfigure les ressources de calcul et le nom du service pour chaque déploiement en fonction des caractéristiques du modèle. Cet exemple utilise les configurations par défaut, mais vous pouvez les modifier selon vos besoins. Pour plus d'informations sur la configuration des paramètres, consultez la rubrique Déploiement et débogage des modèles.
Le type de ressource par défaut est « public resources ». Le Instance Type est ecs.gn7i-c8g1,2xlarge (8 vCPU, 30 GiB, NVIDIA A10 × 1) et le nombre d'instances est de 1. Une fois les configurations confirmées, cliquez sur Deploy.
-
Cliquez sur Deploy. Dans la boîte de dialogue Billing reminder, cliquez sur OK.
La page redirige automatiquement vers la page Service Details, où vous pouvez consulter l'état du déploiement dans la section Basic Information. Étant donné la taille du modèle, le déploiement prend environ 10 minutes. Lorsque le Status passe à Running, le service de modèle est déployé. Vous pouvez également suivre la tâche de déploiement dans l'onglet Inference Service de la page Elastic Algorithm Service (EAS). Pour plus d'informations, consultez la rubrique Déploiement de services.
Lancez ensuite l'application WebUI pour tester les capacités d'inférence du modèle Grounded SAM. Pour plus d'informations, consultez la section Découvrir le modèle Grounded SAM.
Découvrir le modèle Grounded SAM
Sur la page Service details du service déployé, cliquez sur View Web App dans le coin supérieur droit pour démarrer l'application WebUI.
-
Sur la page de l'application WebUI, testez les capacités d'inférence du modèle.
Le modèle Grounded SAM propose plusieurs modes de tâche. Dans la zone Image située à gauche, téléchargez l'image à segmenter. En bas de la page, sélectionnez un task_type et saisissez une Text Prompt correspondante. Cliquez ensuite sur Run pour démarrer la tâche de segmentation d'image.
Cet exemple décrit les deux modes de tâche suivants (task_type), qui permettent de tester les fonctionnalités de segmentation d'images du modèle Grounded-SAM.
-
Mode automatique
Définissez task_type sur automatic. Aucune autre information n'est requise. Après avoir téléchargé une image, cliquez sur Run pour lancer automatiquement la segmentation. Cette opération effectue une détection et une segmentation non interactives.
-
Mode griffonnage
Définissez task_type sur scribble. Utilisez votre souris pour cliquer et marquer les parties de l'image à segmenter. Comme pour le mode automatique, il n'est pas nécessaire de saisir de Text Prompt. Cliquez ensuite sur Run pour lancer la segmentation d'image.
-