Platform For AI:Segmentación y preanotación automática de imágenes con SAM

Este tema describe cómo desplegar el modelo Grounded-SAM mediante Model Gallery y utilizarlo para segmentar y anotar imágenes.

Contexto

El modelo Grounded SAM es una potente aplicación visual zero-shot que puede detectar, segmentar y generar cualquier imagen a partir de texto. Lo desarrolló un equipo profesional chino liderado por IDEA y se basa en el modelo SAM de Meta, junto con otros tres modelos zero-shot de gran capacidad.

El modelo Grounded SAM se compone de dos modelos principales: Grounding DINO y Segment Anything Model (SAM). SAM es un modelo de segmentación zero-shot. Genera máscaras para cualquier objeto dentro de una imagen o video, incluso para aquellos que no vio durante el entrenamiento. Por su parte, Grounding DINO es un detector zero-shot avanzado que localiza cualquier objeto en una imagen a partir de una descripción textual.

Ir a la página de detalles del modelo

1. Vaya a la página de Model Gallery.

   1. Inicie sesión en la PAI console.

   2. En la esquina superior izquierda de la barra de navegación superior, seleccione una región.

   3. En el panel de navegación izquierdo, haga clic en Workspaces y luego haga clic en el nombre del espacio de trabajo que desea abrir.

   4. En el panel de navegación izquierdo, elija Quick Start > Model Gallery.

2. En la página principal de Model Gallery, dentro del área Computer Vision, haga clic en Image Segmentation. Después, en la lista de modelos de la derecha, haga clic en la tarjeta del modelo Modelscope_Segment-Anything para abrir la página de detalles del modelo.

Desplegar el servicio en línea

Model Gallery está integrado con Elastic Algorithm Service (EAS). Puede utilizarlo para desplegar el modelo Grounded-SAM como un servicio en línea y generar una aplicación WebUI. Esta aplicación le permite probar fácilmente las potentes funciones de segmentación de imágenes del modelo Grounded-SAM. Para desplegar el servicio en línea desde Model Gallery, siga estos pasos:

1. En la página de detalles del modelo, haga clic en Deploy.

2. Confirme la información básica del servicio y de los recursos.

   Model Gallery configura previamente los recursos de cómputo y el nombre del servicio para cada despliegue de modelo según sus características. Este ejemplo utiliza las configuraciones predeterminadas. También puede modificar las configuraciones de despliegue según sus necesidades. Para obtener más información sobre cómo configurar los parámetros, consulte Deploy and debug models.

   El tipo de recurso (Resource Type) predeterminado corresponde a recursos públicos. El Instance Type es ecs.gn7i-c8g1.2xlarge (8 vCPU, 30 GiB, NVIDIA A10 × 1) y el número de instancias es 1. Una vez que confirme las configuraciones, haga clic en Deploy.

3. Haga clic en Deploy. En el cuadro de diálogo Billing reminder, haga clic en OK.

   La página redirige automáticamente a la página Service Details, donde puede consultar el estado del despliegue en la sección Basic Information. Debido al tamaño del modelo, el proceso de despliegue tarda aproximadamente 10 minutos. Cuando el campo Status cambie a Running, el servicio del modelo estará desplegado. También puede consultar la tarea de despliegue en la pestaña Inference Service de la página Elastic Algorithm Service (EAS). Para obtener más información, consulte Service deployment.

A continuación, puede iniciar la aplicación WebUI para probar las capacidades de inferencia del modelo Grounded SAM. Para obtener más información, consulte Probar el modelo Grounded SAM.

Probar el modelo Grounded SAM

1. En la página Service details del servicio desplegado, haga clic en View Web App en la esquina superior derecha para iniciar la aplicación WebUI.

2. En la página de la aplicación WebUI, pruebe las capacidades de inferencia del modelo.

   El modelo Grounded SAM ofrece varios modos de tarea. En el área Image, ubicada en el lado izquierdo de la página, cargue la imagen que desea segmentar. En la parte inferior de la página, seleccione un task_type e introduzca el Text Prompt correspondiente. Luego, haga clic en Run para iniciar la tarea de segmentación de imágenes.

   Este ejemplo describe a continuación dos modos de tarea (task_type), los cuales le permiten probar las potentes funciones de segmentación de imágenes del modelo Grounded-SAM.

   • Modo automático

     Establezca task_type en automatic. No necesita proporcionar ninguna otra información. Después de cargar una imagen, haga clic en Run para ejecutar la segmentación de imágenes automáticamente. Este modo ejecuta una detección y segmentación no interactivas.

   • Modo de trazo libre

     Establezca task_type en scribble. Utilice el ratón para hacer clic y marcar las partes de la imagen que desea segmentar. Al igual que en el modo automático, no necesita introducir un Text Prompt. Después, haga clic en Run para ejecutar la segmentación de imágenes.