Este tópico descreve como implantar o modelo Grounded-SAM usando o Model Gallery para segmentar e anotar imagens.
Informações básicas
O modelo Grounded SAM é uma aplicação visual zero-shot avançada capaz de detectar, segmentar e gerar qualquer imagem a partir de texto. Desenvolvido por uma equipe profissional chinesa liderada pela IDEA, ele se baseia no modelo SAM da Meta e em três outros modelos zero-shot robustos.
O modelo Grounded SAM combina dois componentes principais: Grounding DINO e Segment Anything Model (SAM). O SAM é um modelo de segmentação zero-shot que gera máscaras para qualquer objeto em uma imagem ou vídeo, inclusive aqueles não vistos durante o treinamento. O Grounding DINO é um detector zero-shot avançado que localiza qualquer objeto em uma imagem com base em uma descrição textual.
Acesse a página de detalhes do modelo
-
Acesse a página do Model Gallery.
Faça login no PAI console.
No canto superior esquerdo da barra de navegação superior, selecione uma região.
No painel de navegação à esquerda, clique em Workspaces e clique no nome do workspace desejado.
No painel de navegação à esquerda, escolha Quick Start > Model Gallery.
Na home do Model Gallery, na área Computer Vision, clique em Image Segmentation. Em seguida, na lista de modelos à direita, clique no cartão do modelo Modelscope_Segment-Anything para abrir a página de detalhes.
Implante o service online
O Model Gallery integra-se ao Elastic Algorithm Service (EAS) para permitir a implantação do modelo Grounded-SAM como service online e a geração de uma aplicação WebUI. Essa aplicação facilita o teste dos recursos de segmentação de imagens do modelo Grounded-SAM. Para implantar o service online pelo Model Gallery, siga estas etapas:
Na página de detalhes do modelo, clique em Deploy.
-
Confirme as informações básicas do service e dos recursos.
O Model Gallery pré-configura os recursos computacionais e o nome do service para cada implantação com base nas características do modelo. Este exemplo usa as configurações padrão, mas você pode alterá-las conforme necessário. Para mais informações sobre a configuração de parâmetros, consulte Deploy and debug models.
O Resource Type padrão é public resources. O Instance Type é ecs.gn7i-c8g1.2xlarge (8 vCPU, 30 GiB, NVIDIA A10 × 1) e o número de instâncias é 1. Após confirmar as configurações, clique em Deploy.
-
Clique em Deploy. Na caixa de diálogo Billing reminder, clique em OK.
A página redireciona automaticamente para Service Details, onde você pode visualizar o status da implantação na seção Basic Information. Como o modelo é grande, a implantação leva cerca de 10 minutos. Quando o Status mudar para Running, o service do modelo estará implantado. Você também pode visualizar a tarefa de implantação na aba Inference Service da página Elastic Algorithm Service (EAS). Para mais informações, consulte Service deployment.
Em seguida, inicie a aplicação WebUI para testar as capacidades de inferência do modelo Grounded SAM. Para mais informações, consulte Experience the Grounded SAM model.
Experimente o modelo Grounded SAM
Na página Service details do service implantado, clique em View Web App no canto superior direito para iniciar a aplicação WebUI.
-
Na página da aplicação WebUI, teste as capacidades de inferência do modelo.
O modelo Grounded SAM oferece vários modos de tarefa. Na área Image, à esquerda da página, faça upload da imagem a ser segmentada. Na parte inferior, selecione um task_type e insira o Text Prompt correspondente. Depois, clique em Run para iniciar a segmentação.
Este exemplo descreve os dois modos de tarefa (task_type) a seguir, que permitem testar os recursos de segmentação de imagens do modelo Grounded-SAM.
-
Modo automático
Defina task_type como automatic. Nenhuma informação adicional é necessária. Após fazer upload da imagem, clique em Run para executar a segmentação automaticamente. Esse modo realiza detecção e segmentação não interativas.
-
Modo rabisco
Defina task_type como scribble. Use o mouse para clicar e marcar as partes da imagem a serem segmentadas. Assim como no modo automático, não é necessário inserir um Text Prompt. Clique em Run para executar a segmentação.
-