Grounded-SAM是零样本图像分割和检测模型。通过PAI Model Gallery一键部署后,可用于自动图片分割和预标注任务。
背景信息
Grounded SAM模型是一个最强的零样本视觉应用,它可以通过文本输入,检测、分割和生成任何图像。它是由IDEA领衔的中国专业团队打造的,基于Meta的SAM模型和其他三个强大的零样本模型。
Grounded SAM模型主要由Grounding DINO和SAM(Segment Anything Model)两个模型组成。其中SAM是一个零样本分割模型,它可以为图像或视频中的任何物体生成MASK,包括训练过程中未出现过的物体和图像。Grounding DINO是一个先进的零样本检测器,它可以通过文本描述找到图像中的任意物体。
一、进入模型详情页面
进入Model Gallery页面。
登录PAI控制台。
在顶部左上角根据实际情况选择地域。
在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。
在左侧导航栏选择快速开始 > Model Gallery。
在Model Gallery首页,单击计算机视觉区域下的图像分割,然后在右侧的模型列表中,单击Modelscope_Segment-Anything模型卡片,进入模型详情页面。
二、部署在线服务
Model Gallery集成了EAS的功能,可将Grounded-SAM模型部署为在线服务,并生成WebUI应用。通过WebUI可体验图片分割功能。部署步骤如下:
在模型详情页面,单击部署。
确认服务基本信息和资源信息。
Model Gallery已预置了计算资源和服务名称,本案例使用默认配置。如需更改,可根据业务需求调整。如何配置参数,请参见部署模型和调试模型。
默认资源类型为公共资源,实例规格为ecs.gn7i-c8g1.2xlarge(8 vCPU、30 GiB、NVIDIA A10 × 1),实例数为1。确认配置后,单击部署。
单击部署,并在计费提醒对话框中,单击确定。
页面将自动跳转至服务详情页面,您可以在基本信息区域查看模型服务的部署状态。该模型较大,部署约需10分钟,当状态变为运行中时,表明模型服务已成功部署。同时,您也可以在模型在线服务(EAS)页面的推理服务页签下,查看部署任务。如何进入模型在线服务(EAS)页面,请参见服务部署。
后续,您可以启动WebUI应用,来体验Grounded SAM模型的推理效果,详情请参见三、体验Grounded SAM模型。
三、体验Grounded SAM模型
在已部署服务的服务详情页面,单击右上角查看WEB应用,启动WebUI应用。
在WebUI应用页面,进行推理验证。
Grounded SAM模型提供了多种任务模式。在页面左侧的Image区域,您可以上传待分割的图片;在页面下方选择合适的task_type及Text Prompt后,单击Run,即可进行图像分割。
以下介绍两种task_type(任务模式):
automatic模式
task_type选择automatic,上传图片后直接单击Run,即可自动完成图像分割,无需任何输入。
scribble模式
task_type选择scribble,用鼠标单击图片上要分割的区域进行标记,无需输入Text Prompt。单击Run即可进行图像分割。