Este tópico descreve os modelos de workflow e os operadores compatíveis com o Intelligent Media Management (IMM).
Visão geral
Ao criar um projeto ou dataset no IMM, especifique um modelo de workflow para eles. Esse modelo define qual workflow será executado. Durante a indexação de metadados de arquivos armazenados em serviços como Object Storage Service (OSS) e Photo and Drive Service, o IMM utiliza operadores correspondentes ao modelo de workflow especificado para coletar metadados e indexá-los no mecanismo de armazenamento de metadados.
Observações de uso
Ao vincular um bucket do OSS ou indexar metadados chamando a operação IndexFileMeta ou BatchIndexFileMeta, os operadores utilizados dependem dos modelos de workflow definidos para o dataset e o projeto.
Na criação de um índice de metadados em um dataset, o modelo de workflow definido para o dataset tem precedência sobre o modelo do projeto ao qual ele pertence. Se você especificar um modelo vazio para o dataset, o sistema utilizará o modelo de workflow do projeto.
Um modelo de workflow não limita as chamadas proativas à API para executar ações como transcodificação de vídeo, detecção facial, pontuação de imagens e agrupamento facial. No entanto, essas ações podem não surtir efeito se não houver metadados no índice.
A indexação gera taxas de operadores e de armazenamento de índices. Para mais informações, consulte Itens faturáveis.
Modelos de workflow
A tabela a seguir descreve os modelos de workflow fornecidos pelo IMM.
TemplateId | Description |
Official:DefaultEmptyId | Modelo de workflow vazio. Durante a criação de um índice de metadados, nenhum operador é utilizado e nenhum metadado é coletado. |
Official:OSSBasicMeta | Modelo destinado à coleta de metadados básicos do OSS. Ao criar um índice de metadados, o operador OSSMeta coleta metadados básicos dos objetos armazenados no OSS. |
Official:FaceManagement | Modelo voltado para reconhecimento facial. Este modelo detecta e indexa rostos em imagens durante a criação do índice de metadados. Combine-o com a operação de agrupamento facial para adicionar recursos de organização de fotos por rosto ao seu aplicativo de álbum, ou integre-o à busca facial para implementar controle de acesso e registro de ponto. |
Official:ImageManagement | Modelo para gerenciamento de imagens. Coleta informações da imagem, como dimensões, localização geográfica, rostos e tags. Utilize este modelo para desenvolver um aplicativo de álbum inteligente completo. |
Official:CognitionImageManagement |
Modelo para busca semântica de imagens. Além de analisar atributos como tamanho, localização, rostos e tags, este modelo habilita a compreensão visual da imagem. Combine-o com a operação SemanticQuery para implementar capacidades avançadas e precisas de busca baseadas na semântica da imagem. A busca semântica permite criar aplicativos de álbuns inteligentes impulsionados por modelos de linguagem de grande porte. Importante
Atualmente, este modelo está disponível apenas na região China (Pequim), em fase beta gratuita e mediante convite. Para utilizá-lo, entre em contato com seu gerente de conta ou envie um ticket. |
Official:DocumentManagement | Modelo para busca de texto completo. Extrai e indexa o texto contido em documentos. Use este modelo junto com a operação de busca para implementar funcionalidades de pesquisa de texto completo. |
Official:MediaMeta | Modelo para gerenciamento de mídia. Extrai informações multimídia de arquivos como imagens e vídeos, incluindo tamanho do arquivo, data de criação, localização, duração e formato de codificação. Recomendado para cenários de negócios que envolvem agrupamento, gestão e estatísticas de arquivos de mídia. |
|
Official:CognitionDocumentManagement |
Modelo para busca semântica de texto. Analisa o texto dos documentos para fornecer compreensão de conteúdo baseada em modelos de linguagem de grande porte. Use este modelo em conjunto com a operação SemanticQuery para implementar recuperação semântica de documentos. Importante
Atualmente, este modelo está disponível apenas na região China (Pequim), em fase beta gratuita e mediante convite. Para utilizá-lo, entre em contato com seu gerente de conta ou envie um ticket. |
Operadores
A tabela a seguir detalha os operadores compatíveis com o IMM.
O uso de operadores gera custos. Para mais detalhes, consulte Operadores e itens faturáveis.
|
Operator |
Description |
|
OSSMeta |
Coleta metadados do OSS, como nomes, tipos, tamanhos e hashes de objetos, além de horário de modificação, ETags e tags |
|
MIME |
Coleta dados MIME. |
|
FaceDetection |
Coleta dados faciais. |
|
LabelClassification (para imagens) |
Coleta informações de rótulos de imagens. |
|
LabelClassification (para vídeos) |
Coleta informações de rótulos de vídeos. |
|
ImageScoring |
Gera pontuações para imagens. |
|
ExtractImageEmbeddings |
Coleta características vetoriais de imagens. |
|
ReGEO |
Coleta informações de geolocalização. |
|
MediaMeta |
Coleta informações de vídeo. |
|
EXIF |
Coleta dados EXIF. |
|
ExtractDocumentText |
Extrai informações de documentos. |
Modelos de workflow e operadores compatíveis
A tabela a seguir indica quais operadores são executados para cada TemplateId. Supported significa que o operador é executado durante a criação do índice de metadados, enquanto Not supported indica que ele não é executado.
TemplateId | Operator | |||||||||
OSSMeta | MIME
| FaceDetection
| LabelClassification
| ImageScoring
| ExtractImageEmbeddings
| ReGEO
| MediaMeta
| EXIF
| ExtractDocumentText
| |
Official:DefaultEmptyId | X | X | X | X | X | X | X | X | X | X |
Official:OSSBasicMeta | ✓ | X | X | X | X | X | X | X | X | X |
Official:FaceManagement | ✓ | X | ✓ (para arquivos de vídeo e imagem) | X | X | X | X | X | X | X |
Official:ImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X | ✓ | X |
Official:CognitionImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X |
Official:DocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | ✓ |
Official:MediaMeta | ✓ | ✓ | X | X | X | X | ✓ | ✓ | ✓ | X |
Official:CognitionDocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | X |
Exemplos de uso de modelos de workflow
O exemplo a seguir demonstra como utilizar o modelo de workflow Official:ImageManagement para criar um índice de metadados de uma imagem.
-
Chame a operação CreateDataset para criar um dataset chamado
test-datasetno projeto test-project, utilizando o modeloOfficial:ImageManagement. Para mais informações, consulte Criar um dataset.-
Exemplo de solicitação
{ "ProjectName": "test-project", "DatasetName": "test-dataset", "Description": "Dataset for the image management template", "TemplateId": "Official:ImageManagement" } -
Exemplo de resposta
{ "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****", "Dataset": { "FileCount": 0, "BindCount": 0, "ProjectName": "test-project", "CreateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxTotalFileSize": 90000000000000000, "DatasetMaxRelationCount": 100000000000, "DatasetMaxFileCount": 100000000, "DatasetName": "test-dataset", "DatasetMaxBindCount": 10, "UpdateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxEntityCount": 10000000000, "TotalFileSize": 0, "TemplateId": "Official:ImageManagement" } }
-
-
Chame a operação IndexFileMeta para criar um índice de metadados do objeto oss://test-bucket/test-object.jpg armazenado no OSS. Para mais informações, consulte Criar um índice de metadados.
-
Exemplo de solicitação
{ "ProjectName": "test-project", "DatasetName": "test-dataset", "File": { "URI": "oss://test-bucket/test-object.jpg", "CustomLabels": { "category": "People" } }, "Notification": { "MNS": { "TopicName": "test-topic" } } } -
Exemplo de resposta
{ "RequestId": "5AA694AD-3D10-0B6A-86B4-****", "EventId": "17C-1Kofq1mlJxRYF7vNGF****" }
-
-
Chame a operação GetFileMeta para consultar os metadados do objeto oss://test-bucket/test-object.jpg armazenado no OSS. Para mais informações, consulte Consultar metadados de arquivo.
-
Exemplo de solicitação
{ "ProjectName": "test-project", "URI": "oss://test-bucket/test-object.jpg", "DatasetName": "test-dataset" } -
Exemplo de resposta
{ "RequestId": "F79E92D5-FA41-0AD6-8948-****", "Files": [ { "ProduceTime": "2020-08-19T17:11:11+08:00", "ObjectACL": "default", "ContentType": "image/jpeg", "ProjectName": "test-project", "Size": 22868, "URI": "oss://test-bucket/test-object.jpg", "Addresses": [ { "Language": "en", "Township": "Tanggou Town", "AddressLine": "Chenlong Village, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province", "Country": "China", "City": "Suqian City", "District": "Shuyang County", "Province": "Jiangsu Province" } ], "ObjectType": "file", "CustomLabels": { "category": "People" }, "OwnerId": "****", "FileModifiedTime": "2021-05-13T10:22:44+08:00", "ImageWidth": 270, "OSSStorageClass": "Standard", "MediaType": "image", "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****", "CreateTime": "2022-07-08T14:34:01.400716231+08:00", "Filename": "1.jpg", "Labels": [ { "CentricScore": 0.859000027179718, "Language": "en", "LabelConfidence": 1, "LabelName": "Woman", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.7770000100135803, "Language": "en", "LabelConfidence": 1, "LabelName": "Clothing", "LabelLevel": 2, "ParentLabelName": "Apparel" }, { "CentricScore": 0.8809999823570251, "Language": "en", "LabelConfidence": 1, "LabelName": "Long Hair", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8899999856948853, "Language": "en", "LabelConfidence": 1, "LabelName": "Black Hair", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8330000042915344, "Language": "en", "LabelConfidence": 1, "LabelName": "Portrait Photography", "LabelLevel": 2, "ParentLabelName": "Artwork" }, { "CentricScore": 0.8299999833106995, "Language": "en", "LabelConfidence": 0.9879999756813049, "LabelName": "Beauty", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8399999737739563, "Language": "en", "LabelConfidence": 0.9589999914169312, "LabelName": "Person Close-up", "LabelLevel": 2, "ParentLabelName": "Other Scene" }, { "CentricScore": 0.8429999947547913, "Language": "en", "LabelConfidence": 0.949999988079071, "LabelName": "Portrait", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.8519999980926514, "Language": "en", "LabelConfidence": 0.925000011920929, "LabelName": "Person", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.8859999775886536, "Language": "en", "LabelConfidence": 0.9129999876022339, "LabelName": "Girl", "LabelLevel": 2, "ParentLabelName": "Face" }, ... ], "Orientation": 1, "Figures": [ { "Beard": "none", "MaskConfidence": 0.6959999799728394, "Gender": "female", "Boundary": { "Left": 70, "Top": 75, "Height": 134, "Width": 101 }, "BeardConfidence": 1, "FigureId": "b51a7c91-1ce7-44d8-ae53-****", "Mouth": "close", "Emotion": "none", "Age": 25, "MouthConfidence": 0.996999979019165, "FigureType": "face", "GenderConfidence": 1, "HeadPose": { "Pitch": 21.562999725341797, "Roll": 12.322999954223633, "Yaw": 11.529999732971191 }, "Mask": "none", "EmotionConfidence": 0.9819999933242798, "HatConfidence": 1, "GlassesConfidence": 0.9990000128746033, "Sharpness": 1, "FigureClusterId": "figure-cluster-id-unavailable", "FaceQuality": 0.9990000128746033, "Attractive": 0.9819999933242798, "AgeSD": 5, "Glasses": "none", "FigureConfidence": 0.9980000257492065, "Hat": "none" } ], "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}", "ContentMd5": "HZwoCnxPZ/fvhz4o****==", "ImageHeight": 270, "ImageScore": { "OverallQualityScore": 0.6140000224113464 }, "ETag": "\"1D9C280A7C4F67F7EF873E28****\"", "DatasetName": "test-dataset", "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"", "CustomId": "abc", "UpdateTime": "2022-07-08T14:34:01.400716231+08:00", "OSSCRC64": "56344477456500****", "OSSTaggingCount": 0, "LatLong": "34.000000,119.000000", "OSSObjectType": "Normal" } ] }
-
FAQ
-
Qual modelo de workflow devo selecionar ao criar um projeto para processar dados com o IMM?
Os modelos de workflow só entram em vigor quando você cria um índice de metadados. Para tarefas de processamento de dados, como detecção facial em imagens, detecção de rótulos, leitura de códigos QR ou obtenção de metadados de mídia, não é necessário usar um modelo de workflow na criação do projeto. Nesses casos, utilize o modelo vazio, Official:DefaultEmptyId.