Workflow templates and operators in Intelligent Media Management (IMM) - Intelligent Media Management

Cette rubrique décrit les modèles de workflow et les opérateurs pris en charge par Intelligent Media Management (IMM).

Vue d'ensemble

Lorsque vous créez un projet ou un ensemble de données dans IMM, vous pouvez spécifier un modèle de workflow pour ce projet ou cet ensemble de données. Le modèle de workflow définit le workflow à exécuter. Lorsque vous indexez les métadonnées des fichiers stockés dans des services tels qu'Object Storage Service (OSS) et Photo and Drive Service, IMM utilise les opérateurs correspondant au modèle de workflow spécifié pour collecter les métadonnées et les indexer dans le moteur de stockage des métadonnées.

Notes d'utilisation

Lorsque vous liez un compartiment OSS ou que vous indexez des métadonnées en appelant l'opération IndexFileMeta ou BatchIndexFileMeta, les opérateurs utilisés sont déterminés par les modèles de workflow spécifiés pour l'ensemble de données et le projet.
Lorsque vous créez un index de métadonnées dans un ensemble de données, le modèle de workflow spécifié pour l'ensemble de données est prioritaire sur celui spécifié pour le projet auquel il appartient. Si un modèle de workflow vide est spécifié pour l'ensemble de données, le modèle de workflow du projet est utilisé.
Un modèle de workflow n'impose aucune limite à vos appels d'API proactifs pour effectuer des actions telles que le transcodage vidéo, la détection de visages, l'évaluation d'images et le regroupement de visages. Toutefois, ces actions peuvent ne pas prendre effet si aucune métadonnée n'existe dans l'index.
L'indexation engendre des frais d'opérateur et des frais de stockage d'index. Pour plus d'informations, consultez la page Éléments facturables.

Modèles de workflow

Le tableau suivant décrit les modèles de workflow fournis par IMM.

TemplateId	Description
Official:DefaultEmptyId	Un modèle de workflow vide. Lorsque vous créez un index de métadonnées, aucun opérateur n'est utilisé et aucune métadonnée n'est collectée.
Official:OSSBasicMeta	Le modèle de workflow utilisé pour collecter les métadonnées de base depuis OSS. Lorsque vous créez un index de métadonnées, l'opérateur OSSMeta est utilisé pour collecter les métadonnées de base des objets stockés dans OSS.
Official:FaceManagement	Le modèle de workflow dédié à la reconnaissance faciale. Lorsque vous créez un index de métadonnées, ce modèle détecte les visages dans les images et les indexe. Vous pouvez utiliser ce modèle conjointement avec l'opération de regroupement de visages pour ajouter une fonctionnalité de regroupement de photos basée sur les visages à votre application d'album, ou le combiner avec l'opération de recherche de visages pour mettre en œuvre un contrôle d'accès et un suivi des présences.
Official:ImageManagement	Le modèle de workflow destiné à la gestion d'images. Ce modèle collecte des informations sur les images, telles que les dimensions, l'emplacement, les visages et les étiquettes. Vous pouvez utiliser ce modèle pour créer une application d'album intelligente complète.
Official:CognitionImageManagement	Le modèle de workflow pour la recherche sémantique d'images Ce modèle permet la compréhension d'image, en plus de l'analyse des informations telles que les dimensions, l'emplacement, les visages et les étiquettes. Vous pouvez utiliser ce modèle conjointement avec l'opération SemanticQuery pour mettre en œuvre des capacités de recherche d'images plus avancées et précises basées sur la sémantique des images. La recherche sémantique d'images vous permet de créer des applications d'albums intelligentes alimentées par un grand modèle de langage. Important Ce modèle est actuellement disponible uniquement dans la région Chine (Pékin) et fait l'objet d'une version bêta gratuite sur invitation. Pour utiliser ce modèle, contactez votre gestionnaire de compte ou soumettez un ticket.
Official:DocumentManagement	Le modèle de workflow pour la recherche en texte intégral. Ce modèle extrait le texte des documents et l'indexe. Vous pouvez utiliser ce modèle conjointement avec l'opération de recherche pour mettre en œuvre des fonctionnalités de recherche en texte intégral.
Official:MediaMeta	Le modèle de workflow pour la gestion des médias. Ce modèle extrait des informations multimédias à partir de fichiers tels que des images et des vidéos. Ces informations incluent la taille du fichier, la date de création, l'emplacement, la durée, le format d'encodage, etc. Vous pouvez utiliser ce modèle dans des scénarios professionnels tels que le regroupement, la gestion et les statistiques de fichiers multimédias.
Official:CognitionDocumentManagement	Le modèle de workflow pour la recherche textuelle sémantique. Ce modèle analyse le texte des documents pour fournir une compréhension du contenu basée sur un grand modèle de langage. Vous pouvez utiliser ce modèle conjointement avec l'opération SemanticQuery pour mettre en œuvre une récupération sémantique de documents. Important Ce modèle est actuellement disponible uniquement dans la région Chine (Pékin) et fait l'objet d'une version bêta gratuite sur invitation. Pour utiliser ce modèle, contactez votre gestionnaire de compte ou soumettez un ticket.

Opérateurs

Le tableau suivant décrit les opérateurs pris en charge dans IMM.

Avertissement

Les opérateurs engendrent des frais. Pour plus d'informations, consultez la page Opérateurs et éléments facturables.

|
**Opérateur**
|
**Description**
| | --- | --- | |
OSSMeta
|
Collecte les métadonnées depuis OSS, telles que les noms d'objets, les types d'objets, les tailles d'objets, les hachages d'objets, l'heure de modification, les ETags et les étiquettes
| |
MIME
|
Collecte les données MIME.
| |
FaceDetection
|
Collecte les données relatives aux visages.
| |
LabelClassification (pour les images)
|
Collecte les informations d'étiquetage des images.
| |
LabelClassification (pour les vidéos)
|
Collecte les informations d'étiquetage des vidéos.
| |
ImageScoring
|
Génère des scores d'évaluation d'images.
| |
ExtractImageEmbeddings
|
Collecte les caractéristiques des images.
| |
ReGEO
|
Collecte les informations de géolocalisation.
| |
MediaMeta
|
Collecte les informations vidéo.
| |
EXIF
|
Collecte les données EXIF.
| |
ExtractDocumentText
|
Extrait les informations des documents.
|

Modèles de workflow et opérateurs pris en charge

Le tableau suivant indique quels opérateurs s'exécutent pour chaque TemplateId. Supported signifie que l'opérateur s'exécute lors de la création d'un index de métadonnées, tandis que Not supported signifie qu'il ne s'exécute pas.

TemplateId	Opérateur
TemplateId	OSSMeta	MIME	FaceDetection	LabelClassification	ImageScoring	ExtractImageEmbeddings	ReGEO	MediaMeta	EXIF	ExtractDocumentText
Official:DefaultEmptyId	X	X	X	X	X	X	X	X	X	X
Official:OSSBasicMeta	✓	X	X	X	X	X	X	X	X	X
Official:FaceManagement	✓	X	✓ (pour les fichiers vidéo et image)	X	X	X	X	X	X	X
Official:ImageManagement	✓	✓	✓	✓	✓	X	✓	X	✓	X
Official:CognitionImageManagement	✓	✓	✓	✓	✓	✓	✓	X	✓	X
Official:DocumentManagement	✓	✓	X	X	X	X	X	X	X	✓
Official:MediaMeta	✓	✓	X	X	X	X	✓	✓	✓	X
Official:CognitionDocumentManagement	✓	✓	X	X	X	X	X	X	X	X

Exemples d'utilisation de modèles de workflow

L'exemple suivant montre comment utiliser le modèle de workflow Official:ImageManagement pour créer un index de métadonnées pour une image.

Appelez l'opération CreateDataset pour créer un ensemble de données nommé test-dataset dans le projet test-project avec le modèle Official:ImageManagement. Pour plus d'informations, consultez la page Créer un ensemble de données.

Exemple de requête

{
 "ProjectName": "test-project",
 "DatasetName": "test-dataset",
 "Description": "Dataset for the image management template",
 "TemplateId": "Official:ImageManagement"
}

Exemple de réponse

{
    "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****",
    "Dataset": {
        "FileCount": 0,
        "BindCount": 0,
        "ProjectName": "test-project",
        "CreateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxTotalFileSize": 90000000000000000,
        "DatasetMaxRelationCount": 100000000000,
        "DatasetMaxFileCount": 100000000,
        "DatasetName": "test-dataset",
        "DatasetMaxBindCount": 10,
        "UpdateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxEntityCount": 10000000000,
        "TotalFileSize": 0,
        "TemplateId": "Official:ImageManagement"
    }
}

Appelez l'opération IndexFileMeta pour créer un index de métadonnées pour l'objet oss://test-bucket/test-object.jpg stocké dans OSS. Pour plus d'informations, consultez la page Créer un index de métadonnées.

Exemple de requête

{
  "ProjectName": "test-project",
  "DatasetName": "test-dataset",
  "File": {
    "URI": "oss://test-bucket/test-object.jpg",
    "CustomLabels": {
      "category": "People"
    }
  },
  "Notification": {
    "MNS": {
      "TopicName": "test-topic"
    }
  }
}

Exemple de réponse

{
    "RequestId": "5AA694AD-3D10-0B6A-86B4-****",
    "EventId": "17C-1Kofq1mlJxRYF7vNGF****"
}

Appelez l'opération GetFileMeta pour interroger les métadonnées de l'objet oss://test-bucket/test-object.jpg stocké dans OSS. Pour plus d'informations, consultez la page Interroger les métadonnées de fichier.

Exemple de requête

{
    "ProjectName": "test-project",
    "URI": "oss://test-bucket/test-object.jpg",
    "DatasetName": "test-dataset"
}

Exemple de réponse

{
    "RequestId": "F79E92D5-FA41-0AD6-8948-****",
    "Files": [
        {
            "ProduceTime": "2020-08-19T17:11:11+08:00",
            "ObjectACL": "default",
            "ContentType": "image/jpeg",
            "ProjectName": "test-project",
            "Size": 22868,
            "URI": "oss://test-bucket/test-object.jpg",
            "Addresses": [
                {
                    "Language": "en",
                    "Township": "Tanggou Town",
                    "AddressLine": "Chenlong Village, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province",
                    "Country": "China",
                    "City": "Suqian City",
                    "District": "Shuyang County",
                    "Province": "Jiangsu Province"
                }
            ],
            "ObjectType": "file",
            "CustomLabels": {
                "category": "People"
            },
            "OwnerId": "****",
            "FileModifiedTime": "2021-05-13T10:22:44+08:00",
            "ImageWidth": 270,
            "OSSStorageClass": "Standard",
            "MediaType": "image",
            "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****",
            "CreateTime": "2022-07-08T14:34:01.400716231+08:00",
            "Filename": "1.jpg",
            "Labels": [
                {
                    "CentricScore": 0.859000027179718,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Woman",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.7770000100135803,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Clothing",
                    "LabelLevel": 2,
                    "ParentLabelName": "Apparel"
                },
                {
                    "CentricScore": 0.8809999823570251,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Long Hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8899999856948853,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Black Hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8330000042915344,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Portrait Photography",
                    "LabelLevel": 2,
                    "ParentLabelName": "Artwork"
                },
                {
                    "CentricScore": 0.8299999833106995,
                    "Language": "en",
                    "LabelConfidence": 0.9879999756813049,
                    "LabelName": "Beauty",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8399999737739563,
                    "Language": "en",
                    "LabelConfidence": 0.9589999914169312,
                    "LabelName": "Person Close-up",
                    "LabelLevel": 2,
                    "ParentLabelName": "Other Scene"
                },
                {
                    "CentricScore": 0.8429999947547913,
                    "Language": "en",
                    "LabelConfidence": 0.949999988079071,
                    "LabelName": "Portrait",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8519999980926514,
                    "Language": "en",
                    "LabelConfidence": 0.925000011920929,
                    "LabelName": "Person",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8859999775886536,
                    "Language": "en",
                    "LabelConfidence": 0.9129999876022339,
                    "LabelName": "Girl",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                ...
            ],
            "Orientation": 1,
            "Figures": [
                {
                    "Beard": "none",
                    "MaskConfidence": 0.6959999799728394,
                    "Gender": "female",
                    "Boundary": {
                        "Left": 70,
                        "Top": 75,
                        "Height": 134,
                        "Width": 101
                    },
                    "BeardConfidence": 1,
                    "FigureId": "b51a7c91-1ce7-44d8-ae53-****",
                    "Mouth": "close",
                    "Emotion": "none",
                    "Age": 25,
                    "MouthConfidence": 0.996999979019165,
                    "FigureType": "face",
                    "GenderConfidence": 1,
                    "HeadPose": {
                        "Pitch": 21.562999725341797,
                        "Roll": 12.322999954223633,
                        "Yaw": 11.529999732971191
                    },
                    "Mask": "none",
                    "EmotionConfidence": 0.9819999933242798,
                    "HatConfidence": 1,
                    "GlassesConfidence": 0.9990000128746033,
                    "Sharpness": 1,
                    "FigureClusterId": "figure-cluster-id-unavailable",
                    "FaceQuality": 0.9990000128746033,
                    "Attractive": 0.9819999933242798,
                    "AgeSD": 5,
                    "Glasses": "none",
                    "FigureConfidence": 0.9980000257492065,
                    "Hat": "none"
                }
            ],
            "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}",
            "ContentMd5": "HZwoCnxPZ/fvhz4o****==",
            "ImageHeight": 270,
            "ImageScore": {
                "OverallQualityScore": 0.6140000224113464
            },
            "ETag": "\"1D9C280A7C4F67F7EF873E28****\"",
            "DatasetName": "test-dataset",
            "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"",
            "CustomId": "abc",
            "UpdateTime": "2022-07-08T14:34:01.400716231+08:00",
            "OSSCRC64": "56344477456500****",
            "OSSTaggingCount": 0,
            "LatLong": "34.000000,119.000000",
            "OSSObjectType": "Normal"
        }
    ]
}

FAQ

Quel modèle de workflow dois-je sélectionner lors de la création d'un projet pour traiter des données avec IMM ?

Les modèles de workflow ne prennent effet que lors de la création d'un index de métadonnées. Pour les tâches de traitement de données telles que la détection de visages dans les images, la détection d'étiquettes d'images, la détection de codes QR dans les images ou l'obtention de métadonnées multimédias, vous n'avez pas besoin d'utiliser un modèle de workflow lors de la création d'un projet. Vous pouvez utiliser le modèle vide, Official:DefaultEmptyId.