このトピックでは、Intelligent Media Management (IMM) のワークフローテンプレートおよびサポートされているオペレーターについて説明します。
概要
IMM でプロジェクトまたはデータセットを作成する際、そのプロジェクトまたはデータセットにワークフローテンプレートを指定できます。ワークフローテンプレートは、実行されるワークフローを定義します。Object Storage Service (OSS) や Photo and Drive Service などのサービスに保存されているファイルのメタデータをインデックス化する際、IMM は指定されたワークフローテンプレートに対応するオペレーターを使用してメタデータを収集し、メタデータストレージエンジンにインデックス化します。
注意事項
OSS バケットをバインドする場合や、IndexFileMeta 操作または BatchIndexFileMeta 操作を呼び出してメタデータをインデックス化する場合、使用されるオペレーターは、データセットおよびプロジェクトに指定されたワークフローテンプレートによって決定されます。
データセット内でメタデータインデックスを作成する際、データセットに指定されたワークフローテンプレートは、そのデータセットが属するプロジェクトに指定されたワークフローテンプレートよりも優先されます。データセットに空のワークフローテンプレートが指定されている場合は、プロジェクトのワークフローテンプレートが使用されます。
ワークフローテンプレートは、動画トランスコーディング、顔検出、画像スコアリング、顔クラスタリングなどの操作を目的とした API オペレーションの呼び出しに対して制限を課しません。ただし、インデックス内にメタデータが存在しない場合、これらの操作は効果を発揮しない可能性があります。
インデックス作成には、オペレーター料金およびインデックスストレージ料金が発生します。詳細については、「課金項目」をご参照ください。
ワークフローテンプレート
以下の表は、IMM が提供するワークフローテンプレートを示しています。
TemplateId | 説明 |
Official:DefaultEmptyId | 空のワークフローテンプレートです。 メタデータインデックスを作成する際、オペレーターは使用されず、メタデータも収集されません。 |
Official:OSSBasicMeta | OSS から基本メタデータを収集するためのワークフローテンプレートです。 メタデータインデックスを作成する際、OSSMeta オペレーターを使用して OSS に保存されているオブジェクトの基本メタデータを収集します。 |
Official:FaceManagement | 顔認識用のワークフローテンプレートです。 メタデータインデックスを作成する際、このテンプレートは画像内の顔を検出し、顔情報をインデックス化します。このテンプレートを顔クラスタリング操作と組み合わせることで、アルバムアプリケーションに顔ベースの写真グループ化機能を追加できます。また、顔検索操作と組み合わせて、アクセスの制御や勤怠管理を実装することも可能です。 |
Official:ImageManagement | 画像管理用のワークフローテンプレートです。 このテンプレートは、サイズ、位置情報、顔、ラベルなどの画像情報を収集します。このテンプレートを使用して、高機能なインテリジェントアルバムアプリケーションを構築できます。 |
Official:CognitionImageManagement |
セマンティック画像検索用のワークフローテンプレートです。 このテンプレートは、サイズ、位置情報、顔、ラベルなどの画像情報の分析に加えて、画像理解機能を有効にします。このテンプレートを SemanticQuery 操作と組み合わせることで、画像のセマンティクスに基づいた高度かつ高精度な画像検索機能を実装できます。セマンティック画像検索により、大規模言語モデルを活用したインテリジェントアルバムアプリケーションを構築できます。 重要
このテンプレートは現在、中国 (北京) リージョンでのみ利用可能であり、無償で招待制のベータ版として提供されています。このテンプレートをご利用になるには、アカウントマネージャーにご連絡いただくか、チケットを送信してください。 |
Official:DocumentManagement | 全文検索用のワークフローテンプレートです。 このテンプレートはドキュメントからテキストを抽出し、インデックス化します。このテンプレートを検索操作と組み合わせることで、全文検索機能を実装できます。 |
Official:MediaMeta | メディア管理用のワークフローテンプレートです。 このテンプレートは、画像や動画などのファイルからマルチメディア情報を抽出します。マルチメディア情報には、ファイルサイズ、作成時刻、位置情報、持続時間、エンコード形式などが含まれます。このテンプレートは、メディアファイルのグループ化、管理、統計などのビジネスシナリオでご利用いただけます。 |
|
Official:CognitionDocumentManagement |
セマンティックテキスト検索用のワークフローテンプレートです。 このテンプレートは、ドキュメント内のテキストを分析し、大規模言語モデルに基づくコンテンツ理解を提供します。このテンプレートを SemanticQuery 操作と組み合わせることで、セマンティックドキュメント取得を実装できます。 重要
このテンプレートは現在、中国 (北京) リージョンでのみ利用可能であり、無償で招待制のベータ版として提供されています。このテンプレートをご利用になるには、アカウントマネージャーにご連絡いただくか、チケットを送信してください。 |
オペレーター
以下の表は、IMM でサポートされているオペレーターを示しています。
オペレーターの使用には料金が発生します。詳細については、「オペレーターと課金項目」をご参照ください。
オペレーター | 説明 |
OSSMeta | OSS からオブジェクト名、オブジェクトタイプ、オブジェクトサイズ、オブジェクトハッシュ、更新時刻、ETag、タグなどのメタデータを収集します。 |
MIME | MIME データを収集します。 |
FaceDetection | 顔データを収集します。 |
LabelClassification (for images) | 画像ラベル情報を収集します。 |
LabelClassification (for videos) | 動画ラベル情報を収集します。 |
ImageScoring | 画像スコアを生成します。 |
ExtractImageEmbeddings | 画像特徴量を収集します。 |
ReGEO | ジオロケーション情報を収集します。 |
MediaMeta | 動画情報を収集します。 |
EXIF | EXIF データを収集します。 |
ExtractDocumentText | ドキュメント情報を抽出します。 |
ワークフローテンプレートとサポートされるオペレーター
以下の表は、各 TemplateId に対してどのオペレーターが実行されるかを示しています。サポート は、メタデータインデックス作成時にオペレーターが実行されることを意味し、非サポート は実行されないことを意味します。
TemplateId | Operator | |||||||||
OSSMeta | MIME
| FaceDetection
| LabelClassification
| ImageScoring
| ExtractImageEmbeddings
| ReGEO
| MediaMeta
| EXIF
| ExtractDocumentText
| |
Official:DefaultEmptyId | X | X | X | X | X | X | X | X | X | X |
Official:OSSBasicMeta | ✓ | X | X | X | X | X | X | X | X | X |
Official:FaceManagement | ✓ | X | ✓ (ビデオファイルおよび画像ファイル用) | X | X | X | X | X | X | X |
Official:ImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X | ✓ | X |
Official:CognitionImageManagement | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | X | ✓ | X |
Official:DocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | ✓ |
Official:MediaMeta | ✓ | ✓ | X | X | X | X | ✓ | ✓ | ✓ | X |
Official:CognitionDocumentManagement | ✓ | ✓ | X | X | X | X | X | X | X | X |
ワークフローテンプレートの使用例
以下の例では、Official:ImageManagement ワークフローテンプレートを使用して画像のメタデータインデックスを作成する方法を示します。
-
CreateDataset 操作を呼び出して、test-project プロジェクト内に
Official:ImageManagementテンプレートを使用したtest-datasetという名前のデータセットを作成します。詳細については、「データセットの作成」をご参照ください。-
リクエスト例
{ "ProjectName": "test-project", "DatasetName": "test-dataset", "Description": "Dataset for the image management template", "TemplateId": "Official:ImageManagement" } -
応答例
{ "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****", "Dataset": { "FileCount": 0, "BindCount": 0, "ProjectName": "test-project", "CreateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxTotalFileSize": 90000000000000000, "DatasetMaxRelationCount": 100000000000, "DatasetMaxFileCount": 100000000, "DatasetName": "test-dataset", "DatasetMaxBindCount": 10, "UpdateTime": "2022-07-08T10:43:32.429344821+08:00", "DatasetMaxEntityCount": 10000000000, "TotalFileSize": 0, "TemplateId": "Official:ImageManagement" } }
-
-
IndexFileMeta 操作を呼び出して、OSS に保存されている oss://test-bucket/test-object.jpg オブジェクトのメタデータインデックスを作成します。詳細については、「メタデータインデックスの作成」をご参照ください。
-
リクエスト例
{ "ProjectName": "test-project", "DatasetName": "test-dataset", "File": { "URI": "oss://test-bucket/test-object.jpg", "CustomLabels": { "category": "People" } }, "Notification": { "MNS": { "TopicName": "test-topic" } } } 応答例
{ "RequestId": "5AA694AD-3D10-0B6A-86B4-****", "EventId": "17C-1Kofq1mlJxRYF7vNGF****" }
-
-
GetFileMeta 操作を呼び出して、OSS に保存されている oss://test-bucket/test-object.jpg オブジェクトのメタデータを照会します。詳細については、「ファイルメタデータの照会」をご参照ください。
-
リクエスト例
{ "ProjectName": "test-project", "URI": "oss://test-bucket/test-object.jpg", "DatasetName": "test-dataset" } -
応答例
{ "RequestId": "F79E92D5-FA41-0AD6-8948-****", "Files": [ { "ProduceTime": "2020-08-19T17:11:11+08:00", "ObjectACL": "default", "ContentType": "image/jpeg", "ProjectName": "test-project", "Size": 22868, "URI": "oss://test-bucket/test-object.jpg", "Addresses": [ { "Language": "en", "Township": "Tanggou Town", "AddressLine": "Chenlong Village, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province", "Country": "China", "City": "Suqian City", "District": "Shuyang County", "Province": "Jiangsu Province" } ], "ObjectType": "file", "CustomLabels": { "category": "People" }, "OwnerId": "****", "FileModifiedTime": "2021-05-13T10:22:44+08:00", "ImageWidth": 270, "OSSStorageClass": "Standard", "MediaType": "image", "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****", "CreateTime": "2022-07-08T14:34:01.400716231+08:00", "Filename": "1.jpg", "Labels": [ { "CentricScore": 0.859000027179718, "Language": "en", "LabelConfidence": 1, "LabelName": "Woman", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.7770000100135803, "Language": "en", "LabelConfidence": 1, "LabelName": "Clothing", "LabelLevel": 2, "ParentLabelName": "Apparel" }, { "CentricScore": 0.8809999823570251, "Language": "en", "LabelConfidence": 1, "LabelName": "Long Hair", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8899999856948853, "Language": "en", "LabelConfidence": 1, "LabelName": "Black Hair", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8330000042915344, "Language": "en", "LabelConfidence": 1, "LabelName": "Portrait Photography", "LabelLevel": 2, "ParentLabelName": "Artwork" }, { "CentricScore": 0.8299999833106995, "Language": "en", "LabelConfidence": 0.9879999756813049, "LabelName": "Beauty", "LabelLevel": 2, "ParentLabelName": "Appearance" }, { "CentricScore": 0.8399999737739563, "Language": "en", "LabelConfidence": 0.9589999914169312, "LabelName": "Person Close-up", "LabelLevel": 2, "ParentLabelName": "Other Scene" }, { "CentricScore": 0.8429999947547913, "Language": "en", "LabelConfidence": 0.949999988079071, "LabelName": "Portrait", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.8519999980926514, "Language": "en", "LabelConfidence": 0.925000011920929, "LabelName": "Person", "LabelLevel": 2, "ParentLabelName": "Face" }, { "CentricScore": 0.8859999775886536, "Language": "en", "LabelConfidence": 0.9129999876022339, "LabelName": "Girl", "LabelLevel": 2, "ParentLabelName": "Face" }, ... ], "Orientation": 1, "Figures": [ { "Beard": "none", "MaskConfidence": 0.6959999799728394, "Gender": "female", "Boundary": { "Left": 70, "Top": 75, "Height": 134, "Width": 101 }, "BeardConfidence": 1, "FigureId": "b51a7c91-1ce7-44d8-ae53-****", "Mouth": "close", "Emotion": "none", "Age": 25, "MouthConfidence": 0.996999979019165, "FigureType": "face", "GenderConfidence": 1, "HeadPose": { "Pitch": 21.562999725341797, "Roll": 12.322999954223633, "Yaw": 11.529999732971191 }, "Mask": "none", "EmotionConfidence": 0.9819999933242798, "HatConfidence": 1, "GlassesConfidence": 0.9990000128746033, "Sharpness": 1, "FigureClusterId": "figure-cluster-id-unavailable", "FaceQuality": 0.9990000128746033, "Attractive": 0.9819999933242798, "AgeSD": 5, "Glasses": "none", "FigureConfidence": 0.9980000257492065, "Hat": "none" } ], "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}", "ContentMd5": "HZwoCnxPZ/fvhz4o****==", "ImageHeight": 270, "ImageScore": { "OverallQualityScore": 0.6140000224113464 }, "ETag": "\"1D9C280A7C4F67F7EF873E28****\"", "DatasetName": "test-dataset", "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"", "CustomId": "abc", "UpdateTime": "2022-07-08T14:34:01.400716231+08:00", "OSSCRC64": "56344477456500****", "OSSTaggingCount": 0, "LatLong": "34.000000,119.000000", "OSSObjectType": "Normal" } ] }
-
よくある質問
-
IMM を使用してデータを処理するプロジェクトを作成する際、どのワークフローテンプレートを選択すればよいですか？
ワークフローテンプレートは、メタデータインデックスを作成する場合にのみ有効です。画像の顔検出、画像ラベル検出、画像 QR コード検出、メディアメタデータの取得などのデータ処理タスクを行う場合は、プロジェクト作成時にワークフローテンプレートを使用する必要はありません。空のテンプレートである Official:DefaultEmptyId を使用できます。