Templat alur kerja dan operator di Intelligent Media Management (IMM) - Intelligent Media Management

Topik ini menjelaskan templat alur kerja dan operator yang didukung oleh Intelligent Media Management (IMM).

Ikhtisar

Saat membuat proyek atau set data di IMM, Anda dapat menentukan templat alur kerja untuk proyek atau set data tersebut. Templat alur kerja menetapkan alur kerja yang akan dieksekusi. Saat mengindeks metadata file yang disimpan di layanan seperti Object Storage Service (OSS) dan Photo and Drive Service, IMM menggunakan operator yang sesuai dengan templat alur kerja yang ditentukan untuk mengumpulkan dan mengindeks metadata ke dalam mesin penyimpanan metadata.

Catatan penggunaan

Saat melakukan bind bucket OSS atau mengindeks metadata dengan memanggil operasi IndexFileMeta atau BatchIndexFileMeta, operator yang digunakan ditentukan oleh templat alur kerja yang ditetapkan untuk set data dan proyek tersebut.
Saat membuat indeks metadata dalam suatu set data, templat alur kerja yang ditentukan untuk set data tersebut memiliki prioritas lebih tinggi daripada templat alur kerja yang ditentukan untuk proyek tempat set data tersebut berada. Jika tidak ada templat alur kerja yang ditentukan untuk set data, maka templat alur kerja proyek akan digunakan.
Templat alur kerja tidak membatasi panggilan operasi API proaktif Anda untuk melakukan aksi seperti video transcoding, deteksi wajah, penilaian gambar, dan face clustering. Namun, aksi-aksi tersebut mungkin tidak berlaku jika tidak ada metadata dalam indeks.
Pengindeksan dikenai biaya operator dan biaya penyimpanan indeks. Untuk informasi selengkapnya, lihat Item yang dapat ditagih.

Templat alur kerja

Tabel berikut menjelaskan templat alur kerja yang disediakan oleh IMM.

TemplateId	Description
Official:DefaultEmptyId	Templat alur kerja kosong. Saat Anda membuat indeks metadata, tidak ada operator yang digunakan dan tidak ada metadata yang dikumpulkan.
Official:OSSBasicMeta	Templat alur kerja yang digunakan untuk mengumpulkan metadata dasar dari OSS. Saat Anda membuat indeks metadata, operator OSSMeta digunakan untuk mengumpulkan metadata dasar objek yang disimpan di OSS.
Official:FaceManagement	Templat alur kerja untuk pengenalan wajah. Saat Anda membuat indeks metadata, templat alur kerja ini mendeteksi wajah dalam gambar dan mengindeks wajah tersebut. Anda dapat menggunakan templat alur kerja ini bersama operasi face clustering untuk menambahkan kemampuan pengelompokan foto berbasis wajah ke aplikasi album Anda, atau menggabungkannya dengan operasi face search untuk menerapkan kontrol akses dan pelacakan kehadiran.
Official:ImageManagement	Templat alur kerja untuk manajemen gambar. Templat alur kerja ini mengumpulkan informasi gambar seperti ukuran, lokasi, wajah, dan tag. Anda dapat menggunakan templat ini untuk membuat aplikasi album cerdas berfitur lengkap.
Official:CognitionImageManagement	Templat alur kerja untuk pencarian gambar semantik Templat alur kerja ini memungkinkan pemahaman gambar selain analisis informasi gambar seperti ukuran, lokasi, wajah, dan tag. Anda dapat menggunakan templat alur kerja ini bersama operasi SemanticQuery untuk menerapkan kemampuan pencarian gambar yang lebih canggih dan akurat berdasarkan semantik gambar. Pencarian gambar semantik memungkinkan Anda membuat aplikasi album cerdas yang didukung oleh model bahasa besar. Penting Templat ini saat ini hanya tersedia di China (Beijing) dan berada dalam tahap beta gratis berdasarkan undangan. Untuk menggunakan templat ini, hubungi account manager Anda atau submit a ticket.
Official:DocumentManagement	Templat alur kerja untuk pencarian teks lengkap. Templat alur kerja ini mengambil teks dari dokumen dan mengindeks teks tersebut. Anda dapat menggunakan templat alur kerja ini dengan operasi pencarian untuk menerapkan kemampuan pencarian teks lengkap.
Official:MediaMeta	Templat alur kerja untuk media management. Templat alur kerja ini mengekstrak informasi multimedia dari file seperti gambar dan video. Informasi multimedia mencakup ukuran file, waktu pembuatan, lokasi, durasi, format encoding, dan lainnya. Anda dapat menggunakan templat alur kerja ini dalam skenario bisnis seperti pengelompokan file media, manajemen, dan statistik.
Official:CognitionDocumentManagement	Templat alur kerja untuk pencarian teks semantik. Templat alur kerja ini menganalisis teks dalam dokumen untuk memberikan pemahaman konten berdasarkan model bahasa besar. Anda dapat menggunakan templat alur kerja ini bersama operasi SemanticQuery untuk menerapkan pengambilan dokumen semantik. Penting Templat ini saat ini hanya tersedia di China (Beijing) dan berada dalam tahap beta gratis berdasarkan undangan. Untuk menggunakan templat ini, hubungi account manager Anda atau submit a ticket.

Operator

Tabel berikut menjelaskan operator yang didukung di IMM.

Peringatan

Operator dikenai biaya. Untuk informasi selengkapnya, lihat Operator dan item yang dapat ditagih.

Operator	Description
OSSMeta	Mengumpulkan metadata dari OSS, seperti nama objek, tipe objek, ukuran objek, hash objek, waktu modifikasi, ETag, dan tag
MIME	Mengumpulkan data MIME.
FaceDetection	Mengumpulkan data wajah.
LabelClassification (for images)	Mengumpulkan informasi label gambar.
LabelClassification (for videos)	Mengumpulkan informasi label video.
ImageScoring	Menghasilkan skor gambar.
ExtractImageEmbeddings	Mengumpulkan fitur gambar.
ReGEO	Mengumpulkan informasi geolokasi.
MediaMeta	Mengumpulkan informasi video.
EXIF	Mengumpulkan data EXIF.
ExtractDocumentText	Mengekstrak informasi dokumen.

Templat alur kerja dan operator yang didukung

Tabel berikut menunjukkan operator mana yang dijalankan untuk setiap TemplateId. Supported berarti operator dijalankan saat Anda membuat indeks metadata, sedangkan Not supported berarti tidak dijalankan.

TemplateId	Operator
TemplateId	OSSMeta	MIME	FaceDetection	LabelClassification	ImageScoring	ExtractImageEmbeddings	ReGEO	MediaMeta	EXIF	ExtractDocumentText
Official:DefaultEmptyId	X	X	X	X	X	X	X	X	X	X
Official:OSSBasicMeta	✓	X	X	X	X	X	X	X	X	X
Official:FaceManagement	✓	X	✓ (for video files and image files)	X	X	X	X	X	X	X
Official:ImageManagement	✓	✓	✓	✓	✓	X	✓	X	✓	X
Official:CognitionImageManagement	✓	✓	✓	✓	✓	✓	✓	X	✓	X
Official:DocumentManagement	✓	✓	X	X	X	X	X	X	X	✓
Official:MediaMeta	✓	✓	X	X	X	X	✓	✓	✓	X
Official:CognitionDocumentManagement	✓	✓	X	X	X	X	X	X	X	X

Contoh penggunaan templat alur kerja

Contoh berikut menunjukkan cara menggunakan templat alur kerja Official:ImageManagement untuk membuat indeks metadata untuk sebuah gambar.

Panggil operasi CreateDataset untuk membuat set data bernama test-dataset dalam proyek test-project dengan templat Official:ImageManagement. Untuk informasi selengkapnya, lihat Buat set data.

Permintaan contoh

{
 "ProjectName": "test-project",
 "DatasetName": "test-dataset",
 "Description": "Dataset for the image management template",
 "TemplateId": "Official:ImageManagement"
}

Tanggapan contoh

{
    "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****",
    "Dataset": {
        "FileCount": 0,
        "BindCount": 0,
        "ProjectName": "test-project",
        "CreateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxTotalFileSize": 90000000000000000,
        "DatasetMaxRelationCount": 100000000000,
        "DatasetMaxFileCount": 100000000,
        "DatasetName": "test-dataset",
        "DatasetMaxBindCount": 10,
        "UpdateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxEntityCount": 10000000000,
        "TotalFileSize": 0,
        "TemplateId": "Official:ImageManagement"
    }
}

Panggil operasi IndexFileMeta untuk membuat indeks metadata untuk objek oss://test-bucket/test-object.jpg yang disimpan di OSS. Untuk informasi selengkapnya, lihat Buat indeks metadata.

Permintaan contoh

{
  "ProjectName": "test-project",
  "DatasetName": "test-dataset",
  "File": {
    "URI": "oss://test-bucket/test-object.jpg",
    "CustomLabels": {
      "category": "People"
    }
  },
  "Notification": {
    "MNS": {
      "TopicName": "test-topic"
    }
  }
}

Tanggapan contoh

{
    "RequestId": "5AA694AD-3D10-0B6A-86B4-****",
    "EventId": "17C-1Kofq1mlJxRYF7vNGF****"
}

Panggil operasi GetFileMeta untuk mengkueri metadata objek oss://test-bucket/test-object.jpg yang disimpan di OSS. Untuk informasi selengkapnya, lihat Kueri metadata file.

Permintaan contoh

{
    "ProjectName": "test-project",
    "URI": "oss://test-bucket/test-object.jpg",
    "DatasetName": "test-dataset"
}

Tanggapan contoh

{
    "RequestId": "F79E92D5-FA41-0AD6-8948-****",
    "Files": [
        {
            "ProduceTime": "2020-08-19T17:11:11+08:00",
            "ObjectACL": "default",
            "ContentType": "image/jpeg",
            "ProjectName": "test-project",
            "Size": 22868,
            "URI": "oss://test-bucket/test-object.jpg",
            "Addresses": [
                {
                    "Language": "en",
                    "Township": "Tanggou Town",
                    "AddressLine": "Chenlong Village, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province",
                    "Country": "China",
                    "City": "Suqian City",
                    "District": "Shuyang County",
                    "Province": "Jiangsu Province"
                }
            ],
            "ObjectType": "file",
            "CustomLabels": {
                "category": "People"
            },
            "OwnerId": "****",
            "FileModifiedTime": "2021-05-13T10:22:44+08:00",
            "ImageWidth": 270,
            "OSSStorageClass": "Standard",
            "MediaType": "image",
            "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****",
            "CreateTime": "2022-07-08T14:34:01.400716231+08:00",
            "Filename": "1.jpg",
            "Labels": [
                {
                    "CentricScore": 0.859000027179718,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Woman",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.7770000100135803,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Clothing",
                    "LabelLevel": 2,
                    "ParentLabelName": "Apparel"
                },
                {
                    "CentricScore": 0.8809999823570251,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Long Hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8899999856948853,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Black Hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8330000042915344,
                    "Language": "en",
                    "LabelConfidence": 1,
                    "LabelName": "Portrait Photography",
                    "LabelLevel": 2,
                    "ParentLabelName": "Artwork"
                },
                {
                    "CentricScore": 0.8299999833106995,
                    "Language": "en",
                    "LabelConfidence": 0.9879999756813049,
                    "LabelName": "Beauty",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8399999737739563,
                    "Language": "en",
                    "LabelConfidence": 0.9589999914169312,
                    "LabelName": "Person Close-up",
                    "LabelLevel": 2,
                    "ParentLabelName": "Other Scene"
                },
                {
                    "CentricScore": 0.8429999947547913,
                    "Language": "en",
                    "LabelConfidence": 0.949999988079071,
                    "LabelName": "Portrait",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8519999980926514,
                    "Language": "en",
                    "LabelConfidence": 0.925000011920929,
                    "LabelName": "Person",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8859999775886536,
                    "Language": "en",
                    "LabelConfidence": 0.9129999876022339,
                    "LabelName": "Girl",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                ...
            ],
            "Orientation": 1,
            "Figures": [
                {
                    "Beard": "none",
                    "MaskConfidence": 0.6959999799728394,
                    "Gender": "female",
                    "Boundary": {
                        "Left": 70,
                        "Top": 75,
                        "Height": 134,
                        "Width": 101
                    },
                    "BeardConfidence": 1,
                    "FigureId": "b51a7c91-1ce7-44d8-ae53-****",
                    "Mouth": "close",
                    "Emotion": "none",
                    "Age": 25,
                    "MouthConfidence": 0.996999979019165,
                    "FigureType": "face",
                    "GenderConfidence": 1,
                    "HeadPose": {
                        "Pitch": 21.562999725341797,
                        "Roll": 12.322999954223633,
                        "Yaw": 11.529999732971191
                    },
                    "Mask": "none",
                    "EmotionConfidence": 0.9819999933242798,
                    "HatConfidence": 1,
                    "GlassesConfidence": 0.9990000128746033,
                    "Sharpness": 1,
                    "FigureClusterId": "figure-cluster-id-unavailable",
                    "FaceQuality": 0.9990000128746033,
                    "Attractive": 0.9819999933242798,
                    "AgeSD": 5,
                    "Glasses": "none",
                    "FigureConfidence": 0.9980000257492065,
                    "Hat": "none"
                }
            ],
            "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}",
            "ContentMd5": "HZwoCnxPZ/fvhz4o****==",
            "ImageHeight": 270,
            "ImageScore": {
                "OverallQualityScore": 0.6140000224113464
            },
            "ETag": "\"1D9C280A7C4F67F7EF873E28****\"",
            "DatasetName": "test-dataset",
            "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"",
            "CustomId": "abc",
            "UpdateTime": "2022-07-08T14:34:01.400716231+08:00",
            "OSSCRC64": "56344477456500****",
            "OSSTaggingCount": 0,
            "LatLong": "34.000000,119.000000",
            "OSSObjectType": "Normal"
        }
    ]
}

FAQ

Templat alur kerja mana yang harus saya pilih saat membuat proyek untuk memproses data dengan IMM?

Templat alur kerja hanya berlaku saat Anda membuat indeks metadata. Untuk tugas pemrosesan data seperti deteksi wajah gambar, deteksi label gambar, deteksi kode QR gambar, atau mendapatkan metadata media, Anda tidak perlu menggunakan templat alur kerja saat membuat proyek. Anda dapat menggunakan templat kosong, Official:DefaultEmptyId.