Template workflow dan operator IMM - Intelligent Media Management

Topik ini menjelaskan template workflow dan operator yang didukung oleh Intelligent Media Management (IMM).

Ikhtisar

Saat membuat proyek atau dataset di IMM, Anda dapat menentukan template workflow untuk proyek atau dataset tersebut. Template workflow menentukan alur kerja yang akan dieksekusi. Saat mengindeks metadata file yang disimpan di layanan seperti Object Storage Service (OSS) dan Photo and Drive Service, IMM menggunakan operator yang sesuai dengan template workflow yang ditentukan untuk mengumpulkan dan mengindeks metadata ke dalam mesin penyimpanan metadata.

Catatan penggunaan

Saat mengaitkan Bucket OSS atau mengindeks metadata dengan memanggil operasi IndexFileMeta atau BatchIndexFileMeta, operator yang digunakan ditentukan oleh template workflow yang telah ditetapkan untuk dataset dan proyek.
Saat membuat indeks metadata di dataset, template workflow yang ditentukan untuk dataset memiliki prioritas lebih tinggi daripada template workflow yang ditentukan untuk proyek tempat dataset tersebut berada. Jika tidak ada template workflow yang ditentukan untuk dataset, maka template workflow proyek akan digunakan.
Template workflow tidak memberikan batasan pada panggilan API operasi proaktif Anda untuk melakukan tindakan seperti transkoding video, deteksi wajah, penilaian gambar, dan pengelompokan wajah. Namun, tindakan-tindakan ini mungkin tidak berlaku jika tidak ada metadata dalam indeks.
Pengindeksan memerlukan biaya operator dan biaya penyimpanan indeks. Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih.

Template workflow

Tabel berikut menjelaskan template workflow yang disediakan oleh IMM.

TemplateId	Deskripsi
Official:DefaultEmptyId	Template workflow kosong. Saat Anda membuat indeks metadata, tidak ada operator yang digunakan dan tidak ada metadata yang dikumpulkan.
Official:OSSBasicMeta	Template workflow yang digunakan untuk mengumpulkan metadata dasar dari OSS. Saat Anda membuat indeks metadata, operator OSSMeta digunakan untuk mengumpulkan metadata dasar objek yang disimpan di OSS.
Official:AllFunction	Template workflow fitur lengkap (hanya untuk pengujian). Saat Anda membuat indeks metadata, semua operator digunakan untuk mengumpulkan metadata, seperti metadata dasar objek di OSS, informasi Multipurpose Internet Mail Extensions (MIME), informasi wajah, label, skor kualitas gambar, informasi lokasi, informasi video, data Exchangeable Image File Format (EXIF), dan konten dokumen. Penting Template workflow ini mencakup operator untuk semua kemampuan IMM. Ini dimaksudkan hanya untuk pengujian. IMM menambahkan atau menghapus operator dari template workflow berdasarkan ketersediaan fitur. Perhatikan bahwa penambahan atau penghapusan operator dapat menyebabkan perubahan tagihan. Jika Anda hanya membutuhkan sejumlah kemampuan tertentu, pilih template workflow yang sesuai.
Official:FaceManagement	Template workflow untuk pengenalan wajah. Saat Anda membuat indeks metadata, template workflow mendeteksi wajah dalam gambar dan mengindeks wajah. Anda dapat menggunakan template workflow bersama dengan operasi pengelompokan wajah untuk menambahkan kemampuan pengelompokan foto berbasis wajah ke aplikasi album Anda, atau menggabungkannya dengan operasi pencarian wajah untuk mengimplementasikan kontrol akses dan pelacakan kehadiran.
Official:ImageManagement	Template workflow untuk manajemen gambar. Template workflow mengumpulkan informasi gambar seperti ukuran, lokasi, wajah, dan tag. Anda dapat menggunakan template ini untuk membuat aplikasi album cerdas dengan fitur lengkap.
Official:CognitionImageManagement	Template workflow untuk pencarian gambar semantik Template workflow memungkinkan pemahaman gambar selain analisis informasi gambar seperti ukuran, lokasi, wajah, dan tag. Anda dapat menggunakan template workflow bersama dengan operasi SemanticQuery untuk mengimplementasikan kemampuan pencarian gambar yang lebih canggih dan akurat berdasarkan semantik gambar. Pencarian gambar semantik memungkinkan Anda membuat aplikasi album cerdas yang ditenagai oleh model bahasa besar. Penting Template workflow ini hanya tersedia di wilayah China (Beijing) dan ditawarkan sebagai pratinjau undangan tanpa biaya. Jika Anda ingin menggunakan template workflow ini, hubungi manajer akun Anda atau submit a ticket.
Official:DocumentManagement	Template workflow untuk pencarian teks penuh. Template workflow mengambil teks dari dokumen dan mengindeks teks. Anda dapat menggunakan template workflow dengan operasi pencarian untuk mengimplementasikan kemampuan pencarian teks penuh.
Official:MediaMeta	Template workflow untuk manajemen media. Template workflow mengekstrak informasi multimedia dari file seperti gambar dan video. Informasi multimedia meliputi ukuran file, waktu pembuatan, lokasi, durasi, format pengkodean, dan lainnya. Anda dapat menggunakan template workflow dalam skenario bisnis seperti pengelompokan, manajemen, dan statistik file media.
Official:CognitionDocumentManagement	Template workflow untuk pencarian teks semantik. Template workflow menganalisis teks dalam dokumen untuk memberikan pemahaman konten berdasarkan model bahasa besar. Anda dapat menggunakan template workflow bersama dengan operasi SemanticQuery untuk mengimplementasikan pengambilan dokumen semantik. Penting Template workflow ini hanya tersedia di wilayah China (Beijing) dan ditawarkan sebagai pratinjau undangan tanpa biaya. Jika Anda ingin menggunakan template workflow ini, hubungi manajer akun Anda atau submit a ticket.

Operator

Tabel berikut menjelaskan operator yang didukung di IMM.

Peringatan

Operator memerlukan biaya. Untuk informasi lebih lanjut, lihat Operator dan Item yang Dapat Ditagih.

Operator	Deskripsi
OSSMeta	Mengumpulkan metadata dari OSS, seperti nama objek, jenis objek, ukuran objek, hash objek, waktu modifikasi, ETags, dan tag
MIME	Mengumpulkan data MIME.
FaceDetection	Mengumpulkan data wajah.
LabelClassification (untuk gambar)	Mengumpulkan informasi label gambar.
LabelClassification (untuk video)	Mengumpulkan informasi label video.
ImageScoring	Menghasilkan skor gambar.
ExtractImageEmbeddings	Mengumpulkan fitur gambar.
ReGEO	Mengumpulkan informasi geolokasi.
MediaMeta	Mengumpulkan informasi video.
EXIF	Mengumpulkan data EXIF.
ExtractDocumentText	Mengekstrak informasi dokumen.

Template workflow dan operator yang didukung

Tabel berikut menjelaskan operator yang didukung oleh setiap template workflow. Tanda centang (✓) menunjukkan bahwa operator didukung. Tanda silang (X) menunjukkan bahwa operator tidak didukung.

TemplateId	Operator
TemplateId	OSSMeta	MIME	FaceDetection	LabelClassification	ImageScoring	ExtractImageEmbeddings	ReGEO	MediaMeta	EXIF	ExtractDocumentText
Official:DefaultEmptyId	X	X	X	X	X	X	X	X	X	X
Official:OSSBasicMeta	✓	X	X	X	X	X	X	X	X	X
Official:AllFunction	✓	✓	✓ (untuk file video dan file gambar)	✓ (untuk file video dan file gambar)	✓	X	✓	✓	✓	✓
Official:FaceManagement	✓	X	✓ (untuk file video dan file gambar)	X	X	X	X	X	X	X
Official:ImageManagement	✓	✓	✓	✓	✓	X	✓	X	✓	X
Official:CognitionImageManagement	✓	✓	✓	✓	✓	✓	✓	X	✓	X
Official:DocumentManagement	✓	✓	X	X	X	X	X	X	X	✓
Official:MediaMeta	✓	✓	X	X	X	X	✓	✓	✓	X
Official:CognitionDocumentManagement	✓	✓	X	X	X	X	X	X	X	X

Contoh penggunaan template workflow

Bagian ini menggunakan template workflow Official:AllFunction sebagai contoh untuk menjelaskan cara menggunakan template workflow.

Panggil operasi CreateDataset untuk membuat dataset bernama allfunction di proyek test-project dan tentukan template Official:AllFunction untuk dataset tersebut. Untuk informasi lebih lanjut, lihat Buat Dataset.

Permintaan Contoh

{
 "ProjectName": "test-project",
 "DatasetName": "allfunction",
 "Description": "Dataset yang menggunakan template workflow fitur lengkap",
 "TemplateId": "Official:AllFunction"
}

Respon Contoh

{
    "RequestId": "9AB4BD43-C4E5-06AA-A8AB-****",
    "Dataset": {
        "FileCount": 0,
        "BindCount": 0,
        "ProjectName": "test-project",
        "CreateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxTotalFileSize": 90000000000000000,
        "DatasetMaxRelationCount": 100000000000,
        "DatasetMaxFileCount": 100000000,
        "DatasetName": "allfunction",
        "DatasetMaxBindCount": 10,
        "UpdateTime": "2022-07-08T10:43:32.429344821+08:00",
        "DatasetMaxEntityCount": 10000000000,
        "TotalFileSize": 0,
        "TemplateId": "Official:AllFunction"
    }
}

Panggil operasi IndexFileMeta untuk membuat indeks metadata untuk objek oss://test-bucket/test-object.jpg yang disimpan di OSS. Untuk informasi lebih lanjut, lihat Buat Indeks Metadata.

Permintaan Contoh

{
  "ProjectName": "test-project",
  "DatasetName": "allfunction",
  "File": {
    "URI": "oss://test-bucket/test-object.jpg",
    "CustomLabels": {
      "category": "Persons"
    }
  },
  "Notification": {
    "MNS": {
      "TopicName": "test-topic"
    }
  }
}

Respon Contoh

{
    "RequestId": "5AA694AD-3D10-0B6A-86B4-****",
    "EventId": "17C-1Kofq1mlJxRYF7vNGF****"
}

Panggil operasi GetFileMeta untuk menanyakan metadata objek oss://test-bucket/test-object.jpg yang disimpan di OSS. Untuk informasi lebih lanjut, lihat Tanyakan Metadata File.

Permintaan Contoh

{
    "ProjectName": "test-project",
    "URI": "oss://test-bucket/test-object.jpg",
    "DatasetName": "allfunction"
}

Respon Contoh

{
    "RequestId": "F79E92D5-FA41-0AD6-8948-****",
    "Files": [
        {
            "ProduceTime": "2020-08-19T17:11:11+08:00",
            "ObjectACL": "default",
            "ContentType": "image/jpeg",
            "ProjectName": "test-project",
            "Size": 22868,
            "URI": "oss://test-bucket/test-object.jpg",
            "Addresses": [
                {
                    "Language": "zh-Hans",
                    "Township": "Tanggou Town",
                    "AddressLine": "Chenlongzhuang, Tanggou Town, Shuyang County, Suqian City, Jiangsu Province",
                    "Country": "China",
                    "City": "Suqian",
                    "District": "Shuyang",
                    "Province": "Jiangsu"
                }
            ],
            "ObjectType": "file",
            "CustomLabels": {
                "category": "Image"
            },
            "OwnerId": "****",
            "FileModifiedTime": "2021-05-13T10:22:44+08:00",
            "ImageWidth": 270,
            "OSSStorageClass": "Standard",
            "MediaType": "image",
            "ObjectId": "75d5de2c50754e3dadd5c35dbca5f9949369e****",
            "CreateTime": "2022-07-08T14:34:01.400716231+08:00",
            "Filename": "1.jpg",
            "Labels": [
                {
                    "CentricScore": 0.859000027179718,
                    "Language": "zh-Hans",
                    "LabelConfidence": 1,
                    "LabelName": "Female",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.7770000100135803,
                    "Language": "zh-Hans",
                    "LabelConfidence": 1,
                    "LabelName": "Apparel",
                    "LabelLevel": 2,
                    "ParentLabelName": "Clothing"
                },
                {
                    "CentricScore": 0.8809999823570251,
                    "Language": "zh-Hans",
                    "LabelConfidence": 1,
                    "LabelName": "Long hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8899999856948853,
                    "Language": "zh-Hans",
                    "LabelConfidence": 1,
                    "LabelName": "Black hair",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8330000042915344,
                    "Language": "zh-Hans",
                    "LabelConfidence": 1,
                    "LabelName": "Portrait photography",
                    "LabelLevel": 2,
                    "ParentLabelName": "Artwork"
                },
                {
                    "CentricScore": 0.8299999833106995,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.9879999756813049,
                    "LabelName": "Beauty",
                    "LabelLevel": 2,
                    "ParentLabelName": "Appearance"
                },
                {
                    "CentricScore": 0.8399999737739563,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.9589999914169312,
                    "LabelName": "Person close-up",
                    "LabelLevel": 2,
                    "ParentLabelName": "Other scenes"
                },
                {
                    "CentricScore": 0.8429999947547913,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.949999988079071,
                    "LabelName": "Portrait",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8519999980926514,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.925000011920929,
                    "LabelName": "Human",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                {
                    "CentricScore": 0.8859999775886536,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.9129999876022339,
                    "LabelName": "Girl",
                    "LabelLevel": 2,
                    "ParentLabelName": "Face"
                },
                ...
            ],
            "Orientation": 1,
            "Figures": [
                {
                    "Beard": "none",
                    "MaskConfidence": 0.6959999799728394,
                    "Gender": "female",
                    "Boundary": {
                        "Left": 70,
                        "Top": 75,
                        "Height": 134,
                        "Width": 101
                    },
                    "BeardConfidence": 1,
                    "FigureId": "b51a7c91-1ce7-44d8-ae53-****",
                    "Mouth": "close",
                    "Emotion": "none",
                    "Age": 25,
                    "MouthConfidence": 0.996999979019165,
                    "FigureType": "face",
                    "GenderConfidence": 1,
                    "HeadPose": {
                        "Pitch": 21.562999725341797,
                        "Roll": 12.322999954223633,
                        "Yaw": 11.529999732971191
                    },
                    "Mask": "none",
                    "EmotionConfidence": 0.9819999933242798,
                    "HatConfidence": 1,
                    "GlassesConfidence": 0.9990000128746033,
                    "Sharpness": 1,
                    "FigureClusterId": "figure-cluster-id-unavailable",
                    "FaceQuality": 0.9990000128746033,
                    "Attractive": 0.9819999933242798,
                    "AgeSD": 5,
                    "Glasses": "none",
                    "FigureConfidence": 0.9980000257492065,
                    "Hat": "none"
                }
            ],
            "EXIF": "{\"Compression\":{\"value\":\"6\"},\"DateTime\":{\"value\":\"2020:08:19 17:11:11\"},\"DateTimeOriginal\":{\"value\":\"2020:08:19 17:11:11\"},\"ExifTag\":{\"value\":\"82\"},\"FileSize\":{\"value\":\"22868\"},\"Format\":{\"value\":\"jpg\"},\"GPSLatitude\":{\"value\":\"34deg \"},\"GPSLatitudeRef\":{\"value\":\"North\"},\"GPSLongitude\":{\"value\":\"119deg \"},\"GPSLongitudeRef\":{\"value\":\"East\"},\"GPSMapDatum\":{\"value\":\"WGS-84\"},\"GPSTag\":{\"value\":\"120\"},\"GPSVersionID\":{\"value\":\"2 2 0 0\"},\"ImageHeight\":{\"value\":\"270\"},\"ImageWidth\":{\"value\":\"270\"},\"JPEGInterchangeFormat\":{\"value\":\"294\"},\"JPEGInterchangeFormatLength\":{\"value\":\"2700\"},\"Orientation\":{\"value\":\"1\"},\"ResolutionUnit\":{\"value\":\"2\"},\"XResolution\":{\"value\":\"72/1\"},\"YResolution\":{\"value\":\"72/1\"}}",
            "ContentMd5": "HZwoCnxPZ/fvhz4o****==",
            "ImageHeight": 270,
            "ImageScore": {
                "OverallQualityScore": 0.6140000224113464
            },
            "ETag": "\"1D9C280A7C4F67F7EF873E28****\"",
            "DatasetName": "allfunction",
            "FileHash": "\"1D9C280A7C4F67F7EF873E28****\"",
            "CustomId": "abc",
            "UpdateTime": "2022-07-08T14:34:01.400716231+08:00",
            "OSSCRC64": "56344477456500****",
            "OSSTaggingCount": 0,
            "LatLong": "34.000000,119.000000",
            "OSSObjectType": "Normal"
        }
    ]
}