Intelligent Media Management的圖片標籤檢測如何遷移到新版

更新時間:
Copy as MD

圖片標籤檢測是由Intelligent Media Management(IMM)提供的一項利用人工智慧演算法對映像內容進行分析的能力。您可以將映像上傳並儲存在Object Storage Service服務(OSS)中,並在任何時間、任何地點、任何互連網裝置上對儲存於OSS中的影像檔進行分析。目前,圖片標籤檢測介面存在多個版本,您可以通過本文瞭解從OSS資料處理模組遷移至圖片智能的相關步驟。

背景資訊

Intelligent Media Management(IMM)後續新增功能及最佳化將以新版為主,舊版將逐步下線。由Intelligent Media Management(IMM)提供的ApsaraVideo for Media Processing、文檔處理、圖片智能及檔案處理等 x-oss-process 資料處理能力的所有介面均採用新版Intelligent Media Management。

前提條件

  • 已開通Intelligent Media Management(IMM)服務。具體操作,請參見開通產品

  • 已綁定IMM專案。通過OSS控制台綁定的具體操作,請參見快速入門。通過API綁定的具體操作,請參見綁定Object Storage Service

  • IMM Project需要跟Bucket在同一地區下。

注意事項

  • 圖片標籤檢測僅支援JPG、PNG、JPEG格式。

  • 圖片標籤檢測的圖片大小限制如下:

    • 圖片大小不超過20 MB

    • 圖片高度或寬度不超過3萬像素(px)

    • 圖片總像素不超過2.5億像素(px)

  • 圖片標籤檢測僅支援同步處理(x-oss-process處理方式)。

  • 不支援匿名訪問。

應用情境

情境名稱

情境說明

內容識別

根據拍攝或上傳的圖片,識別圖片中的物品、情境等資訊,可應用於拍照識物或科普類的功能或產品中。

智能相簿

根據圖片內容資訊,並對圖片進行自動分類,實現相簿圖庫的智能分類,實現高效自動化管理。

情境分析

對圖片中包含的多種事物或情境進行識別,為不同情境打上內容標籤,提升情境分析效率,減少人工標註成本。

內容營運

擷取圖片標籤資訊,實現內容推薦,可廣泛應用於社交或新聞資訊及電商等內容平台中。

如何遷移

您可以按照以下步驟進行遷移:

  1. 在控制台綁定新版本。

  2. 控制台解除舊版本的綁定。

  3. 使用圖片標籤檢測。

步驟一:在控制台綁定新版本

  1. 登入OSS管理主控台

  2. 在左側導覽列,單擊Bucket 列表,然後單擊目標Bucket名稱。image

  3. 在左側導覽列,選擇資料處理

    image

  4. 單擊圖片智能,然後在彈出綁定頁面單擊Bucket綁定IMM project按鈕。

  5. 綁定Intelligent Media Management專案對話方塊的IMM 配置地區,根據需要選擇以下兩種綁定方式中的一種:

    • 建立新的Project:輸入Project的名稱,系統會自動在儲存空間所在的地區建立對應的IMM專案,並將其與當前儲存空間綁定。

      image

    • 綁定已有Project:在下拉式清單中選擇需要綁定至儲存空間的IMM專案。

      image

  6. 單擊映像理解模組,點擊建立樣式,輸入樣式名稱,點擊確定。關於樣式的詳細介紹,請參見樣式

    image

    image

步驟二:控制台解除舊版本的綁定

重要
  • 新舊版本之間存在不相容性。解除綁定後,舊版本IMM專案的圖片標籤檢測功能將無法繼續使用,OSS控制台以及使用SDK調用圖片標籤檢測介面均會受到影響。因此,請務必謹慎執行解除綁定操作。

  • 在解除舊版IMM ProjectBucket綁定時,請確保所選的Bucket準確無誤,以防止誤操作對IMM控制台和OSS控制台的正常使用產生影響。

  1. 登入OSS管理主控台

  2. 在左側導覽列,單擊Bucket 列表,然後單擊目標Bucket名稱。

    image

  3. 在左側導覽列,選擇資料處理 >智慧媒體

    image

  4. 在智能媒體介面查看當前Bucket綁定的舊版IMM Project,點擊image表徵圖,選擇解綁,點擊確定

    image

    image

步驟三:使用圖片標籤檢測

參數說明

操作名稱:image/labels

請求參數

參數名稱

類型

是否必須

描述

樣本值

thr

float

小於設定閾值的標籤不被顯示。取值範圍為[0, 1](預設值為0.7)。

0.5

返回參數

說明

具體返回參數,請參見 檢測圖片中的標籤資訊

使用樣本

使用SDK

以下僅列舉常見SDK通過處理參數的方式檢測圖片標籤的程式碼範例。如需使用其他SDK檢測圖片標籤,請參見以下常見SDK自行調整。

Java

要求使用3.17.4及以上版本的Java SDK。

import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.model.OSSObject;
import com.aliyun.oss.model.GetObjectRequest;
import com.aliyuncs.exceptions.ClientException;

import java.io.ByteArrayOutputStream;
import java.io.IOException;

public class Demo {
    public static void main(String[] args) throws ClientException, ClientException {
        // yourEndpoint填寫Bucket所在地區對應的Endpoint。
        String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
        // 填寫Endpoint對應的Region資訊,例如cn-hangzhou。
        String region = "cn-hangzhou";
        // 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 指定Bucket名稱。
        String bucketName = "examplebucket";
        // 如果圖片位於Bucket根目錄,則直接填寫圖片名稱。如果圖片不在Bucket根目錄,需攜帶圖片完整路徑,例如exampledir/example.jpg。
        String key = "example.jpg";

        // 建立OSSClient執行個體。
        // 當OSSClient執行個體不再使用時,調用shutdown方法以釋放資源。
        ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
        clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
                .endpoint(endpoint)
                .credentialsProvider(credentialsProvider)
                .clientConfiguration(clientBuilderConfiguration)
                .region(region)
                .build();

        try {
            // 構建圖片標籤檢測的處理指示。
            GetObjectRequest getObjectRequest = new GetObjectRequest(bucketName, key);
            getObjectRequest.setProcess("image/labels");

            // 使用getObject方法,並通過process參數傳入處理指示。
            OSSObject ossObject = ossClient.getObject(getObjectRequest);

            // 讀取並列印資訊。
            ByteArrayOutputStream baos = new ByteArrayOutputStream();
            byte[] buffer = new byte[1024];
            int bytesRead;
            while ((bytesRead = ossObject.getObjectContent().read(buffer)) != -1) {
                baos.write(buffer, 0, bytesRead);
            }
            String imageLabels = baos.toString("UTF-8");
            System.out.println("Image Labels:");
            System.out.println(imageLabels);
        } catch (IOException e) {
            System.out.println("Error: " + e.getMessage());
        } finally {
            // 關閉OSSClient。
            ossClient.shutdown();
        }
    }
}

Python

要求使用Python SDK 2.18.4及以上版本。

# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

# 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

# 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'
# 填寫阿里雲通用Region ID。
region = 'cn-hangzhou'
bucket = oss2.Bucket(auth, endpoint, 'examplebucket', region=region)

# 如果圖片位於Bucket根目錄,則直接填寫圖片名稱。如果圖片不在Bucket根目錄,需攜帶圖片完整路徑,例如exampledir/example.jpg。
key = 'example.jpg'

# 構建圖片標籤檢測的處理指示。
process = 'image/labels'

try:
    # 使用get_object方法,並通過process參數傳入處理指示。
    result = bucket.get_object(key, process=process)

    # 讀取並列印資訊。
    image_labels = result.read().decode('utf-8')
    print("Image Labels:")
    print(image_labels)
except oss2.exceptions.OssError as e:
    print("Error:", e)

Go

要求使用Go SDK 3.0.2及以上版本。

package main

import (
	"fmt"
	"io"
	"os"

	"github.com/aliyun/aliyun-oss-go-sdk/oss"
)

func main() {
	// 從環境變數中擷取臨時訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	provider, err := oss.NewEnvironmentVariableCredentialsProvider()
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 建立OSSClient執行個體。
	// yourEndpoint填寫Bucket對應的Endpoint,以華東1(杭州)為例,填寫為https://oss-cn-hangzhou.aliyuncs.com。其他Region請按實際情況填寫。
	// yourRegion指定阿里雲通用Region ID,例如cn-hangzhou。
	client, err := oss.New("https://oss-cn-hangzhou.aliyuncs.com", "", "", oss.SetCredentialsProvider(&provider), oss.AuthVersion(oss.AuthV4), oss.Region("cn-hangzhou"))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 指定Bucket名稱,例如examplebucket。
	bucketName := "examplebucket"

	bucket, err := client.Bucket(bucketName)
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	// 如果圖片位於Bucket根目錄,則直接填寫圖片名稱。如果圖片不在Bucket根目錄,需攜帶圖片完整路徑,例如exampledir/example.jpg。
	// 通過oss.Process方法構建圖片標籤檢測的處理指示。
	body, err := bucket.GetObject("example.jpg", oss.Process("image/labels"))
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}

	defer body.Close()

	data, err := io.ReadAll(body)
	if err != nil {
		fmt.Println("Error:", err)
		os.Exit(-1)
	}
	fmt.Println("data:", string(data))
}

PHP

要求使用PHP SDK 2.7.0及以上版本。

<?php
if (is_file(__DIR__ . '/../autoload.php')) {
    require_once __DIR__ . '/../autoload.php';
}
if (is_file(__DIR__ . '/../vendor/autoload.php')) {
    require_once __DIR__ . '/../vendor/autoload.php';
}
use OSS\Credentials\EnvironmentVariableCredentialsProvider;
use OSS\OssClient;

try {
    // 從環境變數中擷取訪問憑證。運行本程式碼範例之前,請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
    $provider = new EnvironmentVariableCredentialsProvider(); 
    // 填寫Bucket所在地區對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
    $endpoint = 'https://oss-cn-hangzhou.aliyuncs.com';
    // 填寫Bucket名稱,例如examplebucket。
    $bucket = 'examplebucket';
    // 如果圖片位於Bucket根目錄,則直接填寫圖片名稱。如果圖片不在Bucket根目錄,需攜帶圖片完整路徑,例如exampledir/example.jpg。
    $key = 'example.jpg'; 

    $config = array(
        "provider" => $provider,
        "endpoint" => $endpoint,        
        "signatureVersion" => OssClient::OSS_SIGNATURE_VERSION_V4,
        // 填寫阿里雲通用Region ID。
        "region" => "cn-hangzhou"
    );
    $ossClient = new OssClient($config);
  // 構建圖片標籤檢測的處理指示。
  $options[$ossClient::OSS_PROCESS] = "image/labels";
  $result = $ossClient->getObject($bucket,$key,$options);
  var_dump($result);
} catch (OssException $e) {
  printf($e->getMessage() . "\n");
  return;

使用REST API

如果您的程式自訂要求較高,您可以直接發起REST API請求。直接發起REST API請求需要手動編寫代碼計算簽名。關於公用要求標頭Authorization的計算方法請參見簽名版本4(推薦)

您可以通過在GetObject介面中添加x-oss-process參數的方式來處理圖片。更多資訊請參見GetObject

不設定過濾閾值情況下擷取標籤

閾值設定

  • 不設定

處理樣本

GET /example.jpg?x-oss-process=image/labels HTTP/1.1
Host: image-demo.oss-cn-hangzhou.aliyuncs.com
Date: Fri, 21 Jul 2023 08:30:25 GMT
Authorization: SignatureValue

返回樣本

HTTP/1.1 200 OK
Server: AliyunOSS
Date: Fri, 21 Jul 2023 08:30:26 GMT
Content-Type: application/json;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
x-oss-request-id: 64BA42225DFDD13437ECD00E
Last-Modified: Mon, 10 Jul 2023 13:07:30 GMT
x-oss-object-type: Normal
x-oss-hash-crc64ecma: 13420962247653419692
x-oss-storage-class: Standard
x-oss-ec: 0048-00000104
Content-Disposition: attachment
x-oss-force-download: true
x-oss-server-time: 489
Content-Encoding: gzip

{
    "Labels":[
        {
            "CentricScore": 0.823,
            "LabelConfidence": 1.0,
            "LabelLevel": 2,
            "LabelName": "外套",
            "Language": "zh-Hans",
            "ParentLabelName": "衣服"
        },
        { 
            "CentricScore": 0.721,
            "LabelConfidence": 0.735,
            "LabelLevel": 2,
            "LabelName": "服裝",
            "Language": "zh-Hans",
            "ParentLabelName": "衣服"
        },
    		......,
    ],
    "RequestId": "0EC0B6EC-EB16-5EF4-812B-EF3A60C7D20D"
}
    

設定過濾閾值情況下擷取標籤

閾值設定

  • thr: 0.85

處理樣本

GET /example.jpg?x-oss-process=image/labels,thr_0.85 HTTP/1.1
Host: image-demo.oss-cn-hangzhou.aliyuncs.com
Date: Fri, 21 Jul 2023 08:44:58 GMT
Authorization: SignatureValue

返回樣本

HTTP/1.1 200 OK
Server: AliyunOSS
Date: Fri, 21 Jul 2023 08:45:00 GMT
Content-Type: application/json;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
x-oss-request-id: 64BA458C7FFDC2383651DF09
Last-Modified: Mon, 10 Jul 2023 13:07:30 GMT
x-oss-object-type: Normal
x-oss-hash-crc64ecma: 13420962247653419692
x-oss-storage-class: Standard
x-oss-ec: 0048-00000104
Content-Disposition: attachment
x-oss-force-download: true
x-oss-server-time: 421
Content-Encoding: gzip

{
  "RequestId": "B7BDAFD5-C0AF-5042-A749-88BF6E4F2712", 
  "Labels": [
     {
      	"CentricScore": 0.797,
      	"Language": "zh-Hans",
      	"LabelConfidence": 0.927,
      	"LabelName": "服裝",
      	"LabelLevel": 2,
      	"ParentLabelName": "衣服"
      },
        ......,
   ]
}

許可權說明

阿里雲帳號預設擁有全部許可權。阿里雲帳號下的RAM使用者或RAM角色預設沒有任何許可權,需要阿里雲帳號或帳號管理員通過RAM Policy概述Bucket Policy授予操作許可權。

  • 系統許可權:AliyunOSSReadOnlyAccessAliyunIMMFullAccess

    關於為RAM使用者授權的具體操作,請參見管理RAM使用者的許可權

  • 自訂許可權:oss:ProcessImmram:GetRole

    RAM使用者授予自訂許可權時,您需要先建立對應的自訂許可權,然後為RAM使用者授權。具體操作,請參見RAM使用者授予自訂的權限原則

計費說明

在文檔預覽過程中,由於調用了 IMM 服務,會同時在 OSS 和 IMM 兩側產生計費項目。具體說明如下:

  • OSS 側: 將產生以下計費項目,詳細定價請參見OSS產品定價

    API

    計費項目

    說明

    GetObject

    GET 類型請求

    根據成功的請求次數計算請求費用。

    外網流出流量費用

    如果是通過外網Endpoint(樣本值oss-cn-hangzhou.aliyuncs.com)或者傳輸加速Endpoint(樣本值oss-accelerate.aliyuncs.com)調用GetObject介面時,會產生外網流出流量費用,根據資料容量大小計費。

    低頻訪問資料取回容量

    如果取回的資料是低頻訪問資料,會產生低頻訪問資料取回容量的費用,按資料取回量計費。

    歸檔直讀資料取回容量

    如果讀取的是歸檔的ObjectBucket開啟了歸檔直讀,會產生歸檔直讀資料取回容量費用,根據取回的資料容量大小計費。

    傳輸加速

    如果開啟了傳輸加速功能且使用傳輸加速網域名稱訪問您的Bucket會產生傳輸加速費用,根據資料容量大小計費。

  • IMM 側: 將產生以下計費項目,詳細定價請參見IMM計費項目

    API

    計費項目

    說明

    DetectImageLabels 

    圖片標籤檢測

    圖片標籤檢測會產生圖片打標費用。