Intelligent Media Management:セマンティック検索

機能の説明

従来のスカラー検索方法は、ファイル名、作成時刻、形式などのメタデータ属性に依存して情報を検索します。スカラー検索とは異なり、セマンティック検索はベクトル検索方法を使用して、「森の鳥瞰図」、「雪の街」、「夏の草原」などのコンテンツの意味またはセマンティクスに基づいて情報を検索します。セマンティック検索機能を使用して、オブジェクトストレージサービス (OSS) および写真とドライブサービスに保存されているデータを検索できます。

シナリオ

作業ファイルの検索

セマンティック検索を使用すると、「ERPシステムの指示」、「デバイスの修理プロセス」、「2024年の事業運営分析」などのセマンティックコンテンツまたはキーワードに基づいて目的の作業ファイルを検索できるため、ファイル検索が容易になり、作業効率が向上します。

マルチメディア検索

セマンティック検索を使用すると、高速で効率的なメディアデータの検索および取得機能をマルチメディアネットワーキングアプリケーションに統合できます。たとえば、画像を多用するソーシャルネットワークアプリケーションにセマンティック検索を実装して、ユーザーが「去年の春の郊外の外出」、「旧正月の再会」、「私の海の体験」などのセマンティックコンテンツを使用して画像を検索できるようにすることができます。これにより、利便性と楽しさが向上します。

オンラインストレージ

多くのオンラインストレージサービスは、ファイル名、作成時刻、拡張子などの属性に基づいてスカラーベースのファイル検索を提供しています。セマンティック検索を使用すると、セマンティックコンテンツに基づいて、ドキュメントや画像など、特定の種類のデータを効率的に検索できます。

監視ビデオの検索

セマンティック検索を使用すると、「昨日の屋外の雪の監視ビデオ」や「晴れた日の果樹園」などのセマンティックキーワードに基づいて監視ビデオを検索および取得できます。

制限事項

前提条件

• インデックスは、アプリケーションシナリオのメタデータに基づいて作成されます。詳細については、メタデータインデックスの作成を参照してください。

• データセットは、画像のセマンティック検索にはOfficial:CognitionImageManagementワークフローテンプレートを、ドキュメントのセマンティック検索にはOfficial:DocumentManagementワークフローテンプレートを使用します。

課金

• IMM課金：セマンティック検索は、メタデータ管理に関連する料金が発生します。詳細については、課金対象項目を参照してください。

• OSS課金：詳細については、課金概要を参照してください。

使用方法

SemanticQuery操作を呼び出して、セマンティック検索を実行します。このトピックでは、test-datasetプロジェクトのtest-projectデータセットでセマンティック検索を実行する方法の例を示します。

{
    "ProjectName": "test-project",
    "DatasetName": "test-dataset",
    "Query": "Pandas in Chengdu in July 2020" // 2020年7月の成都のパンダ
}

{
    "RequestId": "645FB6D9-5EA0-02C9-B253-****",
    "Files": [
        {
            "ProduceTime": "2020-07-19T17:11:11+08:00",
            "ObjectACL": "default",
            "ContentType": "image/jpeg",
            "ProjectName": "test-project",
            "Size": 22868,
            "URI": "oss://test-bucket/test-object.jpg",
            "Addresses": [
                {
                    "Language": "zh-Hans",
                    "Township": "Sanhe Sub-district", // 三河街道
                    "AddressLine": "Chengdu Research Base of Giant Panda Breeding, Sanhe Sub-district, Xindu District, Chengdu City, Sichuan Province", // 四川省成都市新都区三河街道成都ジャイアントパンダ繁殖研究基地
                    "Country": "China", // 中国
                    "City": "Chengdu", // 成都
                    "District": "Xindu District", // 新都区
                    "Province": "Sichuan Province" // 四川省
                }
            ],
            "ObjectType": "file",
            "OwnerId": "****",
            "FileModifiedTime": "2021-05-13T10:22:44+08:00",
            "ImageWidth": 270,
            "OSSStorageClass": "Standard",
            "MediaType": "image",
            "ObjectId": "****",
            "CreateTime": "2022-07-06T07:10:18.497753661+08:00",
            "Filename": "1.jpg",
            "Labels": [
                {
                    "CentricScore": 0.757,
                    "Language": "zh-Hans",
                    "LabelConfidence": 0.946,
                    "LabelName": "Panda", // パンダ
                    "LabelLevel": 2,
                    "ParentLabelName": "Wildlife" // 野生動物
                },
                ...
            ],
            "Orientation": 1,
            "EXIF": "...",
            "ContentMd5": "HZwoCnxPZ/fvhz4oRJ****",
            "ImageHeight": 270,
            "ImageScore": {
                "OverallQualityScore": 0.719
            },
            "ETag": "\"1D9C280A7C4F67F7EF873E28449D****\"",
            "DatasetName": "test-dataset",
            "FileHash": "\"1D9C280A7C4F67F7EF873E2****\"",
            "UpdateTime": "2022-07-06T07:10:18.497753661+08:00",
            "OSSCRC64": "5634447745650079669",
            "OSSTaggingCount": 0,
            "LatLong": "34.000000,119.000000",
            "OSSObjectType": "Normal"
        }
    ]
}

# -*- coding: utf-8 -*-

import os
from alibabacloud_imm20200930.client import Client as imm20200930Client
from alibabacloud_tea_openapi import models as open_api_models
from alibabacloud_imm20200930 import models as imm_20200930_models
from alibabacloud_tea_util import models as util_models
from alibabacloud_tea_util.client import Client as UtilClient


class Sample:
    def __init__(self):
        pass

    @staticmethod
    def create_client(
        access_key_id: str,
        access_key_secret: str,
    ) -> imm20200930Client:
        """
        AccessKey IDとAccessKeyシークレットを使用してクライアントを初期化します。
        @param access_key_id:
        @param access_key_secret:
        @return: Client
        @throws Exception
        """
        config = open_api_models.Config(
            access_key_id=access_key_id,
            access_key_secret=access_key_secret
        )
        config.endpoint = f'imm.cn-beijing.aliyuncs.com'
        return imm20200930Client(config)

    @staticmethod
    def main() -> None:
        # Alibaba CloudアカウントのAccessKeyペアは、すべてのAPI操作に対する権限を持っています。セキュリティリスクを防ぐため、RAMユーザーとしてAPI操作を呼び出したり、日常のO&Mを実行することをお勧めします。
        # AccessKeyペア（AccessKey IDとAccessKeyシークレット）をプロジェクトコードに含めないことをお勧めします。そうしないと、AccessKeyペアがリークし、アカウント内のすべてのリソースのセキュリティが侵害される可能性があります。
        # この例では、APIアクセスのためのID検証を実装するために、環境変数からAccessKeyペアを読み取ります。環境変数の設定方法については、https://help.aliyun.com/document_detail/2361894.htmlを参照してください。
        imm_access_key_id = os.getenv("AccessKeyId")
        imm_access_key_secret = os.getenv("AccessKeySecret")
        client = Sample.create_client(imm_access_key_id, imm_access_key_secret)
        semantic_query_request = imm_20200930_models.SemanticQueryRequest(
            query='Pandas in Chengdu in July 2020', // 2020年7月の成都のパンダ
            project_name='test-project',
            dataset_name='test-dataset',
            max_results=100
        )
        runtime = util_models.RuntimeOptions()
        try:
            # API操作のレスポンスを出力します。
            response = client.semantic_query_with_options(semantic_query_request, runtime)
            print(response.body.to_map())
        except Exception as error:
            # 必要に応じてエラーメッセージを出力します。
            UtilClient.assert_as_string(error.message)
            print(error)


if __name__ == '__main__':
    Sample.main()

{
    "ProjectName": "test-project",
    "DatasetName": "test-dataset",
    "Query": "IT service process" // ITサービスプロセス
}

{
  "RequestId": "CD870E69-D2E8-031B-BD3E-****",
  "Files": [
    {
      "ObjectACL": "default",
      "ContentType": "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
      "ProjectName": "test-project",
      "ObjectId": "2f66ba6e902e5ad42341a9e7365b19f6130d4a077e4f57150450e281d0b7afd9",
      "Size": 28340,
      "CreateTime": "2024-03-08T10:13:19.569053164+08:00",
      "Filename": "3839a9a0-c630-420d-ae69-ea24792412fd.docx",
      "URI": "oss://test-bucket/test-object.docx",
      "ObjectType": "file",
      "ContentMd5": "Y7SmYa831Hq1qryuRyl6mg==",
      "OwnerId": "****",
      "FileModifiedTime": "2024-01-10T16:18:31+08:00",
      "ETag": "\"63B4A661AF37D47AB5AABCAE47297A9A\"",
      "DatasetName": "test-dataset",
      "FileHash": "63B4A661AF37D47AB5AABCAE47297A9A",
      "UpdateTime": "2024-03-08T10:13:19.569053164+08:00",
      "OSSStorageClass": "Standard",
      "MediaType": "document",
      "OSSCRC64": "6833019149643646551",
      "OSSTaggingCount": 0,
      "OSSObjectType": "Normal"
    }
  ]
}

# -*- coding: utf-8 -*-

import os
from alibabacloud_imm20200930.client import Client as imm20200930Client
from alibabacloud_tea_openapi import models as open_api_models
from alibabacloud_imm20200930 import models as imm_20200930_models
from alibabacloud_tea_util import models as util_models
from alibabacloud_tea_util.client import Client as UtilClient


class Sample:
    def __init__(self):
        pass

    @staticmethod
    def create_client(
        access_key_id: str,
        access_key_secret: str,
    ) -> imm20200930Client:
        """
        AccessKey IDとAccessKeyシークレットを使用してクライアントを初期化します。
        @param access_key_id:
        @param access_key_secret:
        @return: Client
        @throws Exception
        """
        config = open_api_models.Config(
            access_key_id=access_key_id,
            access_key_secret=access_key_secret
        )
        config.endpoint = f'imm.cn-beijing.aliyuncs.com'
        return imm20200930Client(config)

    @staticmethod
    def main() -> None:
        # Alibaba CloudアカウントのAccessKeyペアは、すべてのAPI操作に対する権限を持っています。セキュリティリスクを防ぐため、RAMユーザーとしてAPI操作を呼び出したり、日常のO&Mを実行することをお勧めします。
        # AccessKeyペア（AccessKey IDとAccessKeyシークレット）をプロジェクトコードに含めないことをお勧めします。そうしないと、AccessKeyペアがリークし、アカウント内のすべてのリソースのセキュリティが侵害される可能性があります。
        # この例では、APIアクセスのためのID検証を実装するために、環境変数からAccessKeyペアを読み取ります。環境変数の設定方法については、https://help.aliyun.com/document_detail/2361894.htmlを参照してください。
        imm_access_key_id = os.getenv("AccessKeyId")
        imm_access_key_secret = os.getenv("AccessKeySecret")
        client = Sample.create_client(imm_access_key_id, imm_access_key_secret)
        semantic_query_request = imm_20200930_models.SemanticQueryRequest(
            query='IT service process', // ITサービスプロセス
            project_name='test-project',
            dataset_name='test-dataset',
            max_results=100
        )
        runtime = util_models.RuntimeOptions()
        try:
            # API操作のレスポンスを出力します。
            response = client.semantic_query_with_options(semantic_query_request, runtime)
            print(response.body.to_map())
        except Exception as error:
            # 必要に応じてエラーメッセージを出力します。
            UtilClient.assert_as_string(error.message)
            print(error)


if __name__ == '__main__':
    Sample.main()