Object Storage Service (OSS) データをインデックス化することで、メタデータまたはセマンティックコンテンツに基づいて画像、動画、ドキュメント、オーディオをすばやく検索できます。
データインデックス作成を使用する理由
従来の取得方法には、データインデックス作成で解決できる制約があります:
|
従来の取得 |
OSS データインデックス作成 |
|
複雑な操作:ListObjects でオブジェクトを反復処理し、カスタムのメタデータデータベースを構築する必要があります。 |
利用が容易:データ移行やカスタム検索システムは不要です。OSS が自動的に構築するインデックスを通じて、データを直接クエリおよび分析できます。 |
|
低い取得性能:大規模環境では遅く、非効率です。 |
高い取得性能:数百億のオブジェクトに対して、サブ秒でのインデックス作成と集約が可能です。 |
|
限定的な検索機能:OSS メタデータに基づく検索のみをサポートします。 |
マルチモーダル対応:コンテンツタイプをまたいだセマンティック検索とオブジェクト特徴量分析に対応します。 |
サポートされているデータ取得方法
OSS は 2 つの検索方法 (MetaSearch と AISearch) をサポートします。
|
項目 |
MetaSearch |
AISearch |
|
説明 |
OSS メタデータ、ETag、オブジェクトタグなどのメタデータ属性に基づいてオブジェクトをクエリします。 |
ドキュメント、画像、動画、オーディオをベクトルに変換し、意味的類似性に基づいてオブジェクトを取得します。 |
|
ユースケース |
オブジェクトの検索と統計。 |
マルチモーダル検索と複雑なオブジェクト取得。 |
|
クエリ例 |
2024 年 9 月 14 日にアップロードされ、ACL がプライベートで、ストレージクラスがスタンダードのオブジェクトを検索します。 [OSS Metadata] パネルでは、[ストレージクラス]、[ACL]、[オブジェクト名]、[アップロードタイプ]、[最終更新日時]、[オブジェクトサイズ]、[バージョン] でフィルタリングします。 |
"apple" に関連する画像を検索します。 [セマンティックコンテンツ] フィールド (AI タグ) に "apple" を入力し、[マルチメディアメタデータ] の [Image] を選択します。さらに [OSS Metadata] で、[ストレージクラス]、[ACL]、[オブジェクト名] (ワイルドカード対応)、[アップロードタイプ]、[最終更新日時]、[オブジェクトサイズ]、[オブジェクトバージョン] で絞り込みます。 |
|
結果例 |
2024 年 9 月 14 日にアップロードされ、ACL がプライベートで、ストレージクラスがスタンダードのオブジェクトの一覧を返します。 クエリは 3 つのオブジェクト ( |
"apple" に関連する画像オブジェクトの一覧を返します。 例として、 |
データ取得方法の選択
バケットでは MetaSearch または AISearch のいずれかを有効化できますが、同時に両方を有効化することはできません。
検索条件の比較
|
検索条件 |
MetaSearch |
AISearch |
|
OSS メタデータ |
✅ |
✅ |
|
オブジェクトタグと ETag |
✅ |
✅ |
|
ユーザーメタデータ |
❌ |
✅ |
|
マルチメディアメタデータ |
❌ |
✅ |
|
セマンティックコンテンツ |
❌ |
✅ |
-
MetaSearch でサポートされているすべてのメタデータフィールドは、「付録:MetaSearch のフィールドと演算子の一覧」に記載されています。
-
AISearch でサポートされているすべてのメタデータフィールドは、「付録:AISearch のフィールドと演算子の一覧」に記載されています。
推奨ユースケース
-
コスト最適化の統計
タイムスタンプなどのメタデータを使用して未使用またはコールドデータを特定し、ストレージコストを最適化します。
推奨: MetaSearch。
-
データ検証
データ処理またはクレンジング後に、データ量やオブジェクトサイズなどの指標を比較して結果を検証します。
推奨: MetaSearch。
-
データ監査
メタデータとセマンティックコンテンツを組み合わせて、コンプライアンスの観点からオブジェクト内容を監査します。
推奨: AISearch。
-
マルチモーダル検索
マルチメディアデータとセマンティックコンテンツに基づいてオブジェクトを取得します。チャット履歴、メディアアセットライブラリ、セマンティック検索に最適です。
推奨: AISearch。
仕組み
MetaSearch の仕組み
-
アプリケーションは、画像、動画、ドキュメント、オーディオなどのオブジェクトを OSS バケットにアップロードします。
-
OSS の管理権限を持つ RAM ユーザーがデータインデックス作成を有効化し、MetaSearch を選択します。
-
OSS は、デフォルトスキーマを使用してデータインデックスを自動的に作成します。インデックスには OSS メタデータ、ETag、オブジェクトタグが含まれます。
-
アプリケーションは DoMetaQuery API を呼び出して、メタデータ属性に基づいてオブジェクトをクエリします。
-
OSS は、クエリ条件に一致するオブジェクトを返します。
AISearch の仕組み
-
アプリケーションは、画像、動画、ドキュメント、オーディオなどのオブジェクトを OSS バケットにアップロードします。
-
OSS の管理権限を持つ RAM ユーザーがデータインデックス作成を有効化し、AISearch を選択します。
-
OSS は、デフォルトスキーマと埋め込みモデルを使用してデータインデックスを自動的に作成します。インデックスには OSS メタデータ、ETag、オブジェクトタグ、ユーザーメタデータ、マルチメディアメタデータ、セマンティックコンテンツが含まれます。
-
アプリケーションは DoMetaQuery API を呼び出して、メタデータ属性とセマンティックコンテンツに基づいてオブジェクトをクエリします。
-
OSS は、クエリ条件に一致するオブジェクトを返します。
利用開始
MetaSearch と AISearch の利用を開始するには:
特定のユースケース向けチュートリアル:
-
マルチモーダル検索シナリオ:チュートリアル:OSS データインデックス作成によるマルチモーダル検索
-
インテリジェント動画検索シナリオ:チュートリアル:IPC デバイス向けスマートセマンティック検索システムの構築
パフォーマンスの参考情報
有効化すると、データインデックス作成は専用のクエリ処理能力 (QPS) でメタデータインデックスを構築し、継続的に更新します。
MetaSearch と AISearch では、インデックスの構築時間、更新レイテンシ、QPS 上限が異なります: