メタデータとセマンティックコンテンツに基づいてオブジェクトを検索する - Object Storage Service

データインデックスを作成し、オブジェクトのメタデータとセマンティックコンテンツをインデックス条件として使用して、Object Storage Service (OSS) 内の画像、動画、ドキュメント、音声ファイルをすばやく検索できます。

データインデックスを使用する理由

従来のファイル検索方法は重大な制限があり、OSS データインデックスはそれを効果的に解決します。

従来の検索	OSS データインデックス
複雑な操作: ListObject を使用してデータを走査し、カスタムデータベース構築用のメタデータを抽出する必要があるため、時間のかかる面倒なワークフローになります。	操作の簡素化: 自動的に構築された OSS インデックスを介して直接フィルタリングと統計を有効にすることで、データ移行やカスタム検索システムの必要性を排除します。
低い取得パフォーマンス: 大量のデータを処理する場合、速度が遅く、非効率的です。	高性能取得: 秒単位のインデックス作成と集約をサポートし、数十億ファイルのインデックスライブラリに拡張できます。
制限された取得機能: OSS メタデータベースの検索に制限されています。	マルチモーダルサポート: コンテンツのセマンティクスやファイルの特性評価などの高度な方法により、多様な要件を満たします。

OSS は MetaSearch と AISearch をサポートしています。次の表は、上記のデータインデックス作成方法について説明しています。

項目	MetaSearch	AISearch
説明	オブジェクトメタデータ、ETag、タグなどのメタデータ属性に基づいて特定のオブジェクトを検索します。	ドキュメント、画像、動画、音声ファイルの情報に基づいて特定のオブジェクトを検索します。セマンティックコンテンツをインデックス条件として指定でき、OSS はセマンティックコンテンツを OSS 内のオブジェクトと比較します。
シナリオ	オブジェクトクエリと統計	マルチモーダル検索と複雑なオブジェクト検索
サンプルインデックス条件	アクセス制御リスト (ACL) が非公開で、2024 年 9 月 14 日にアップロードされた標準オブジェクトを検索する	セマンティックコンテンツ「apple」に関連する画像を検索する
サンプル結果	ACL が非公開で、2024 年 9 月 14 日にアップロードされた標準オブジェクトを返す	セマンティックコンテンツ「apple」に関連する画像を返す

MetaSearch でサポートされているフィールドと演算子の詳細については、「付録: スカラー検索でサポートされているフィールドと演算子」をご参照ください。
AISearch でサポートされているフィールドと演算子の詳細については、「付録: AISearch でサポートされているフィールドと演算子」をご参照ください。

コスト最適化分析 タイムスタンプなどの OSS メタデータを使用して、重要でないデータまたはコールドデータを識別して、ストレージコストを削減します。
MetaSearch が推奨されます。
データ検証 データ処理またはデータクレンジング後に、OSS メタデータを介してデータ量やファイルサイズなどのメトリックを比較することで、データクレンジングの結果を確認します。
MetaSearch が推奨されます。
データ監査 OSS メタデータをベクターセマンティクスと統合することにより、ファイルコンテンツのディープスタティックと監査を実行して、コンプライアンス要件を満たします。
ベクター検索 が推奨されます。
マルチモーダル検索 チャット履歴、メディアアセット、セマンティクスでの検索など、高度な検索シナリオのために、マルチメディアデータとベクターセマンティクスに基づいて検索を実行します。
ベクター検索 が推奨されます。

次の図は、MetaSearch と AISearch のしくみを示しています。

次の図は、MetaSearch を使用してメタデータ属性に基づいてオブジェクトを検索する方法を示しています。

アプリケーションから OSS バケットに、画像、動画、ドキュメント、音声ファイルなどのファイルをアップロードします。
OSS を管理する権限を持つ RAM ユーザーを使用して、バケットのデータインデックスを有効にし、MetaSearch を選択します。
OSS はデフォルトのインデックステーブル構造を使用して、OSS メタデータ、オブジェクト ETag、およびオブジェクトタグを含むデータインデックスを自動的に作成します。
アプリケーションは DoMetaQuery 操作を呼び出して、メタデータ属性に基づいてオブジェクトを検索します。
OSS は、検索条件を満たすオブジェクトを返します。

次の図は、AISearch を使用してメタデータ属性とセマンティックコンテンツに基づいてオブジェクトを検索する方法を示しています。

アプリケーションから OSS バケットに、画像、動画、ドキュメント、音声ファイルなどのファイルをアップロードします。
OSS を管理する権限を持つ RAM ユーザーを使用して、バケットのデータインデックスを有効にし、AISearch を選択します。
OSS はデフォルトのインデックステーブル構造と Embedding モデルを使用して、OSS メタデータ、オブジェクト ETag、オブジェクトタグ、ユーザーメタデータ、マルチメディアメタデータ、およびセマンティックコンテンツを含むデータインデックスを自動的に作成します。
アプリケーションは DoMetaQuery 操作を呼び出して、メタデータ属性とセマンティックコンテンツに基づいてオブジェクトを検索します。
OSS は、検索条件を満たすオブジェクトを返します。

MetaSearch と AISearch の使用方法については、以下をご参照ください。

さまざまなユースケースでの詳細な手順については、以下をご参照ください。

さまざまなインデックス方法のパフォーマンスの詳細は、以下をご参照ください。