OSS でデータインデックスを構築すると、メタデータとセマンティックコンテンツに基づいて、画像、動画、ドキュメント、音声を迅速に検索できます。
データインデックスを使用する理由
従来のデータ取得方法には大きな制約があります。OSS のデータインデックスは、これらの制約を解消します。
|
従来のデータ取得 |
OSS のデータインデックス |
|
操作が複雑:ListObjects でオブジェクトを反復処理し、メタデータを抽出してカスタムデータベースを構築する必要があります。時間がかかり、煩雑です。 |
使いやすい:データ移行や別の検索システムは不要です。OSS が自動的に構築するインデックスを介して、データを直接フィルタリングおよび分析できます。 |
|
データ取得性能が低い:大規模データでは低速かつ非効率です。 |
高性能なデータ取得:数百億のオブジェクトに対して、サブ秒レベルのインデックス作成と集約を実現します。 |
|
検索機能が限定的:OSS メタデータに基づく検索にのみ対応しています。 |
マルチモーダル対応:コンテンツに基づくセマンティック検索とオブジェクトの特徴量分析により、多様なデータ取得ニーズに対応します。 |
サポートするデータ取得方法
OSS は、MetaSearch と AISearch の 2 つのデータ取得方法をサポートしています。
|
項目 |
MetaSearch |
AISearch |
|
説明 |
OSS メタデータ、ETag、オブジェクトタグなどのメタデータ属性を使用してオブジェクトをクエリします。 |
ドキュメント、画像、動画、音声をベクトルに変換し、セマンティック類似度に基づいてオブジェクトを取得します。 |
|
ユースケース |
オブジェクト検索と統計。 |
マルチモーダル検索と複雑なオブジェクト取得。 |
|
クエリ例 |
ACL がプライベート、ストレージクラスが Standard で、2024 年 9 月 14 日にアップロードされたオブジェクトを検索します。 [OSS Metadata] パネルでは、[ストレージクラス]、[ACL]、[オブジェクト名]、[アップロードタイプ]、[最終更新日時]、[オブジェクトサイズ]、[バージョン] でフィルタリングできます。 |
「apple」に関連する画像を検索します。 [Semantic Content] フィールド (AI タグ) に「apple」と入力し、[Multimedia Metadata] の [Image] を選択します。また、[OSS Metadata] の [ストレージクラス]、[ACL]、[オブジェクト名] (ワイルドカード対応)、[アップロードタイプ]、[最終更新日時]、[オブジェクトサイズ]、[オブジェクトバージョン] でもフィルタリングできます。 |
|
結果例 |
ACL がプライベート、ストレージクラスが Standard で、2024 年 9 月 14 日にアップロードされたオブジェクトのリストを返します。 クエリは 3 つのオブジェクトを返します: |
「apple」に関連する画像オブジェクトのリストを返します。 たとえば、 |
データ取得方法の選択
検索条件の比較
|
検索条件 |
MetaSearch |
AISearch |
|
OSS メタデータ |
✅ |
✅ |
|
オブジェクトタグと ETag |
✅ |
✅ |
|
ユーザーメタデータ |
❌ |
✅ |
|
マルチメディアメタデータ |
❌ |
✅ |
|
セマンティックコンテンツ |
❌ |
✅ |
-
MetaSearch でサポートされるすべてのメタデータフィールドは、「付録:MetaSearchのフィールドと演算子の一覧」に記載されています。
-
AISearch でサポートされるすべてのメタデータフィールドは、「付録:AISearchのフィールドと演算子の一覧」に記載されています。
推奨ユースケース
-
コスト最適化の統計
タイムスタンプなどのメタデータを使用して未使用データやコールドデータを特定し、ストレージコストを最適化します。
推奨:MetaSearch。
-
データ検証
データ処理またはデータクリーニング後に、データ量やオブジェクトサイズなどのメトリクスを比較して結果を検証します。
推奨:MetaSearch。
-
データ監査
メタデータとセマンティックコンテンツを組み合わせて、コンプライアンスの観点からオブジェクトの内容を監査します。
推奨:AISearch。
-
マルチモーダル検索
マルチメディアデータとセマンティックコンテンツに基づいてオブジェクトを取得します。チャット履歴、メディアアセットライブラリ、セマンティック検索に最適です。
推奨:AISearch。
仕組み
MetaSearchの仕組み
-
アプリケーションは、画像、動画、ドキュメント、音声などのオブジェクトを OSS バケットにアップロードします。
-
OSS の管理権限を持つ RAM ユーザーが、バケットのデータインデックスを有効化し、MetaSearch を選択します。
-
OSS は、デフォルトスキーマを使用してデータインデックスを自動的に作成します。インデックスには、OSS メタデータ、ETag、オブジェクトタグが含まれます。
-
アプリケーションは DoMetaQuery API を呼び出し、メタデータ属性に基づいてオブジェクトをクエリします。
-
OSS は、クエリ条件に一致するオブジェクトを返します。
AISearchの仕組み
-
アプリケーションは、画像、動画、ドキュメント、音声などのオブジェクトを OSS バケットにアップロードします。
-
OSS の管理権限を持つ RAM ユーザーが、バケットのデータインデックスを有効化し、AISearch を選択します。
-
OSS は、デフォルトスキーマと埋め込みモデルを使用してデータインデックスを自動的に作成します。インデックスには、OSS メタデータ、ETag、オブジェクトタグ、ユーザーメタデータ、マルチメディアメタデータ、セマンティックコンテンツが含まれます。
-
アプリケーションは DoMetaQuery API を呼び出します。クエリにセマンティックコンテンツの条件を含めることで、メタデータ属性と組み合わせたハイブリッドクエリを実行できます。
-
OSS は、クエリ条件に一致するオブジェクトを返します。
はじめに
MetaSearch と AISearch を使い始めるには:
特定のユースケース向けのチュートリアル:
-
マルチモーダル検索シナリオ:チュートリアル:OSSのデータインデックスによるマルチモーダル検索
-
インテリジェント動画検索シナリオ:チュートリアル:IPCデバイス向けスマートセマンティック検索システムの構築
パフォーマンスの参考情報
データインデックスを有効化すると、OSS はメタデータインデックスを構築し、継続的に更新します。また、専用のクエリ処理能力 (QPS) を提供します。
MetaSearch と AISearch では、インデックスの構築時間、更新遅延、QPS 上限が異なります。