Cari objek OSS berdasarkan metadata dan konten semantik - Object Storage Service

Buat indeks data di OSS untuk menemukan gambar, video, dokumen, dan audio secara cepat berdasarkan metadata dan konten semantik.

Mengapa menggunakan pengindeksan data

Metode pengambilan tradisional memiliki keterbatasan signifikan yang diatasi oleh pengindeksan data OSS:

Pengambilan tradisional	Pengindeksan data OSS
Operasi kompleks: Memerlukan iterasi objek melalui ListObjects dan ekstraksi metadata untuk membangun basis data kustom—proses yang memakan waktu dan merepotkan.	Mudah digunakan: Tidak memerlukan migrasi data atau sistem pencarian terpisah. Filter dan analisis data langsung melalui indeks yang dibuat OSS secara otomatis.
Kinerja pengambilan rendah: Lambat dan tidak efisien pada skala besar.	Pengambilan berkinerja tinggi: Pengindeksan dan agregasi dalam waktu kurang dari satu detik untuk puluhan miliar objek.
Kemampuan pencarian terbatas: Hanya mendukung pencarian berbasis metadata OSS.	Dukungan multimodal: Pencarian semantik berbasis konten dan analisis fitur objek untuk berbagai kebutuhan pengambilan.

OSS mendukung dua metode pengambilan: MetaSearch dan AISearch.

Item	MetaSearch	AISearch
Deskripsi	Menanyakan objek berdasarkan atribut metadata, termasuk metadata OSS, ETag, dan tag objek.	Mengonversi dokumen, gambar, video, dan audio menjadi vektor, lalu mengambil objek berdasarkan kemiripan semantik.
Kasus penggunaan	Pencarian dan statistik objek.	Pencarian multimodal dan pengambilan objek kompleks.
Contoh kueri	Cari objek yang diunggah pada 14 September 2024 dengan ACL private dan kelas penyimpanan Standard. Panel OSS Metadata mendukung pemfilteran berdasarkan storage class, ACL, Object Name, Upload Type, Last Modified Time, Object Size, dan Version.	Cari gambar yang terkait dengan "apple". Masukkan "apple" di bidang Semantic Content (tag AI) dan pilih Image di bawah Multimedia Metadata. Anda juga dapat memfilter berdasarkan OSS Metadata: storage class, ACL, Object Name (mendukung wildcard), Upload Type, Last Modified Time, Object Size, dan Object Version.
Contoh hasil	Mengembalikan daftar objek yang diunggah pada 14 September 2024 dengan ACL private dan kelas penyimpanan Standard. Kueri ini mengembalikan tiga objek: `demo.mov` (105,5 MB), `demo.pdf` (1,39 MB), dan `demo.png` (230,16 KB).	Mengembalikan daftar objek gambar yang terkait dengan "apple". Sebagai contoh, objek `multimodal/apple.jpg` dikembalikan.

Semua bidang metadata MetaSearch yang didukung tercantum dalam Lampiran: Daftar bidang dan operator untuk MetaSearch.
Semua bidang metadata AISearch yang didukung tercantum dalam Lampiran: Daftar bidang dan operator AISearch.

Statistik optimalisasi biaya

Gunakan metadata seperti stempel waktu untuk mengidentifikasi data yang tidak digunakan atau data dingin dan mengoptimalkan biaya penyimpanan.

Direkomendasikan: MetaSearch.
Validasi data

Setelah pemrosesan atau pembersihan data, bandingkan metrik seperti volume data dan ukuran objek untuk memverifikasi hasil.

Direkomendasikan: MetaSearch.
Audit data

Gabungkan metadata dan konten semantik untuk mengaudit konten objek guna kepatuhan.

Direkomendasikan: AISearch.
Pencarian multimodal

Ambil objek berdasarkan data multimedia dan konten semantik—ideal untuk riwayat chat, perpustakaan aset media, dan pencarian semantik.

Direkomendasikan: AISearch.

Aplikasi mengunggah objek—seperti gambar, video, dokumen, dan audio—ke bucket OSS.
Pengguna RAM dengan izin manajemen OSS mengaktifkan pengindeksan data untuk bucket tersebut dan memilih MetaSearch.
OSS secara otomatis membuat indeks data menggunakan skema default, yang mencakup metadata OSS, ETag, dan tag objek.
Aplikasi memanggil API DoMetaQuery untuk menanyakan objek berdasarkan atribut metadata.
OSS mengembalikan objek yang sesuai dengan kondisi kueri.

Aplikasi mengunggah objek—seperti gambar, video, dokumen, dan audio—ke bucket OSS.
Pengguna RAM dengan izin manajemen OSS mengaktifkan pengindeksan data untuk bucket tersebut dan memilih AISearch.
OSS secara otomatis membuat indeks data menggunakan skema default dan model penyematan (embedding), yang mencakup metadata OSS, ETag, tag objek, user metadata, multimedia metadata, serta konten semantik.
Aplikasi memanggil API DoMetaQuery untuk melakukan kueri hibrid berdasarkan atribut metadata dan konten semantik.
OSS mengembalikan objek yang sesuai dengan kondisi kueri.

Mulai menggunakan MetaSearch dan AISearch:

Tutorial untuk kasus penggunaan spesifik:

Setelah pengindeksan data diaktifkan, OSS membangun dan terus memperbarui indeks metadata, menyediakan kapasitas kueri khusus (QPS).

MetaSearch dan AISearch berbeda dalam waktu pembuatan indeks, latensi pembaruan, dan batas QPS: