Object Storage Service:Ikhtisar bucket vektor

Konsep inti

• Bucket vektor: Jenis bucket yang berfungsi sebagai sumber daya cloud untuk mengelola data vektor berskala besar.

• Indeks vektor: Tabel indeks di dalam bucket vektor yang menyimpan data vektor. Anda dapat membuat beberapa indeks vektor dalam satu bucket vektor untuk menyimpan data vektor dari berbagai skenario bisnis. Saat melakukan kueri pengambilan, hasil dikembalikan berdasarkan tingkat kemiripan data vektor dalam indeks tersebut.

• Data vektor: Array numerik berdimensi tinggi yang dihasilkan dari konversi data tidak terstruktur—seperti gambar, video, dan dokumen—menggunakan model vektor. Array ini merepresentasikan fitur konten dari data tersebut. Pengambilan vektor mengembalikan hasil berdasarkan kemiripan data vektor ini. Anda dapat menggunakan layanan vektorisasi apa pun, seperti ECS, PAI, atau Alibaba Cloud Model Studio, untuk menghasilkan vektor, lalu menuliskannya ke indeks vektor tertentu melalui API OSS, kit pengembangan perangkat lunak (SDK), atau tool ossutil. Saat menulis data, Anda juga dapat menyambungkan metadata untuk digunakan dalam kueri filter skalar selanjutnya.

Manfaat

• Berbiaya rendah: Data vektor merupakan infrastruktur penting bagi berbagai aplikasi AI dan volumenya terus meningkat secara eksponensial. Bucket vektor menggunakan model penagihan yang sederhana dan transparan—Anda hanya dikenai biaya berdasarkan kapasitas penyimpanan data vektor dan jumlah data yang dipindai selama pengambilan. Model ini dapat mengurangi biaya hingga lebih dari 90% dibandingkan metode tradisional.

• Berskala besar: Bucket vektor OSS dirancang dengan arsitektur yang mendukung penyimpanan data vektor berskala besar dan mampu menangani kebutuhan penyimpanan masif. OSS menggunakan arsitektur serverless yang elastis, sehingga Anda tidak perlu mengelola penskalaan saat menggunakan bucket vektor.

• Mudah digunakan: Bucket vektor OSS menyediakan rangkaian lengkap API, SDK, dan antarmuka baris perintah ossutil. Anda juga dapat mengelola serta melakukan operasi baca dan tulis data vektor di Konsol OSS, seperti mengambil, menambahkan, dan melakukan penyisipan massal data vektor.

• Manajemen terpadu: Anda dapat mengelola bucket vektor dan bucket yang menyimpan data mentah dalam jumlah besar dengan cara yang sama. Misalnya, Anda dapat menerapkan kebijakan bucket yang sama untuk pengelolaan izin atau menetapkan jalur ekspor log yang sama untuk audit operasi.

• Pengambilan semantik: Anda dapat menggunakan operasi QueryVectors yang disediakan oleh bucket vektor untuk mengkueri data vektor dalam tabel indeks dan mendapatkan hasil yang diurutkan berdasarkan kemiripan. Bucket vektor OSS juga mendukung kueri filter berdasarkan metadata skalar. Anda dapat menyertakan metadata skalar saat menulis data vektor ke bucket vektor OSS untuk mengaktifkan post-filtering. Saat membuat indeks vektor, Anda juga dapat menetapkan metadata non-filterable. Metadata non-filterable tidak dapat digunakan sebagai kondisi filter, tetapi akan dikembalikan bersama hasil pengambilan sebagai informasi deskriptif untuk hasil vektor tersebut.

Skenario

Skenario 1: Membangun aplikasi RAG berbiaya rendah

Seiring perkembangan bisnis AI, skala data vektor meningkat secara eksponensial, yang pada gilirannya meningkatkan biaya penyimpanan dan pengambilan. Untuk skenario pengambilan multi-modal—seperti basis pengetahuan, asisten AI, dan pengambilan citra medis—pengguna umumnya toleran terhadap latensi pengambilan yang berkisar antara puluhan hingga ratusan milidetik. Dalam kasus ini, Anda dapat menggunakan bucket vektor sebagai fondasi penyimpanan untuk aplikasi RAG guna memenuhi kebutuhan bisnis dengan biaya yang sangat rendah.

Skenario 2: Membangun agen AI dengan pengambilan bertingkat

Agen AI yang berbeda memiliki kebutuhan berbeda terhadap kinerja pengambilan. Anda dapat menyimpan seluruh data vektor secara terpusat di bucket vektor OSS berbiaya rendah. Untuk skenario bisnis yang memerlukan kinerja tinggi dan latensi rendah, Anda dapat menyinkronkan data panas ke produk lain, seperti Tablestore, untuk pengambilan berkinerja tinggi. Pendekatan ini memungkinkan Anda membangun arsitektur aplikasi agen AI dengan pengambilan bertingkat.

Skenario 3: Membangun platform manajemen konten AI dengan manajemen data terpadu

Aplikasi AI menghasilkan sejumlah besar konten tidak terstruktur—seperti konten yang dibuat pengguna (UGC), dokumen internal, dan konten yang dihasilkan AI—beserta hasil vektorisasinya. Proses ini dapat menyebabkan sistem penyimpanan dan pengambilan yang terfragmentasi. Anda dapat menyimpan data mentah di bucket OSS standar dan data vektor di bucket vektor OSS untuk membangun platform manajemen data AI yang efisien, misalnya untuk manajemen data konten yang dihasilkan AI (AIGC). Cukup dengan satu set API atau SDK, Anda dapat mengelola dan mengakses file mentah maupun indeks vektor, sehingga mempermudah pembangunan platform manajemen konten AI yang efisien dan terpadu.

Fitur enterprise

Akses nama domain

Menyediakan titik akhir jaringan publik dan internal khusus yang diisolasi dari bucket OSS tujuan umum.

• Titik akhir publik: $bucketname-$uid.regionID.oss-vectors.aliyuncs.com

• Titik akhir internal: $bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

Catatan: Anda harus menggunakan domain tingkat tiga untuk semua operasi kecuali ListVectorBuckets.

Transfer aman

Gunakan HTTPS untuk mengenkripsi data saat transit.

Kontrol akses

• Kebijakan bucket: Mendukung kebijakan otorisasi berbasis resource yang memungkinkan Anda mengontrol izin di tingkat bucket vektor atau satu/more indeks vektor.

• Kebijakan RAM: Mendukung kebijakan otorisasi RAM berbasis identitas untuk kontrol izin detail halus atas bucket vektor, indeks vektor, dan operasi data. Kebijakan ini juga mendukung otorisasi akses lintas akun.

Log

• Ekspor log akses: Mendukung ekspor log akses ke bucket tertentu secara real time atau near-real time.

• Format log terpadu: Format log sepenuhnya kompatibel dengan log OSS standar dan mencakup bidang tambahan BucketARN untuk mengidentifikasi secara unik sumber daya bucket vektor, yang menyederhanakan analisis log terpadu.

Kuota dan batasan

Bucket vektor memiliki kuota dan batasan tertentu. Saat merancang dan menerapkan solusi penyimpanan dan pengambilan vektor Anda, rencanakan jumlah bucket, skala indeks, struktur metadata, dan strategi pemanggilan API sesuai batasan berikut.

• Satu Akun Alibaba Cloud dapat membuat maksimal 10 bucket vektor di satu Wilayah. Untuk menaikkan kuota ini, hubungi Technical Support.

• Satu bucket vektor dapat berisi maksimal 100 indeks vektor. Untuk menaikkan kuota ini, hubungi Technical Support.

• Satu tabel indeks vektor dapat menyimpan hingga 2 miliar baris data vektor.

• Dimensi vektor: 1 hingga 4.096.

• Rentang TopK untuk permintaan pengambilan vektor: 1 hingga 100 secara default.

• Ukuran total satu array vektor: 1 KB hingga 500 KB.

• Ukuran total metadata (filterable dan non-filterable) untuk satu vektor: 40 KB.

• Ukuran metadata filterable untuk satu vektor: 2 KB.

• Jumlah bidang metadata non-filterable untuk satu vektor: 10.

• Saat memfilter vektor menggunakan metadata:

  • Panjang kumulatif metadata filterable dalam satu instruksi filter tidak boleh melebihi 64 KB.

  • Jumlah item metadata filterable dalam satu instruksi filter tidak boleh melebihi 1.024.

  • Kondisi filter mendukung maksimal 8 level bersarang.

• Frekuensi permintaan untuk API PutVectorIndex dibatasi maksimal 5 panggilan per detik.

• Anda dapat menulis hingga 500 entri dalam satu batch menggunakan API PutVectors. API ini mendukung hingga 5 permintaan per detik (QPS).

• Maksimal 500 indeks dikembalikan per halaman dalam respons API ListVectorIndexes. Anda dapat menggunakan paging untuk mengambil batch indeks berikutnya.

• Konkurensi maksimum untuk API ListVectorIndexes adalah 16.