Ikhtisar bucket vektor - Object Storage Service

Bucket vektor adalah jenis bucket yang ditawarkan oleh Alibaba Cloud Object Storage Service (OSS) khusus untuk menyimpan, mengkueri, dan mengelola data vektor. Bucket ini berbiaya rendah, berskala besar, dan mudah digunakan. Bucket vektor menyediakan kemampuan penyimpanan dan kueri vektor untuk skenario AI seperti pengambilan multi-modal, basis pengetahuan, Generasi yang Diperkaya dengan Pengambilan Data (RAG), dan agen AI. Anda dapat menulis data vektor yang dihasilkan oleh layanan pihak ketiga apa pun ke dalam bucket vektor. Bucket ini juga mendukung administrasi terpadu untuk sejumlah besar data mentah dan data vektor. Sebagai contoh, Anda dapat mengonfigurasi kebijakan bucket yang sama untuk bucket data mentah dan bucket vektor, atau mengekspor log dalam format terpadu untuk keperluan audit.

Konsep inti

Bucket vektor: Jenis bucket baru yang berfungsi sebagai sumber daya cloud untuk mengelola data vektor berskala besar.
Indeks vektor: Anda dapat membuat indeks vektor di dalam bucket vektor. Indeks vektor adalah tabel indeks yang menyimpan data vektor. Anda dapat membuat beberapa indeks vektor dalam satu bucket vektor yang sama untuk menyimpan data vektor dari berbagai jenis bisnis. Saat Anda menginisiasi kueri pengambilan, hasilnya dikembalikan berdasarkan tingkat kemiripan data vektor dalam indeks tersebut.
Data vektor: Array numerik berdimensi tinggi yang dibuat dengan mengonversi data tidak terstruktur—seperti citra, video, dan dokumen—menggunakan model vektor. Array ini merepresentasikan fitur konten dari data tersebut. Pengambilan vektor mengembalikan hasil berdasarkan kemiripan data vektor ini. Anda dapat menggunakan layanan vektorisasi apa pun, seperti ECS, PAI, atau Alibaba Cloud Model Studio, untuk menghasilkan vektor. Kemudian, Anda dapat menuliskannya ke indeks vektor tertentu melalui API OSS, kit pengembangan perangkat lunak (SDK), atau tool ossutil. Saat menulis data, Anda juga dapat menyambungkan metadata untuk mendukung kueri pemfilteran skalar selanjutnya.

Manfaat

Berbiaya rendah: Data vektor telah menjadi infrastruktur penting bagi berbagai aplikasi AI dan pertumbuhannya eksponensial. Bucket vektor menggunakan model penagihan yang sederhana dan transparan. Anda hanya dikenai biaya berdasarkan kapasitas penyimpanan data vektor dan jumlah data yang dipindai selama pengambilan. Hal ini dapat mengurangi biaya hingga lebih dari 90% dibandingkan metode tradisional.
Berskala besar: Bucket vektor OSS dirancang dengan arsitektur untuk penyimpanan data vektor berskala besar dan mampu menangani kebutuhan penyimpanan yang sangat besar. OSS menggunakan arsitektur serverless yang bersifat elastis. Saat menggunakan bucket vektor, Anda tidak perlu khawatir tentang scaling out.
Mudah digunakan: Bucket vektor OSS menyediakan rangkaian lengkap API, SDK, dan antarmuka baris perintah ossutil. Anda juga dapat mengelola serta melakukan operasi baca/tulis data vektor di Konsol OSS, seperti mengambil, menambahkan, dan melakukan penyisipan massal data vektor.
Manajemen terpadu: Anda dapat mengelola bucket vektor dan bucket yang menyimpan data mentah dalam jumlah besar dengan cara yang sama. Sebagai contoh, Anda dapat mengonfigurasi kebijakan bucket yang sama untuk pengelolaan izin atau menetapkan path ekspor log yang sama untuk audit operasi.
Pengambilan semantik: Anda dapat menggunakan operasi QueryVectors yang disediakan oleh bucket vektor untuk mengkueri data vektor dalam tabel indeks dan mengambil hasil yang diurutkan berdasarkan tingkat kemiripan. Bucket vektor OSS juga mendukung kueri pemfilteran berdasarkan metadata skalar. Anda dapat menyertakan metadata skalar saat menulis data vektor ke bucket vektor OSS untuk mengaktifkan post-filtering. Saat membuat indeks vektor, Anda juga dapat menetapkan metadata non-filterable. Metadata non-filterable tidak dapat digunakan sebagai kondisi post-filtering, tetapi akan dikembalikan bersama hasil pengambilan sebagai informasi deskriptif untuk hasil vektor tersebut.

Skenario

Skenario 1: Membangun aplikasi RAG berbiaya rendah

Saat bisnis AI berkembang, skala data vektor meningkat secara eksponensial, sehingga meningkatkan biaya penyimpanan dan pengambilan. Untuk skenario pengambilan multi-modal seperti basis pengetahuan, asisten AI, dan pengambilan citra medis, pengguna semakin toleran terhadap latensi pengambilan yang berkisar antara puluhan hingga ratusan milidetik. Dalam kasus ini, penggunaan bucket vektor sebagai fondasi penyimpanan vektor untuk aplikasi RAG dapat memenuhi kebutuhan bisnis dengan biaya yang sangat rendah.

Skenario 2: Membangun agen AI dengan pengambilan bertingkat

Agen AI yang berbeda memiliki persyaratan kinerja pengambilan yang berbeda pula. Anda dapat menyimpan seluruh data vektor secara terpusat di bucket vektor OSS berbiaya rendah. Untuk skenario bisnis yang memerlukan kinerja tinggi dan latensi rendah, Anda dapat menyinkronkan data panas ke produk lain, seperti Tablestore, untuk pengambilan berkinerja tinggi. Pendekatan ini memungkinkan Anda membangun arsitektur aplikasi agen AI dengan pengambilan bertingkat.

Skenario 3: Membangun platform manajemen konten AI dengan manajemen data terpadu

Aplikasi AI menghasilkan sejumlah besar konten tidak terstruktur, seperti konten yang dihasilkan pengguna (UGC), dokumen internal, dan konten yang dihasilkan AI, beserta hasil vektorisasinya yang sesuai. Hal ini dapat menyebabkan sistem penyimpanan dan pengambilan yang terfragmentasi. Dengan menyimpan data mentah di bucket OSS standar dan data vektor di bucket vektor OSS, Anda dapat membangun platform manajemen data AI yang efisien untuk kasus penggunaan seperti manajemen data AIGC. Anda hanya memerlukan satu set API atau SDK untuk mengelola dan mengakses file mentah maupun indeks vektor, sehingga mempermudah pembangunan platform manajemen konten AI yang efisien dan terpadu.

Fitur enterprise

Akses titik akhir

Bucket vektor menyediakan titik akhir publik dan internal yang terpisah serta diisolasi dari bucket OSS standar.

Titik akhir publik: $bucketname-$uid.regionID.oss-vectors.aliyuncs.com
Titik akhir internal: $bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

Catatan: Anda harus menggunakan domain tingkat tiga untuk semua operasi kecuali ListVectorBuckets.

Transfer aman

Data dienkripsi selama transit menggunakan HTTPS.

Kontrol akses

Kebijakan bucket: Mendukung kebijakan otorisasi berbasis resource yang memungkinkan Anda mengontrol izin pada tingkat bucket vektor atau satu/more indeks vektor.
Kebijakan RAM: Mendukung kebijakan otorisasi RAM berbasis identitas untuk kontrol izin detail halus atas bucket vektor, indeks vektor, dan operasi data. Kebijakan ini juga mendukung otorisasi akses lintas akun.

Log

Ekspor log akses: Mendukung ekspor log akses ke bucket tertentu secara real time atau near-real time.
Format log terpadu: Format log sepenuhnya kompatibel dengan log OSS standar. Format ini mencakup bidang tambahan BucketARN untuk mengidentifikasi secara unik resource bucket vektor, sehingga menyederhanakan analisis log terpadu.

Kuota dan batasan

Bucket vektor memiliki kuota dan batasan tertentu. Saat merancang dan mengimplementasikan solusi penyimpanan dan pengambilan vektor Anda, rencanakan jumlah bucket, skala indeks, struktur metadata, dan strategi pemanggilan API berdasarkan batasan berikut.

Sebuah Akun Alibaba Cloud dapat membuat maksimal 10 bucket vektor dalam satu Wilayah. Untuk menambah kuota ini, hubungi Technical Support.
Sebuah bucket vektor tunggal dapat berisi maksimal 100 indeks vektor. Untuk menambah kuota ini, hubungi Technical Support.
Sebuah tabel indeks vektor tunggal dapat menyimpan maksimal 50 juta baris data vektor. Untuk menambah kuota ini hingga 2 miliar baris per tabel, hubungi Technical Support.
Dimensi vektor: 1 hingga 4.096.
Rentang TopK untuk permintaan pengambilan vektor: 1 hingga 30 secara default. Untuk menaikkan batas atas TopK hingga 100, hubungi Technical Support.
Ukuran total array vektor tunggal: 1 KB hingga 500 KB.
Ukuran total metadata (filterable dan non-filterable) untuk satu vektor: 40 KB.
Ukuran metadata filterable untuk satu vektor: 2 KB.
Jumlah bidang metadata non-filterable untuk satu vektor: 10.
Saat memfilter vektor menggunakan metadata:
- Panjang kumulatif metadata filterable dalam satu instruksi filter tidak boleh melebihi 64 KB.
- Jumlah item metadata filterable dalam satu instruksi filter tidak boleh melebihi 1.024.
- Kondisi filter mendukung maksimal 8 level bersarang.
Frekuensi permintaan untuk API PutVectorIndex dibatasi maksimal 5 panggilan per detik.
Maksimal 500 entri dapat ditulis dalam satu batch menggunakan API PutVectors.
Maksimal 500 indeks dikembalikan per halaman dalam respons API ListVectorIndexes. Anda dapat menggunakan paging untuk mengambil batch indeks berikutnya.
Konkurensi maksimum untuk API ListVectorIndexes adalah 16.

Informasi penagihan

Fitur ini saat ini berada dalam masa pratinjau undangan gratis. Untuk mengajukan uji coba, kunjungi halaman Vector Bucket.