Object Storage Service:Vektor OSS

Konsep utama

• Bucket vektor: Tipe bucket baru yang berfungsi sebagai sumber daya cloud untuk mengelola data vektor berskala besar.

• Indeks vektor: Anda dapat membuat indeks vektor di dalam bucket vektor. Indeks vektor merupakan tabel indeks untuk menyimpan data vektor. Anda dapat membuat beberapa indeks vektor dalam satu bucket vektor guna mengorganisasi data sesuai kebutuhan bisnis yang berbeda. Saat menginisiasi kueri pengambilan, hasil yang dikembalikan didasarkan pada kemiripan data vektor dalam indeks vektor yang ditentukan.

• Data vektor: Array numerik berdimensi tinggi yang dihasilkan dari data tidak terstruktur—seperti gambar, video, dan dokumen—menggunakan model penyematan vektor. Array ini merepresentasikan fitur konten data tersebut. Pengambilan vektor mengembalikan hasil berdasarkan kemiripan antar vektor. Anda dapat menggunakan layanan vektorisasi apa pun, seperti ECS, PAI, atau Model Studio, untuk menghasilkan vektor, lalu menuliskannya ke indeks vektor tertentu melalui API OSS, SDK, atau alat baris perintah ossutil. Saat menulis data, Anda juga dapat menyambungkan metadata untuk filtering skalar selanjutnya.

Keunggulan

• Berbiaya rendah: Data vektor telah menjadi infrastruktur penting bagi berbagai aplikasi AI dan tumbuh secara eksponensial. Vektor OSS menerapkan model penagihan yang sederhana dan transparan, hanya membebankan biaya untuk dua komponen: penyimpanan data vektor dan volume data yang dipindai selama pengambilan. Pendekatan ini dapat mengurangi biaya hingga lebih dari 90% dibandingkan metode tradisional.

• Berskala besar: Vektor OSS dirancang untuk menyimpan dan mengelola volume data vektor yang sangat besar. Fitur ini dibangun di atas kerangka kerja arsitektur tanpa server yang secara otomatis menangani penskalaan, sehingga menghilangkan kebutuhan akan perencanaan kapasitas.

• Mudah digunakan: Vektor OSS menyediakan rangkaian lengkap API, SDK, dan alat baris perintah ossutil. Anda juga dapat mengelola data vektor di Konsol OSS melalui operasi seperti pengambilan, penyisipan, dan penyisipan massal.

• Tata kelola terpadu: Anda dapat mengelola bucket vektor dan bucket standar yang menyimpan data mentah secara konsisten. Misalnya, Anda dapat menerapkan Bucket Policy yang sama untuk kontrol akses atau mengonfigurasi jalur ekspor log umum untuk audit.

• Pengambilan semantik: Anda dapat menggunakan operasi QueryVectors untuk mengkueri data vektor dalam indeks dan menerima hasil yang diurutkan berdasarkan kemiripan. Vektor OSS juga mendukung filtering berdasarkan metadata skalar. Anda dapat menyambungkan metadata saat menulis data vektor ke bucket vektor untuk post-filtering. Saat membuat indeks vektor, Anda juga dapat menentukan metadata non-filterable. Jenis metadata ini tidak dapat digunakan untuk filtering, tetapi dikembalikan bersama hasil pengambilan untuk memberikan informasi deskriptif tentang vektor tersebut.

Kasus penggunaan

Membangun aplikasi RAG berbiaya rendah

Seiring perkembangan layanan AI, pertumbuhan eksponensial data vektor meningkatkan tekanan pada biaya penyimpanan dan pengambilan. Untuk skenario pengambilan multi-modal seperti basis pengetahuan, asisten AI, dan pengambilan citra medis, pengguna semakin toleran terhadap latensi pengambilan dalam kisaran puluhan hingga ratusan milidetik. Dalam kasus ini, menggunakan Vektor OSS sebagai fondasi penyimpanan untuk aplikasi RAG Anda dapat memenuhi kebutuhan bisnis dengan biaya yang sangat rendah.

Membangun agen AI dengan pengambilan bertingkat

Agen AI yang berbeda memiliki kebutuhan kinerja pengambilan yang bervariasi. Anda dapat memusatkan seluruh data vektor Anda di bucket vektor berbiaya rendah. Untuk skenario bisnis yang memerlukan kinerja tinggi dan latensi rendah, Anda dapat menyinkronkan data panas ke produk lain seperti Tablestore untuk pengambilan berkinerja tinggi. Pendekatan ini memungkinkan Anda membangun arsitektur aplikasi agen AI dengan pengambilan bertingkat.

Membangun platform konten AI terpadu

Aplikasi AI menghasilkan sejumlah besar konten tidak terstruktur—seperti konten buatan pengguna, dokumen internal, dan konten hasil AI—beserta vektornya, yang dapat menyebabkan sistem penyimpanan dan pengambilan yang terfragmentasi. Dengan menyimpan data mentah di bucket OSS standar dan data vektor di bucket vektor, Anda dapat membangun platform manajemen data AI yang efisien untuk kasus penggunaan seperti manajemen data AIGC. Satu set API dan SDK memungkinkan Anda mengelola file mentah dan indeks vektor secara bersamaan, menyederhanakan pembuatan platform konten AI terpadu.

Fitur enterprise

Akses titik akhir

Vektor OSS menyediakan titik akhir publik dan internal yang terpisah dari bucket OSS standar.

• Titik akhir publik: $bucketname-$uid.regionID.oss-vectors.aliyuncs.com

• Titik akhir internal: $bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

Catatan: Anda harus menggunakan domain tingkat tiga untuk semua operasi kecuali ListVectorBuckets.

Transfer aman

HTTPS mengenkripsi seluruh data saat transit.

Kontrol akses

• Bucket Policy: Mendukung kebijakan otorisasi berbasis resource yang memungkinkan Anda mengontrol izin di tingkat bucket vektor atau untuk satu atau beberapa indeks vektor.

• Kebijakan RAM: Mendukung kebijakan otorisasi RAM berbasis identitas untuk kontrol izin detail halus atas bucket vektor, indeks vektor, dan operasi data. Kebijakan ini juga mendukung otorisasi akses lintas akun.

Pencatatan log

• Ekspor log akses: Mendukung ekspor log akses ke bucket tertentu secara real time atau near-real time.

• Format log terpadu: Format log sepenuhnya kompatibel dengan log OSS standar. Format ini mencakup bidang tambahan BucketARN untuk mengidentifikasi secara unik sumber daya bucket vektor, yang menyederhanakan analisis log terpadu.

Kuota dan batasan

Vektor OSS memiliki kuota dan batasan tertentu. Saat merancang dan mengimplementasikan solusi penyimpanan dan pengambilan vektor Anda, rencanakan jumlah bucket, skala indeks, struktur metadata, dan strategi pemanggilan API berdasarkan batasan berikut. Untuk meminta peningkatan kuota apa pun di bawah ini, hubungi Dukungan Teknis.

• Satu Akun Alibaba Cloud dapat membuat maksimal 100 bucket vektor di satu Wilayah.

• Satu bucket vektor dapat berisi maksimal 100 indeks vektor.

• Satu indeks vektor dapat menyimpan maksimal 2 miliar baris data vektor.

• Dimensi vektor: 1 hingga 4.096.

• Rentang TopK untuk permintaan pengambilan vektor: 1 hingga 500 secara default.

• Ukuran total satu array vektor: 1 KB hingga 500 KB.

• Ukuran total maksimum metadata (filterable dan non-filterable) untuk satu vektor: 200 KB.

• Ukuran maksimum satu bidang metadata filterable untuk satu vektor: 2 KB.

• Jumlah maksimum bidang metadata (filterable dan non-filterable) untuk satu vektor: 100.

• Metadata skalar mendukung empat tipe data: String, Number, Boolean, dan List.

• Saat Anda menggunakan metadata untuk memfilter vektor:

  • Panjang kumulatif metadata filterable dalam satu instruksi filter tidak boleh melebihi 20 KB.

  • Jumlah item metadata filterable dalam satu instruksi filter tidak boleh melebihi 1.024.

  • Kondisi filter mendukung maksimal 8 level bersarang.

• Saat Anda menggunakan operasi QueryVectors atau ListVectors untuk filtering skalar, operator berikut didukung:

  • Kesamaan: $eq, $ne

  • Rentang: $gt, $gte, $lt, $lte

  • Inklusi: $in, $nin

  • Eksistensi: $exists

  • Logika: $and, $or

• Operasi PutVectorIndex dibatasi hingga 5 panggilan per detik.

• Operasi PutVectors memiliki batas QPS (Queries Per Second) sebesar 1.000. Satu permintaan konkuren dapat menulis hingga 500 entri per batch. Total throughput di seluruh permintaan konkuren tidak boleh melebihi 2.500 entri per detik. Misalnya, jika setiap permintaan konkuren menulis 100 entri dalam satu batch, QPS tulis maksimum yang didukung adalah 25 (2.500 / 100).

• Batas QPS untuk operasi QueryVectors adalah 100.

  • Catatan: QPS pengambilan bergantung pada faktor-faktor seperti jumlah vektor dalam satu indeks, dimensi vektor, nilai TopK, dan kondisi metadata skalar dalam kueri. Pada konfigurasi tipikal dengan 10 juta baris vektor berdimensi 1.024 dan nilai TopK 100, QPS kueri biasanya dapat mencapai 100. Saat ukuran indeks atau nilai TopK meningkat, QPS pengambilan aktual dapat menurun. Vektor OSS tidak menjamin bahwa QPS akan mencapai 100. Lakukan pengujian dengan workload Anda untuk memastikan kinerja aktual.

• Operasi ListVectorIndexes mengembalikan maksimal 500 indeks per halaman. Anda dapat menggunakan paginasi untuk mengambil batch indeks berikutnya.

• Konkurensi maksimum untuk operasi ListVectorIndexes adalah 16.

Penagihan

Vektor OSS saat ini berada dalam masa pratinjau publik gratis. Penagihan komersial akan dimulai pada 10 Juni 2026 (UTC+8). Harap pantau tagihan Anda. Untuk informasi lebih lanjut mengenai metode penagihan, lihat Item penagihan vektor.