Object Storage Service:OSS Vectors

Konsep utama

• Vector bucket: Tipe bucket baru yang berfungsi sebagai sumber daya cloud untuk mengelola data vektor berskala besar.

• Vector index: Anda dapat membuat indeks vektor dalam vector bucket. Vector index merupakan tabel indeks untuk menyimpan data vektor. Anda dapat membuat beberapa vector index dalam satu vector bucket guna mengorganisasi data sesuai kebutuhan bisnis yang berbeda. Saat menginisiasi kueri pengambilan, hasil kueri dikembalikan berdasarkan kemiripan data vektor dalam vector index yang ditentukan.

• Index mode: Vector index dapat menggunakan salah satu dari dua mode: Standard Mode atau Fusion Mode. Kedua mode berbeda dalam struktur indeks, kemampuan skema, dan metode pengambilan. Anda harus menentukan mode saat membuat vector index. Anda dapat membuat vector index dengan mode berbeda dalam satu vector bucket yang sama.

• Vector data: Array numerik berdimensi tinggi yang dihasilkan dari data tidak terstruktur, seperti gambar, video, dan dokumen, menggunakan model penyematan vektor. Array ini merepresentasikan fitur konten data tersebut. Pengambilan vektor mengembalikan hasil berdasarkan kemiripan antar vektor tersebut. Anda dapat menggunakan layanan vektorisasi apa pun, seperti ECS, PAI, atau Model Studio, untuk menghasilkan vektor lalu menuliskannya ke vector index tertentu melalui API OSS, SDK, atau alat baris perintah ossutil. Saat menulis data, Anda juga dapat menyambungkan metadata untuk filtering skalar selanjutnya.

• Scalar metadata: Saat menulis data vektor, Anda juga dapat menyambungkan metadata skalar untuk filtering skalar selanjutnya.

Mode indeks vektor

OSS Vectors menyediakan dua mode indeks untuk memenuhi kebutuhan berbeda terkait biaya, performa, dan kompleksitas pengambilan. Anda dapat membuat indeks kedua mode tersebut dalam satu vector bucket yang sama.

Manfaat

• Biaya rendah: Data vektor telah menjadi infrastruktur penting bagi berbagai aplikasi AI dan tumbuh secara eksponensial. OSS Vectors menerapkan model penagihan sederhana dan transparan yang hanya membebankan biaya untuk dua komponen: penyimpanan data vektor dan volume data yang dipindai selama pengambilan. Pendekatan ini dapat mengurangi biaya hingga lebih dari 90% dibandingkan metode tradisional.

• Berskala besar: OSS Vectors dirancang untuk menyimpan dan mengelola volume data vektor yang sangat besar. Fitur ini dibangun di atas kerangka kerja serverless yang secara otomatis menangani penskalaan, sehingga menghilangkan kebutuhan perencanaan kapasitas.

• Mudah digunakan: OSS Vectors menyediakan serangkaian lengkap API, SDK, dan alat baris perintah ossutil. Anda juga dapat mengelola data vektor di Konsol OSS melalui operasi seperti pengambilan, penyisipan, dan penyisipan massal.

• Tata kelola terpadu: Anda dapat mengelola vector bucket dan bucket standar yang menyimpan data mentah secara konsisten. Misalnya, Anda dapat menerapkan Bucket Policy yang sama untuk kontrol akses atau mengonfigurasi jalur ekspor log umum untuk audit.

• Pengambilan semantik: Anda dapat menggunakan operasi QueryVectors untuk mengkueri data vektor dalam suatu indeks dan menerima hasil yang diurutkan berdasarkan kemiripan. OSS Vectors juga mendukung filtering berdasarkan metadata skalar. Anda dapat menyambungkan metadata saat menulis data vektor ke vector bucket untuk post-filtering. Saat membuat vector index, Anda juga dapat menentukan metadata non-filterable. Jenis metadata ini tidak dapat digunakan untuk filtering tetapi dikembalikan bersama hasil pengambilan untuk memberikan informasi deskriptif tentang vektor tersebut.

• Pencarian hibrida (Fusion Mode): Fusion Mode memungkinkan Anda mengonfigurasi beberapa bidang vektor dan berbagai tipe bidang skalar dalam satu indeks serta mengambilnya secara konkuren melalui beberapa retriever. Hasil dari semua retriever kemudian difusikan dan diperingkat menggunakan RRF atau Weighted Rank. Pendekatan ini memenuhi kebutuhan pengambilan presisi tinggi dalam skenario multi-modal dengan kondisi kompleks.

Kasus penggunaan

Membangun aplikasi RAG berbiaya rendah

Seiring perkembangan layanan AI, pertumbuhan eksponensial data vektor meningkatkan tekanan pada biaya penyimpanan dan pengambilan. Untuk skenario pengambilan multi-modal seperti basis pengetahuan, asisten AI, dan pengambilan citra medis, pengguna semakin toleran terhadap latensi pengambilan dalam kisaran puluhan hingga ratusan milidetik. Dalam kasus ini, penggunaan OSS Vectors Standard Mode sebagai fondasi penyimpanan untuk aplikasi RAG Anda dapat memenuhi kebutuhan bisnis dengan biaya sangat rendah.

Membangun agen AI dengan pengambilan bertingkat

Agen AI yang berbeda memiliki kebutuhan performa pengambilan yang bervariasi. Anda dapat memusatkan seluruh data vektor Anda dalam vector bucket OSS berbiaya efektif dalam Standard Mode. Untuk skenario bisnis yang menuntut performa tinggi dan latensi rendah, Anda dapat menyimpan data dalam vector bucket OSS dalam Fusion Mode. Pendekatan ini memungkinkan Anda membangun arsitektur aplikasi agen AI dengan pengambilan bertingkat.

Membangun platform konten AI terpadu

Aplikasi AI menghasilkan sejumlah besar konten tidak terstruktur (seperti konten buatan pengguna, dokumen internal, dan konten hasil AI) beserta vektornya, yang dapat menyebabkan fragmentasi sistem penyimpanan dan pengambilan. Dengan menyimpan data mentah di bucket OSS standar dan data vektor di vector bucket, Anda dapat membangun platform manajemen data AI yang efisien untuk kasus penggunaan seperti manajemen data AIGC. Satu set API dan SDK memungkinkan Anda mengelola file mentah dan indeks vektor secara bersamaan, menyederhanakan pembuatan platform konten AI terpadu.

Pencarian hibrida semantik dan multi-modal

Untuk skenario online yang menuntut recall lebih tinggi dan latensi lebih rendah, seperti pencarian produk e-commerce, pemahaman konten video dan gambar, serta Q&A basis pengetahuan perusahaan, Anda dapat menggunakan Fusion Mode. Mode ini mendukung vektor multi-kolom, pencarian teks lengkap, dan peringkat hibrida lintas beberapa retriever. Mode ini secara fleksibel menggabungkan berbagai sinyal pengambilan, termasuk kemiripan vektor, kata kunci teks, filtering skalar, dan data geospasial, untuk secara signifikan meningkatkan hasil pengambilan untuk kueri kompleks.

Fitur enterprise

Endpoint access

OSS Vectors menyediakan titik akhir publik dan internal terpisah yang diisolasi dari bucket OSS standar.

• Public endpoint: $bucketname-$uid.regionID.oss-vectors.aliyuncs.com

• Internal endpoint: $bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

Catatan: Anda harus menggunakan domain tingkat tiga untuk semua operasi kecuali ListVectorBuckets.

Secure transfer

HTTPS mengenkripsi semua data dalam transit.

Access control

• Bucket Policy: Mendukung kebijakan otorisasi berbasis resource yang memungkinkan Anda mengontrol izin di tingkat vector bucket atau satu atau beberapa vector index.

• RAM Policy: Mendukung kebijakan otorisasi RAM berbasis identitas untuk kontrol izin detail halus atas vector bucket, vector index, dan operasi data. Kebijakan ini juga mendukung otorisasi akses lintas akun.

Logging

• Access log export: Mendukung ekspor log akses ke bucket tertentu secara real time atau near-real time.

• Unified log format: Format log sepenuhnya kompatibel dengan log OSS standar. Format ini mencakup tambahan bidang BucketARN untuk mengidentifikasi secara unik sumber daya vector bucket, yang menyederhanakan analisis log terpadu.

Kuota dan batasan

OSS Vectors memiliki kuota dan batasan tertentu. Saat merancang dan mengimplementasikan solusi penyimpanan dan pengambilan vektor Anda, rencanakan jumlah bucket, skala indeks, struktur metadata, dan strategi pemanggilan API berdasarkan batasan berikut. Untuk meminta peningkatan kuota apa pun di bawah ini, hubungi Technical Support.

• Satu Akun Alibaba Cloud dapat membuat maksimal 100 vector bucket di satu wilayah.

• Satu vector bucket dapat berisi maksimal 100 vector index.

Batasan Standard Mode

• Satu vector index dapat menyimpan maksimal 2 miliar baris data vektor.

• Dimensi vektor: 1 hingga 4.096.

• Rentang TopK untuk permintaan pengambilan vektor: 1 hingga 500 secara default.

• Ukuran total maksimum metadata (filterable dan non-filterable) untuk satu vektor: 200 KB.

• Ukuran maksimum satu bidang metadata filterable untuk satu vektor: 2 KB.

• Jumlah maksimum bidang metadata (filterable dan non-filterable) untuk satu vektor: 100.

• Metadata skalar mendukung empat tipe data: String, Number, Boolean, dan List.

• Saat Anda menggunakan metadata untuk memfilter vektor:

  • Panjang kumulatif metadata filterable dalam satu instruksi filter tidak boleh melebihi 20 KB.

  • Jumlah item metadata filterable dalam satu instruksi filter tidak boleh melebihi 1.024.

  • Kondisi filter mendukung maksimal 8 level bersarang.

• Saat Anda menggunakan operasi QueryVectors atau ListVectors untuk filtering skalar, operator berikut didukung:

  • Kesamaan: $eq, $ne

  • Rentang: $gt, $gte, $lt, $lte

  • Inklusi: $in, $nin

  • Eksistensi: $exists

  • Logika: $and, $or, $nor

• Untuk satu bucket, operasi PutVectorIndex dibatasi hingga 5 panggilan per detik.

• Untuk satu indeks, operasi PutVectors memiliki batas QPS (Queries Per Second) sebesar 1.000. Satu permintaan konkuren dapat menulis hingga 500 entri per batch. Total throughput lintas semua permintaan konkuren tidak boleh melebihi 2.500 entri per detik. Misalnya, jika setiap permintaan konkuren menulis 100 entri dalam satu batch, QPS tulis maksimum yang didukung adalah 25 (2.500 / 100).

• Ukuran badan permintaan maksimum untuk operasi PutVectors adalah 20 MB.

• Untuk satu indeks, batas QPS untuk operasi QueryVectors adalah 100.

  • Catatan: QPS pengambilan bergantung pada faktor seperti jumlah vektor dalam satu indeks, dimensi vektor, nilai TopK, dan kondisi metadata skalar dalam kueri. Dalam konfigurasi tipikal dengan 10 juta baris vektor berdimensi 1.024 dan nilai TopK 100, QPS kueri biasanya dapat mencapai 100. Saat ukuran indeks atau nilai TopK meningkat, QPS pengambilan aktual mungkin menurun. OSS Vectors tidak menjamin QPS akan mencapai 100. Lakukan pengujian dengan workload Anda untuk memastikan performa aktual.

• Ukuran respons maksimum untuk operasi QueryVectors adalah 8 MB.

• Operasi ListVectorIndexes mengembalikan maksimal 500 indeks per halaman. Anda dapat menggunakan pagination untuk mengambil batch indeks berikutnya.

• Konkurensi maksimum untuk operasi ListVectors adalah 16.

Batasan Fusion Mode

• Nama bidang harus unik dalam satu indeks dan terdiri dari 1 hingga 63 karakter. Nama dapat berisi huruf besar dan kecil, angka, serta garis bawah (_), dan harus dimulai dengan huruf.

• Batas jumlah bidang: tidak lebih dari 100 bidang total, tidak lebih dari 3 bidang vektor, dan tidak lebih dari 8 bidang yang ditokenisasi. Bidang skalar lainnya menggunakan kuota yang tersisa. Setidaknya satu bidang bertipe vektor wajib ada.

• Bidang skalar mendukung tipe berikut: string, long, double, bool, ip, dan geoPoint.

• Untuk bidang numerik dan IP (double, long, ip), flag isArray bernilai false secara default. Saat mode array diaktifkan, satu array dapat berisi maksimal 128 elemen.

• Untuk bidang string, saat mode array diaktifkan, satu array dapat berisi maksimal 512 elemen, setiap elemen string dapat mencapai 4 KB, dan total semua elemen dalam array dapat mencapai 64 KB. Tokenizer kustom dapat menggunakan karakter spasi, |, -, _, dan , sebagai pembatas. Setelah tokenisasi, setiap token tidak boleh lebih besar dari 4 KB; server memotong kelebihannya sebelum pengindeksan. Untuk detail batasan bidang string, lihat dokumentasi skema untuk pembuatan indeks.

• Operasi PutVectors Fusion Mode memiliki ukuran badan permintaan maksimum 20 MB dan batas QPS 1.000. Satu permintaan konkuren dapat menulis hingga 500 entri per batch, dan total throughput lintas semua permintaan konkuren tidak boleh melebihi 2.500 entri per detik. Misalnya, jika setiap permintaan konkuren menulis 100 entri dalam satu batch, QPS tulis maksimum yang didukung adalah 25 (2.500 / 100).

• Batasan untuk operasi pengambilan vektor khusus Fusion Mode (QueryVectorsFusion):

  • Operasi ini mendukung tiga metode kueri:

    • Bidang knn mendukung pencarian vektor murni dan pencarian vektor dikombinasikan dengan pre-filtering:

      • Mendukung kueri vektor jalur tunggal atau multi-jalur, dengan maksimal 3 kueri KNN per permintaan.

      • Parameter topK dapat mencapai 500.

      • Parameter numCandidates dapat mencapai 1.000.

    • Bidang query mendukung pencarian skalar murni dan pencarian teks lengkap:

      • Setiap operator logika $and, $or, atau $nor mendukung maksimal 512 sub-operator dan hingga 8 level bersarang.

      • $in dan $nin mendukung maksimal 1.024 elemen.

      • Teks kueri untuk $textMatch dan $textMatchPhrase dapat mencapai 512 byte.

      • $geoPolygon mendukung maksimal 16 titik.

    • Bidang retriever mendukung kueri hibrida multi-jalur dengan fusi hasil:

      • Saat retriever ada, hanya 5 parameter tingkat atas berikut yang diizinkan: indexName, limit, partitionKeys, returnMetadata, dan returnMetadataFields. Semua parameter lain (termasuk knn, query, sort, dan nextToken) dilarang.

      • Array retrievers harus berisi minimal 1 dan maksimal 3 elemen.

      • Untuk compound retriever (RRF Retriever dan Weight Retriever), windowSize dapat mencapai 500.

  • Batasan lain untuk operasi ini:

    • limit dapat mencapai 500.

    • Satu permintaan mendukung maksimal 3 bidang sort. Pengurutan berbasis skor hanya mendukung urutan descending (desc).

    • Pagination dengan nextToken hanya diizinkan saat permintaan hanya berisi query (pencarian skalar dan pencarian teks lengkap). Pencarian vektor (knn) dan pengambilan multi-jalur (retriever) tidak mendukung pagination.

    • partitionKeys mendukung maksimal 512 elemen, dengan total semua elemen mencapai 4 KB.

    • returnMetadata bernilai false secara default, artinya tidak ada bidang yang dikembalikan. Atur ke true untuk mengembalikan semua bidang.

    • returnMetadataFields hanya berlaku saat returnMetadata bernilai true. Parameter ini tidak dapat mengembalikan bidang bertipe vektor. Mengatur nilainya ke [] setara dengan returnMetadata=false dan tidak mengembalikan bidang apa pun; mengatur nilainya ke null setara dengan tidak menentukan parameter dan mengembalikan semua bidang.

    • Ukuran respons maksimum adalah 8 MB.

• Fusion Mode saat ini dalam pratinjau undangan dan hanya tersedia di Wilayah Indonesia (Jakarta). Beberapa kuota dan batasan API mungkin berbeda dari Standard Mode. Untuk detailnya, lihat dokumentasi API.

Penagihan

OSS Vectors secara resmi mulai dikenai penagihan komersial pada 10 Juni 2026 (UTC+8). Harap pantau tagihan Anda. Untuk informasi lebih lanjut tentang metode penagihan, lihat Item penagihan vektor. Fusion Mode saat ini gratis selama masa pratinjau undangan.