Tablestore：Pencarian vektor

Skenario

Pencarian vektor cocok untuk skenario seperti sistem rekomendasi, pengambilan gambar dan video, serta Pemrosesan bahasa alami dan pencarian semantik.

• Generasi yang Diperkaya dengan Pengambilan Data (RAG)

  RAG adalah kerangka kerja AI yang menggabungkan kemampuan pengambilan dengan model bahasa besar (Large Language Models/LLMs). RAG menggunakan pengambilan untuk meningkatkan akurasi keluaran LLM, terutama untuk data privat atau profesional. RAG banyak digunakan dalam skenario basis pengetahuan.

• Sistem rekomendasi

  Pada platform seperti e-commerce, media sosial, dan media streaming, Anda dapat mengenkripsi perilaku pengguna, preferensi, dan fitur konten ke dalam bentuk vektor. Pencarian vektor kemudian dapat dengan cepat menemukan produk, artikel, atau video yang sesuai dengan minat pengguna. Proses ini memungkinkan rekomendasi personalisasi dan meningkatkan kepuasan serta retensi pengguna.

• Deteksi kemiripan (gambar, video, dan voice)

  Di bidang seperti pengenalan gambar, video, voice, voiceprint, dan wajah, Anda dapat mengonversi data tidak terstruktur menjadi representasi vektor. Pencarian vektor kemudian dapat digunakan untuk dengan cepat menemukan target yang paling mirip. Misalnya, pada platform e-commerce, setelah pengguna mengunggah gambar, sistem dapat dengan cepat menemukan gambar produk dengan gaya, warna, atau pola yang serupa.

• Pemrosesan bahasa alami dan pencarian semantik

  Di bidang Pemrosesan bahasa alami (NLP), Anda dapat mengonversi teks menjadi representasi vektor, seperti penyematan Word2Vec atau Bidirectional Encoder Representations from Transformers (BERT). Pencarian vektor kemudian dapat digunakan untuk memahami semantik kueri dan menemukan dokumen, berita, atau pasangan tanya-jawab yang paling relevan secara semantik. Hal ini meningkatkan relevansi hasil pencarian dan pengalaman pengguna.

• Graf pengetahuan dan Chat AI

  Node dan hubungan graf pengetahuan dapat direpresentasikan sebagai vektor. Pencarian vektor dapat mempercepat penghubungan entitas, inferensi hubungan, dan kecepatan respons sistem Chat AI. Hal ini memungkinkan sistem memahami dan menjawab pertanyaan kompleks dengan lebih akurat.

Keunggulan utama

Ikhtisar fungsi

KnnVectorQuery menemukan item data yang paling mirip dalam set data berskala besar dengan menjalankan kueri tetangga terdekat aproksimasi pada vektor numerik.

Pencarian vektor mewarisi semua fitur indeks pencarian. Ini adalah layanan siap pakai dengan model bayar sesuai pemakaian yang tidak memerlukan penerapan sistem. Fitur ini mendukung pembuatan indeks berbasis aliran, sehingga data dapat dikueri hampir secara real-time setelah ditulis ke tabel. Fitur ini juga mendukung penambahan, pembaruan, dan penghapusan data dengan throughput tinggi. Performa kueri setara dengan sistem yang menggunakan algoritma HNSW.

Saat menggunakan fitur KnnVectorQuery untuk mengkueri data, Anda harus menentukan vektor kueri, bidang vektor yang akan dicari, dan jumlah tetangga terdekat (TopK) yang ingin diambil. Proses ini mengambil TopK vektor dari bidang vektor yang ditentukan yang paling mirip dengan vektor kueri Anda. Anda juga dapat menggabungkan kueri ini dengan fitur pencarian non-vektor lainnya untuk menyaring hasil.

Catatan

Saat menggunakan vector search, perhatikan hal-hal berikut:

• Berlaku batasan terhadap jumlah tipe bidang vektor, dimensi, dan properti lainnya. Untuk informasi selengkapnya, lihat Search index limits.

• Search index dipartisi di sisi server. Setiap partisi mengembalikan TopK nearest neighbors-nya sendiri, dan hasil tersebut kemudian diagregasi di client node. Oleh karena itu, jika Anda menggunakan token untuk melakukan paginasi melalui seluruh data, jumlah total baris yang dikembalikan bergantung pada jumlah partisi di sisi server.

• Saat ini, fitur vector search tersedia di wilayah-wilayah berikut: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Guangzhou), China (Chengdu), China (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Filipina (Manila), Thailand (Bangkok), Jerman (Frankfurt), Inggris (London), AS (Virginia), AS (Silicon Valley), SAU (Riyadh - Partner Region).

Prosedur

1. Hasilkan vektor.

   Gunakan model open source untuk mengonversi data di Tablestore menjadi vektor dan menyimpannya.

2. Tulis data vektor ke Tablestore.

3. Saat Anda membuat indeks pencarian, konfigurasikan bidang vektor.

   Konfigurasikan tipe, dimensi, dan algoritma ukuran jarak bidang vektor tersebut.

4. Gunakan Pencarian vektor untuk melakukan kueri data.

Penagihan

Selama pratinjau publik, Anda tidak dikenai biaya untuk item yang dapat ditagih terkait fitur KNN vector query. Biaya tetap berlaku untuk item yang dapat ditagih lainnya sesuai aturan penagihan yang berlaku.

Saat Anda menggunakan indeks pencarian untuk mengkueri data, Anda akan dikenakan biaya untuk throughput baca yang dikonsumsi. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih dari indeks pencarian.

Lampiran 1: Penggunaan dengan BoolQuery

Anda dapat menggabungkan KnnVectorQuery dan BoolQuery dengan berbagai cara untuk mendapatkan hasil yang berbeda. Bagian ini menjelaskan dua kasus penggunaan umum. Contoh ini mengasumsikan skenario di mana filter mencocokkan jumlah data yang kecil.

Misalkan sebuah tabel berisi 100 juta gambar. Seorang pengguna memiliki total 50.000 gambar, tetapi hanya 50 di antaranya yang ditambahkan dalam 7 hari terakhir. Pengguna ingin menggunakan pencarian berdasarkan gambar untuk menemukan 10 gambar paling mirip dari yang ditambahkan dalam 7 hari terakhir. Tabel berikut menunjukkan bagaimana penggunaan BoolQuery di dalam filter KnnVectorQuery dapat memenuhi kebutuhan ini.

Lampiran 2: Contoh normalisasi vektor

Kode berikut menunjukkan contoh normalisasi vektor:

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }