Tablestore:Vector search

Senaryolar

Vektör araması; öneri sistemleri, görüntü ve video erişimi, doğal dil işleme ve anlamsal arama gibi alanlarda uygulanır.

• Bilgi alma destekli üretim (RAG)

  RAG, özellikle özel veya kurumsal verilerde Büyük Dil Modellerinin (LLM) çıktı doğruluğunu artırmak amacıyla bilgi almayı LLM'lerle birleştiren bir yapay zeka çerçevesidir. RAG, bilgi tabanı senaryolarında yaygın olarak kullanılır.

• Öneri sistemi

  E-ticaret, sosyal medya ve akış platformlarında kullanıcı davranışları, tercihler ve içerik özellikleri vektörlere kodlanır. Vektör araması eşleşen ürünleri, makaleleri veya videoları bularak kişiselleştirilmiş öneriler sunar; böylece kullanıcı memnuniyeti ve sadakati artar.

• Benzerlik tespiti (görüntüler, videolar ve ses)

  Görüntü, video, ses, ses izi ve yüz tanıma süreçlerinde yapılandırılmamış veriler vektör temsillerine dönüştürülür. Vektör araması ardından en benzer hedefleri bulur. Örneğin, bir kullanıcı bir e-ticaret platformuna görüntü yüklediğinde sistem benzer stil, renk veya desene sahip ürün görsellerini bulur.

• Doğal dil işleme ve anlamsal arama

  Doğal dil işleme (NLP) alanında metinler Word2Vec veya BERT gömme gibi vektör temsillerine dönüştürülür. Vektör araması sorgu anlamını eşleştirerek en alakalı belgeleri, haberleri veya Soru&Cevap çiftlerini bulur; böylece arama sonuçlarının alaka düzeyi ve kullanıcı deneyimi iyileşir.

• Bilgi grafiği ve yapay zeka sohbeti

  Bilgi grafiği düğümleri ve ilişkileri vektörler olarak temsil edilebilir. Vektör araması varlık bağlama, ilişki çıkarımı ve yapay zeka sohbeti yanıt sürelerini hızlandırarak karmaşık sorulara daha doğru yanıtlar verilmesini sağlar.

Temel avantajlar

İşlev genel bakışı

KnnVectorQuery, sayısal vektörler üzerinde yaklaşık en yakın komşu sorgusu gerçekleştirerek büyük ölçekli bir veri kümesindeki en benzer veri öğelerini bulur.

Vektör araması bir arama dizininin tüm özelliklerini devralır. Kullanıma hazır, kullandıkça öde bir hizmet olarak sistem dağıtımı gerektirmez. Akış tabanlı dizin oluşturma, verilerin yazıldıktan sonra neredeyse gerçek zamanlı olarak sorgulanmasına olanak tanır. Ayrıca yüksek aktarım hızlı ekleme, güncelleme ve silme işlemlerini destekler ve HNSW tabanlı sistemlerle karşılaştırılabilir sorgu performansı sunar.

KnnVectorQuery'i kullanmak için sorgu vektörünü, aranacak vektör alanını ve alınacak en yakın komşu sayısını (TopK) belirtin. Sorgu, sorgu vektörüne en benzer TopK vektörleri döndürür. Gerektiğinde sonuçları filtrelemek için bunu diğer vektör dışı arama özellikleriyle birleştirebilirsiniz.

Notlar

Vektör aramasını kullanırken aşağıdaki hususlara dikkat edin:

• Vektör alanı türlerinin sayısı, boyutları ve diğer özellikleri için sınırlamalar geçerlidir. Daha fazla bilgi için bkz. Arama dizini sınırlamaları.

• Arama dizini sunucu tarafında bölümlere ayrılır. Her bölüm kendi TopK en yakın komşularını döndürür ve sonuçlar daha sonra istemci düğümünde toplanır. Bu nedenle, tüm verilere göz atmak için bir token kullanılırsa döndürülen toplam satır sayısı sunucu tarafındaki bölüm sayısına bağlıdır.

• Şu anda vektör arama özelliği aşağıdaki bölgelerde kullanılabilir: Çin (Hangzhou), Çin (Shanghai), Çin (Qingdao), Çin (Beijing), Çin (Zhangjiakou), Çin (Ulanqab), Çin (Shenzhen), Çin (Guangzhou), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Malezya (Kuala Lumpur), Endonezya (Cakarta), Filipinler (Manila), Tayland (Bangkok), Almanya (Frankfurt), Birleşik Krallık (Londra), ABD (Virginia), ABD (Silicon Valley), Suudi Arabistan (Riyad - İş Ortağı Bölgesi).

Yordam

1. Vektör oluşturun.

   Tablestore'daki verileri vektörlere dönüştürmek ve depolamak için açık kaynaklı modelleri kullanın.

2. Tablestore'a vektör verileri yazın.

3. Bir arama dizini oluştururken vektör alanını yapılandırın.

   Vektör alanının türünü, boyutlarını ve uzaklık ölçüm algoritmasını yapılandırın.

4. Verileri sorgulamak için vektör aramasını kullanın.

Faturalama

Genel önizleme sırasında KNN vektör sorgusu özelliğine özgü faturalandırılabilir öğeler için ücret alınmaz. Diğer faturalandırılabilir öğeler mevcut faturalama kurallarına göre ücretlendirilir.

Bir arama dizini kullanarak veri sorguladığınızda tüketilen okuma aktarım hızı için ücretlendirilirsiniz. Daha fazla bilgi için bkz. Arama dizinlerinin faturalandırılabilir öğeleri.

Ek 1: BoolQuery ile birlikte kullanım

KnnVectorQuery ve BoolQuery farklı şekillerde birleştirilebilir. Aşağıdaki iki örnek bir filtrenin az miktarda veriyi eşleştirdiği bir senaryoyu varsayar.

Bir tabloda 100 milyon görüntü bulunduğunu varsayalım. Bir kullanıcının toplamda 50.000 görüntüsü vardır ancak bunlardan yalnızca 50'si son 7 günde eklenmiştir. Kullanıcı, görüntüye göre arama kullanarak son 7 günde eklenen görüntüler arasından en benzer 10 görüntüyü bulmak istemektedir. Aşağıdaki tablo bu iki birleştirme yönteminin nasıl farklılaştığını göstermektedir.

Ek 2: Vektör normalizasyonu örneği

Aşağıdaki kod bir vektörü normalize eder:

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }