Elasticsearch:Panduan pengguna indeks vektor FalconSeek

Dokumen ini menjelaskan penggunaan lanjutan FalconSeek untuk pengambilan vektor, termasuk pemilihan algoritma seperti HNSW dan RabitQGraph guna mempercepat kueri sesuai kebutuhan spesifik—mulai dari penyimpanan hemat biaya untuk data skala besar hingga optimasi performa ekstrem. Panduan ini mencakup pemilihan algoritma, pengaturan parameter, manajemen indeks, teknik penyetelan dinamis, serta contoh kode lengkap untuk membantu Anda mengimplementasikan pengambilan vektor yang efisien.

Informasi latar belakang

FalconSeek meningkatkan struktur indeks asli Alibaba Cloud ES dengan menambahkan indeks mesin vektor berbasis C++. Indeks vektor FalconSeek dikembangkan oleh Alibaba dan mendukung layanan utama dalam Alibaba Group, seperti Taobao, Tmall Search, Recommendation, dan Pailitao (search by image). Anda dapat memanfaatkan indeks vektor berkinerja tinggi yang terintegrasi dalam kernel FalconSeek untuk membangun aplikasi AI yang efisien, seperti pencarian berdasarkan gambar dan pencarian semantik.

Indeks vektor FalconSeek sepenuhnya kompatibel dengan fitur mesin vektor open source ES, seperti pencarian k-Nearest Neighbors (k-NN). Untuk menggunakan FalconSeek dalam indeks Alibaba Cloud ES, atur index_options.type menjadi havenask_native dalam konfigurasi indeks. Informasi lebih lanjut tentang pengaturan parameter lanjutan tersedia dalam penjelasan detail berikut.

Contoh penggunaan

Contoh dasar

Contoh berikut menunjukkan cara membuat indeks untuk menyimpan dan mengambil data vektor. Indeks tersebut diberi nama my_falcon_seek_index dan berisi bidang vektor bernama product_vector dengan dimensi 128 serta menggunakan algoritma HNSW.

1. Buat indeks.

   PUT /my_falcon_seek_index
   {
     "settings": {
       "number_of_shards": 1,
       "number_of_replicas": 0
     },
     "mappings": {
       "properties": {
         "product_vector": {
           "type": "dense_vector",
           "dims": 128,
           "index": true,
           "similarity": "l2_norm",
           "index_options": {
             "type": "havenask_native",
             "knn_type": "HNSW",
             "m": 32,
             "ef_construction": 400
           }
         },
         "category": {
           "type": "keyword" 
         }
       }
     }
   }

   Parameter Inti

   • Tipe bidang dense_vector digunakan untuk menyimpan data vektor padat. Saat mendefinisikan bidang bertipe ini dalam mappings, Anda harus menentukan properti inti berikut:

     • dims: Dimensi vektor.

     • similarity: Fungsi untuk menghitung kesamaan antara vektor.

     • index_options: Konfigurasi detail untuk indeks vektor, termasuk tipe algoritma dan parameter terkait.

   • Fungsi similarity digunakan untuk mengukur tingkat kesamaan antara dua vektor. Pemilihan fungsi yang tepat sangat penting bagi performa recall.

     Fungsi	Deskripsi	Skenario
     l2_norm	Jarak Euclidean. Fungsi ini menghitung jarak garis lurus antara dua vektor dalam ruang multidimensi. Jarak yang lebih kecil menunjukkan kesamaan yang lebih besar.	Skema umum, seperti pengenalan gambar dan pengenalan wajah.
     cosine	Kesamaan cosinus. Fungsi ini menghitung cosinus sudut antara arah dua vektor. Nilai yang lebih mendekati 1 menunjukkan kesamaan yang lebih besar.	Analisis kesamaan semantik teks. Fungsi ini tidak dipengaruhi oleh panjang vektor.
     dot_product	Produk dalam. Fungsi ini menghitung hasil kali titik dua vektor. Nilai yang lebih besar menunjukkan kesamaan yang lebih besar.	Cocok untuk skenario yang perlu mempertimbangkan besarnya vektor, seperti sistem rekomendasi.
     max_inner_product	Sama seperti dot_product, tetapi tidak memerlukan normalisasi vektor.	Cocok untuk skenario yang perlu mempertimbangkan besarnya vektor, seperti sistem rekomendasi.

2. Tulis data. Anda dapat menulis dokumen yang berisi vektor dan metadata, seperti kategori produk, ke dalam indeks. Panjang array product_vector harus sama dengan dimensi yang ditentukan oleh dims (128).

   POST /my_falcon_seek_index/_doc/1
   {
     "product_vector": [0.12, -0.05, 0.08, 0.24, -0.17, 0.31, 0.02, -0.19, 0.11, 0.28,
       -0.03, 0.15, 0.22, -0.11, 0.09, 0.33, -0.07, 0.14, 0.26, -0.21,
       0.18, 0.29, -0.13, 0.06, 0.35, -0.08, 0.16, 0.23, -0.15, 0.12, 
       0.27, -0.22, 0.19, 0.32, -0.14, 0.07, 0.25, -0.18, 0.13, 0.30,
       -0.09, 0.17, 0.24, -0.16, 0.10, 0.34, -0.10, 0.20, 0.31, -0.23,
       0.15, 0.28, -0.12, 0.11, 0.26, -0.19, 0.14, 0.29, -0.17, 0.08,
       0.22, -0.20, 0.16, 0.27, -0.15, 0.09, 0.25, -0.21, 0.18, 0.30,
       -0.13, 0.07, 0.24, -0.22, 0.19, 0.32, -0.16, 0.10, 0.26, -0.18,
       0.12, 0.28, -0.14, 0.06, 0.23, -0.19, 0.15, 0.29, -0.11, 0.05,
       0.21, -0.17, 0.13, 0.27, -0.10, 0.04, 0.20, -0.15, 0.11, 0.25,
       -0.09, 0.03, 0.19, -0.13, 0.10, 0.24, -0.08, 0.02, 0.18, -0.12,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22, 0.05, -0.06,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22],
     "category": "clothes"
   }
   POST /my_falcon_seek_index/_doc/2
   {"product_vector":[0.12, -0.05, 0.08, 0.24, -0.17, 0.31, 0.02, -0.19, 0.11, 0.28,
       -0.03, 0.15, 0.22, -0.11, 0.09, 0.33, -0.07, 0.14, 0.26, -0.21,
       0.18, 0.29, -0.13, 0.06, 0.35, -0.08, 0.16, 0.23, -0.15, 0.12, 
       0.27, -0.22, 0.19, 0.32, -0.14, 0.07, 0.25, -0.18, 0.13, 0.30,
       -0.09, 0.17, 0.24, -0.16, 0.10, 0.34, -0.10, 0.20, 0.31, -0.23,
       0.15, 0.28, -0.12, 0.11, 0.26, -0.19, 0.14, 0.29, -0.17, 0.08,
       0.22, -0.20, 0.16, 0.27, -0.15, 0.09, 0.25, -0.21, 0.18, 0.30,
       -0.13, 0.07, 0.24, -0.22, 0.19, 0.32, -0.16, 0.10, 0.26, -0.18,
       0.12, 0.28, -0.14, 0.06, 0.23, -0.19, 0.15, 0.29, -0.11, 0.05,
       0.21, -0.17, 0.13, 0.27, -0.10, 0.04, 0.20, -0.15, 0.11, 0.25,
       -0.09, 0.03, 0.19, -0.13, 0.10, 0.24, -0.08, 0.02, 0.18, -0.12,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22, 0.05, -0.06,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22],"category": "clothes"}

3. Pengambilan vektor (k-NN). Anda dapat menemukan 5 dokumen paling mirip berdasarkan vektor kueri tertentu.

   GET /my_falcon_seek_index/_search
   {
     "knn": {
       "field": "product_vector",
       "query_vector": [0.12, -0.05, 0.01, 0.24, -0.17, 0.31, 0.02, -0.19, 0.11, 0.28,
       -0.03, 0.15, 0.22, -0.11, 0.09, 0.23, -0.07, 0.14, 0.26, -0.21,
       0.18, 0.29, -0.13, 0.06, 0.35, -0.18, 0.16, 0.23, -0.15, 0.12, 
       0.27, -0.22, 0.19, 0.32, -0.14, 0.87, 0.25, -0.18, 0.13, 0.30,
       -0.09, 0.17, 0.24, -0.16, 0.10, 0.64, -0.10, 0.20, 0.31, -0.23,
       0.15, 0.28, -0.12, 0.11, 0.26, -0.19, 0.14, 0.29, -0.17, 0.08,
       0.22, -0.20, 0.16, 0.27, -0.15, 0.09, 0.25, -0.21, 0.18, 0.30,
       -0.13, 0.07, 0.24, -0.22, 0.19, 0.52, -0.16, 0.10, 0.26, -0.18,
       0.12, 0.28, -0.14, 0.06, 0.23, -0.19, 0.14, 0.29, -0.11, 0.05,
       0.21, -0.17, 0.13, 0.27, -0.10, 0.04, 0.20, -0.15, 0.11, 0.25,
       -0.09, 0.03, 0.19, -0.13, 0.10, 0.24, -0.08, 0.02, 0.18, -0.12,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22, 0.05, -0.06,
       0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.12],
       "k": 5,
       "num_candidates": 100
     }
   }

   Parameter Inti

   Kueri knn digunakan untuk melakukan pencarian k-NN.

   • field: Nama bidang dense_vector yang akan dikueri.

   • query_vector: Vektor yang digunakan untuk kueri. Dimensinya harus sesuai dengan definisi bidang.

   • k: Jumlah hasil paling mirip yang akan dikembalikan.

   • num_candidates: Ukuran set kandidat yang dicari secara internal oleh algoritma pada setiap shard. Nilai ini harus lebih besar dari k dan biasanya merupakan kelipatan dari k. Nilai yang lebih besar meningkatkan tingkat recall tetapi juga meningkatkan latensi kueri.

4. Pengambilan terfilter. Anda dapat memfilter hasil selama pengambilan vektor untuk memenuhi kebutuhan bisnis yang lebih kompleks. Contoh berikut menemukan 5 dokumen paling mirip dalam kategori category "shoes".

   GET /my_falcon_seek_index/_search
   {
     "knn": {
       "field": "product_vector",
       "query_vector": [
         0.12, -0.05, 0.01, 0.24, -0.17, 0.31, 0.02, -0.19, 0.11, 0.28,
         -0.03, 0.15, 0.22, -0.11, 0.09, 0.23, -0.07, 0.14, 0.26, -0.21,
         0.18, 0.29, -0.13, 0.06, 0.35, -0.18, 0.16, 0.23, -0.15, 0.12,
         0.27, -0.22, 0.19, 0.32, -0.14, 0.87, 0.25, -0.18, 0.13, 0.30,
         -0.09, 0.17, 0.24, -0.16, 0.10, 0.64, -0.10, 0.20, 0.31, -0.23,
         0.15, 0.28, -0.12, 0.11, 0.26, -0.19, 0.14, 0.29, -0.17, 0.08,
         0.22, -0.20, 0.16, 0.27, -0.15, 0.09, 0.25, -0.21, 0.18, 0.30,
         -0.13, 0.07, 0.24, -0.22, 0.19, 0.52, -0.16, 0.10, 0.26, -0.18,
         0.12, 0.28, -0.14, 0.06, 0.23, -0.19, 0.14, 0.29, -0.11, 0.05,
         0.21, -0.17, 0.13, 0.27, -0.10, 0.04, 0.20, -0.15, 0.11, 0.25,
         -0.09, 0.03, 0.19, -0.13, 0.10, 0.24, -0.08, 0.02, 0.18, -0.12,
         0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.22, 0.05, -0.06,
         0.09, 0.23, -0.07, 0.01, 0.17, -0.11, 0.08, 0.12
       ],
       "k": 5,
       "num_candidates": 100,
       "filter": {
         "term": {
           "category": "shoes"
         }
       }
     }
   }

Fitur lanjutan: Pengambilan terfilter dengan tags_filter

Parameter tags_filter menyediakan mekanisme pra-filtering yang dioptimalkan untuk algoritma HNSW dan QGraph. Fitur ini menawarkan performa lebih tinggi dibandingkan filter standar bool filter karena mengecualikan node yang tidak cocok sejak awal proses traversal graf.

• Skema: Anda dapat menggunakan fitur ini ketika bidang filter memiliki jumlah nilai unik yang terbatas, seperti ID kategori atau merek, dan Anda memerlukan performa kueri tinggi.

• Cara mengaktifkan fitur ini:

  1. Dalam index_options di mappings, deklarasikan bidang bertipe keyword yang akan digunakan untuk filtering dengan parameter tags.

     PUT /my_vector_index_with_tags
     {
       "mappings": {
         "properties": {
           "product_vector": {
             "type": "dense_vector",
             "dims": 128,
             "index_options": {
               "type": "havenask_native",
               "knn_type": "HNSW",
               "tags": ["category"] // Deklarasikan bidang category untuk tags_filter
             }
           },
           "category": {
             "type": "keyword" // Harus bertipe keyword
           }
         }
       }
     }

  2. Dalam kueri knn, gunakan parameter tags_filter dengan sintaks "field_name = value". Parameter ini mendukung logika | (OR) dan & (AND).

     GET /my_vector_index_with_tags/_search
     {
       "knn": {
         "field": "product_vector",
         "query_vector": [...],
         "k": 5,
         "tags_filter": "category = shoes | category = socks"
       }
     }
     

Saat membuat indeks, semua konfigurasi terkait vektor diatur dalam blok index_options di mappings.

PUT /<your_index_name>
{
  "mappings": {
    "properties": {
      "<your_vector_field>": {
        "type": "dense_vector",
        "dims": 768,
        "similarity": "l2_norm",
        "index_options": {
          // --- Parameter umum ---
          "type": "havenask_native",
          "knn_type": "HNSW",
          // --- Parameter pembangunan algoritma ---
          "m": 32,
          "ef_construction": 400,
          // --- Parameter lanjutan ---
          "thread_count": 8
        }
      }
    }
  }
}

json

"index_options": {  "knn_type": "HNSW",  "m": 32, // Akan ditimpa oleh index_params di bawah  "index_params": {    "proxima.hnsw.builder.max_neighbor_count": 48 // Nilai efektif akhir adalah 48  }}

// Konfigurasi HNSW dasar
PUT /hnsw_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "HNSW"
        }
      }
    }
  }
}

// Konfigurasi HNSW berkinerja-tinggi
PUT /hnsw_performance
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "dot_product",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "HNSW",
          "m": 48,
          "ef_construction": 500,
          "thread_count": 8,
          "linear_build_threshold": 1000,
          "is_embedding_saved": true,
          "embedding_load_strategy": "ANN_INDEX_FILE",
          "index_load_strategy": "MEM"
        }
      }
    }
  }
}

// Konfigurasi berkinerja-tinggi
{
  "index_params": {
    "param.rabitQGraph.builder.neighbor_cnt": 256,
    "param.rabitQGraph.builder.ef_construction": 512,
    "param.rabitQGraph.builder.quantized_bit_count": 8,
    "param.rabitQGraph.builder.cluster_count": 128,
    "param.rabitQGraph.builder.thread_count": 8,
    "param.rabitQGraph.searcher.ef": 300,
    "param.rabitQGraph.searcher.max_scan_ratio": 0.1
  }
}

// Konfigurasi hemat memori
{
  "index_params": {
    "param.rabitQGraph.builder.neighbor_cnt": 64,
    "param.rabitQGraph.builder.ef_construction": 200,
    "param.rabitQGraph.builder.quantized_bit_count": 1,
    "param.rabitQGraph.builder.cluster_count": 32,
    "param.rabitQGraph.searcher.ef": 150,
    "param.rabitQGraph.searcher.max_scan_ratio": 0.03
  }
}

// Konfigurasi seimbang
{
  "index_params": {
    "param.rabitQGraph.builder.neighbor_cnt": 128,
    "param.rabitQGraph.builder.ef_construction": 400,
    "param.rabitQGraph.builder.quantized_bit_count": 4,
    "param.rabitQGraph.builder.cluster_count": 64,
    "param.rabitQGraph.searcher.ef": 250
  }
}

// Konfigurasi dasar
{
  "index_params": {
    "proxima.linear.builder.column_major_order": "false",
    "proxima.linear.searcher.read_block_size": 1048576
  }
}

// Konfigurasi memori besar
{
  "index_params": {
    "proxima.linear.builder.column_major_order": "true",
    "proxima.linear.searcher.read_block_size": 2097152
  }
}

// Konfigurasi dasar
{
  "index_params": {
    "proxima.qc.builder.thread_count": 4,
    "proxima.qc.builder.centroid_count": "1000",
    "proxima.qc.builder.cluster_class": "OptKmeansCluster",
    "proxima.qc.searcher.scan_ratio": 0.02
  }
}

// Konfigurasi pengelompokan hirarkis
{
  "index_params": {
    "proxima.qc.builder.thread_count": 8,
    "proxima.qc.builder.centroid_count": "100*100",
    "proxima.qc.builder.optimizer_class": "HnswBuilder",
    "proxima.qc.builder.quantizer_class": "Int8QuantizerConverter",
    "proxima.qc.searcher.scan_ratio": 0.01
  }
}

// Konfigurasi presisi tinggi
{
  "index_params": {
    "proxima.qc.builder.thread_count": 12,
    "proxima.qc.builder.centroid_count": "2000",
    "proxima.qc.builder.train_sample_count": 100000,
    "proxima.qc.builder.store_original_features": true,
    "proxima.qc.searcher.scan_ratio": 0.05
  }
}

// Konfigurasi kuantisasi Int8
{
  "index_params": {
    "proxima.hnsw.builder.max_neighbor_count": 32,
    "proxima.hnsw.builder.efconstruction": 400,
    "proxima.hnsw.builder.thread_count": 4,
    "proxima.qgraph.builder.quantizer_class": "Int8QuantizerConverter",
    "proxima.qgraph.builder.quantizer_params": {},
    "proxima.hnsw.searcher.ef": 300
  }
}

// Konfigurasi kuantisasi Int4 (lebih hemat memori)
{
  "index_params": {
    "proxima.hnsw.builder.max_neighbor_count": 48,
    "proxima.hnsw.builder.efconstruction": 500,
    "proxima.hnsw.builder.thread_count": 6,
    "proxima.qgraph.builder.quantizer_class": "Int4QuantizerConverter",
    "proxima.qgraph.builder.quantizer_params": {},
    "proxima.hnsw.searcher.ef": 400,
    "proxima.hnsw.searcher.max_scan_ratio": 0.1
  }
}

// Konfigurasi kuantisasi HalfFloat (presisi tinggi)
{
  "index_params": {
    "proxima.hnsw.builder.max_neighbor_count": 64,
    "proxima.hnsw.builder.efconstruction": 600,
    "proxima.hnsw.builder.thread_count": 8,
    "proxima.qgraph.builder.quantizer_class": "HalfFloatConverter",
    "proxima.qgraph.builder.quantizer_params": {},
    "proxima.hnsw.searcher.ef": 500
  }
}

{
  "search_params": {
    "proxima.hnsw.searcher.ef": "400",
    "proxima.hnsw.searcher.max_scan_ratio": "0.15"
  }
}

{
  "search_params": {
    "proxima.hnsw.searcher.ef": "400",
    "proxima.hnsw.searcher.max_scan_ratio": "0.15"
  }
}

{
  "search_params": {
    "proxima.qc.searcher.scan_ratio": "0.02"
  }
}

{
  "search_params": {
    "param.rabitQGraph.searcher.ef": "300",
    "param.rabitQGraph.searcher.max_scan_ratio": "0.08"
  }
}

// Menyesuaikan dinamis presisi dan performa untuk HNSW
GET vector_index/_search
{
  "knn": {
    "field": "vector",
    "query_vector": [0.1, 0.2, 0.3],
    "k": 10,
    "num_candidates": 100,
    "search_params": {
      "proxima.hnsw.searcher.ef": "500",
      "proxima.hnsw.searcher.max_scan_ratio": "0.2"
    }
  }
}

// Menyesuaikan dinamis rasio pemindaian untuk QC
GET vector_index/_search
{
  "knn": {
    "field": "vector",
    "query_vector": [0.1, 0.2, 0.3],
    "k": 10,
    "num_candidates": 100,
    "search_params": {
      "proxima.qc.searcher.scan_ratio": "0.05"
    }
  }
}

// Menyesuaikan dinamis presisi pencarian untuk RabitQGraph
GET vector_index/_search
{
  "knn": {
    "field": "vector",
    "query_vector": [0.1, 0.2, 0.3],
    "k": 10,
    "num_candidates": 100,
    "search_params": {
      "param.rabitQGraph.searcher.ef": "400",
      "param.rabitQGraph.searcher.max_scan_ratio": "0.1"
    }
  }
}

// Nonaktifkan ambang batas linear
{
  "linear_build_threshold": 0
}

// Gunakan pencarian linear untuk dataset kecil
{
  "linear_build_threshold": 1000
}

// Ambang batas lebih besar, cocok untuk lingkungan staging
{
  "linear_build_threshold": 5000
}

Lampiran: Contoh lengkap

// Konfigurasi HNSW dasar
PUT /hnsw_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "HNSW"
        }
      }
    }
  }
}

// Konfigurasi HNSW berkinerja-tinggi
PUT /hnsw_performance
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "dot_product",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "HNSW",
          "m": 48,
          "ef_construction": 500,
          "thread_count": 8,
          "linear_build_threshold": 1000,
          "is_embedding_saved": true,
          "embedding_load_strategy": "ANN_INDEX_FILE",
          "index_load_strategy": "MEM"
        }
      }
    }
  }
}

// Konfigurasi Linear dasar
PUT /linear_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 384,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "Linear"
        }
      }
    }
  }
}

// Konfigurasi QC dasar
PUT /qc_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "QC"
        }
      }
    }
  }
}

// Konfigurasi QC kustom
PUT /qc_custom
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "dot_product",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "QC",
          "thread_count": 8,
          "linear_build_threshold": 5000,
          "index_params": "{\"proxima.qc.builder.thread_count\": 8, \"proxima.qc.builder.centroid_count\": \"2000\"}"
        }
      }
    }
  }
}

// Konfigurasi QGraph dasar
PUT /qgraph_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "QGraph",
          "quantizer": "int8"
        }
      }
    }
  }
}

// Konfigurasi QGraph presisi tinggi
PUT /qgraph_high_precision
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 1536,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "QGraph",
          "m": 40,
          "ef_construction": 600,
          "thread_count": 8,
          "quantizer": "fp16",
          "is_embedding_saved": true,
          "index_load_strategy": "MEM"
        }
      }
    }
  }
}

// Konfigurasi QGraph hemat memori
PUT /qgraph_memory_optimized
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "QGraph",
          "m": 24,
          "ef_construction": 300,
          "thread_count": 6,
          "quantizer": "int4",
          "is_embedding_saved": false,
          "index_load_strategy": "BUFFER"
        }
      }
    }
  }
}

// Konfigurasi RabitQGraph dasar (hanya mendukung kesamaan l2_norm)
PUT /rabitqgraph_basic
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 64,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "RabitQGraph"
        }
      }
    }
  }
}

// Konfigurasi RabitQGraph berkinerja-tinggi - menggunakan index_params dalam format Map
PUT /rabitqgraph_performance
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 128,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "RabitQGraph",
          "thread_count": 8,
          "index_params": {
            "param.rabitQGraph.builder.neighbor_cnt": 256,
            "param.rabitQGraph.builder.ef_construction": 512,
            "param.rabitQGraph.builder.quantized_bit_count": 4,
            "param.rabitQGraph.builder.cluster_count": 128,
            "param.rabitQGraph.searcher.ef": 300
          }
        }
      }
    }
  }
}

// Konfigurasi RabitQGraph hemat memori
PUT /rabitqgraph_memory_optimized
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 192,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "RabitQGraph",
          "thread_count": 4,
          "linear_build_threshold": 1000,
          "index_params": {
            "param.rabitQGraph.builder.neighbor_cnt": 64,
            "param.rabitQGraph.builder.ef_construction": 200,
            "param.rabitQGraph.builder.quantized_bit_count": 1,
            "param.rabitQGraph.builder.cluster_count": 32,
            "param.rabitQGraph.searcher.ef": 150,
            "param.rabitQGraph.searcher.max_scan_ratio": 0.05
          }
        }
      }
    }
  }
}

// Konfigurasi RabitQGraph dengan filtering tag
PUT /rabitqgraph_with_tags
{
  "mappings": {
    "properties": {
      "vector": {
        "type": "dense_vector",
        "dims": 256,
        "index": true,
        "similarity": "l2_norm",
        "index_options": {
          "type": "havenask_native",
          "knn_type": "RabitQGraph",
          "tags": ["category", "region"],
          "index_params": {
            "param.rabitQGraph.builder.neighbor_cnt": 128,
            "param.rabitQGraph.builder.ef_construction": 400,
            "param.rabitQGraph.builder.quantized_bit_count": 8,
            "param.rabitQGraph.searcher.ef": 250
          }
        }
      },
      "category": {
        "type": "keyword"
      },
      "region": {
        "type": "keyword"
      }
    }
  }
}