Tablestore：Indeks Pencarian

Tipe Indeks

Deskripsi

Skenario

Kunci Utama Tabel Data

Tabel data mirip dengan peta besar. Tabel data mendukung kueri hanya berdasarkan kolom kunci utama.

Kueri berbasis kunci utama cocok untuk skenario di mana nilai semua kolom kunci utama atau awalan kunci utama dapat ditentukan.

Indeks Sekunder

Anda dapat membuat satu atau lebih tabel indeks untuk tabel data dan melakukan kueri menggunakan kolom kunci utama dari tabel indeks. Kolom kunci utama tabel indeks terdiri dari semua kolom kunci utama dan sejumlah kolom yang telah ditentukan sebelumnya dari tabel data untuk mana tabel indeks dibuat.

Indeks sekunder cocok untuk skenario di mana kolom yang akan dikueri dapat ditentukan, jumlah kolom yang akan dikueri sedikit, dan nilai semua kolom kunci utama atau awalan kunci utama dapat ditentukan.

Indeks Pencarian

Indeks pencarian menggunakan indeks terbalik, Bkd-trees, dan penyimpanan kolom untuk berbagai skenario kueri.

Indeks pencarian cocok untuk semua skenario kueri dan analisis di mana kueri berdasarkan kolom kunci utama dan indeks sekunder tabel data tidak dapat memenuhi kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menggunakan indeks pencarian untuk melakukan kueri berdasarkan kolom non-kunci utama, kueri Boolean, kueri relasional, pencarian teks lengkap, kueri geo, kueri kabur, kueri bersarang, kueri exists, dan operasi agregasi.

Fitur

Deskripsi

Referensi

Kueri berdasarkan kolom kunci utama dan non-kunci utama

Anda dapat menggunakan indeks pencarian untuk mengkueri data berdasarkan kolom acak. Fitur ini memenuhi kebutuhan kueri dalam sebagian besar skenario.

Jika kueri berdasarkan kolom kunci utama atau awalan kunci utama tidak memenuhi kebutuhan bisnis Anda, Anda dapat membuat indeks pencarian dan menambahkan kolom berdasarkan mana Anda ingin mengkueri data ke indeks pencarian. Dengan cara ini, Anda dapat menggunakan indeks pencarian untuk mengkueri data berdasarkan kolom tersebut.

Dokumentasi untuk metode kueri yang disediakan oleh indeks pencarian, seperti Kueri Dasar

Kueri Boolean

Anda dapat menggabungkan beberapa bidang untuk mengkueri data secara efisien. Fitur ini cocok untuk skenario seperti sistem pesanan, analisis log, dan profil pengguna di mana Anda ingin menyaring data berdasarkan beberapa kondisi.

Sebagai contoh, tabel data dalam skenario pesanan mungkin berisi puluhan bidang. Untuk mengkueri data berdasarkan berbagai kombinasi bidang dalam database relasional, Anda mungkin perlu membuat ratusan indeks. Selain itu, jika kombinasi tidak dipertimbangkan sebelumnya dan indeks yang sesuai tidak dibuat, Anda tidak dapat mengkueri data secara efisien.

Namun, jika Anda menggunakan Tablestore, Anda hanya perlu membuat indeks pencarian dan menambahkan bidang berdasarkan mana Anda mungkin ingin mengkueri data ke indeks pencarian. Saat Anda menggunakan indeks pencarian untuk mengkueri data, Anda dapat menentukan kondisi berdasarkan kombinasi bidang dalam indeks pencarian berdasarkan kebutuhan bisnis Anda. Indeks pencarian juga mendukung operator logika seperti AND, OR, dan NOT.

Kueri Boolean

Kueri Geo

Seiring dengan meningkatnya popularitas perangkat seluler, data lokasi geografis menjadi semakin penting. Data lokasi geografis digunakan dalam berbagai aplikasi seperti aplikasi media sosial, aplikasi pengiriman makanan, aplikasi olahraga, dan aplikasi Internet of Vehicles (IoV). Kueri berdasarkan data lokasi geografis diperlukan.

Indeks pencarian mendukung fitur kueri berikut berdasarkan data lokasi geografis:

• Terdekat: mengkueri titik dalam radius tertentu berdasarkan titik pusat, seperti fitur Orang Terdekat di WeChat.

• Di dalam: mengkueri titik dalam area persegi panjang atau poligonal tertentu.

Indeks pencarian Tablestore memungkinkan Anda menggunakan fitur-fitur ini untuk mengkueri data lokasi geografis tanpa perlu menggunakan layanan database lain atau mesin pencari.

• Kueri Jarak Geo

• Kueri Kotak Pembatas Geo

• Kueri Poligon Geo

Pencarian Teks Lengkap

Anda dapat mengkueri data yang berisi string tertentu. Fitur ini cocok untuk skenario seperti analitik data besar, pencarian konten, manajemen pengetahuan, analisis media sosial, analisis log, sistem Q&A cerdas, tinjauan kepatuhan, dan rekomendasi cerdas.

Indeks pencarian dapat memecah token data untuk mendukung pencarian teks lengkap. Anda dapat menggunakan indeks pencarian untuk mengurutkan hasil kueri berdasarkan hanya pada skor relevansi kata kunci berbasis BM25. Jika Anda ingin mengurutkan hasil kueri berdasarkan skor relevansi kompleks, kami sarankan Anda menggunakan sistem pencarian.

Indeks pencarian mendukung metode tokenisasi berikut: tokenisasi kata tunggal, tokenisasi pembatas, tokenisasi berbasis unit semantik minimum, tokenisasi berbasis unit semantik maksimum, dan tokenisasi kabur. Anda dapat memilih metode tokenisasi berdasarkan kebutuhan Anda. Jika Anda ingin menyoroti string kueri dalam hasil kueri, Anda dapat menggunakan fitur sorotan.

• Kueri Cocok

• Kueri Frasa Cocok

• Tokenisasi

• Sorotan

Kueri Vektor KNN

Indeks pencarian menyediakan fitur kueri vektor KNN. Anda dapat menemukan item data yang paling mirip dalam dataset skala besar menggunakan vektor untuk melakukan pencarian tetangga terdekat yang mendekati. Fitur ini cocok untuk skenario seperti retrieval augmented generation (RAG), sistem rekomendasi, deteksi kesamaan untuk gambar, video, dan suara, dan Natural Language Processing (NLP).

Kueri Vektor KNN

Kueri Kabur

Indeks pencarian Tablestore mendukung fitur kueri wildcard, kueri awalan, dan kueri akhiran untuk memenuhi kebutuhan kueri kabur Anda dalam skenario berbeda.

• Kueri Wildcard: Fitur ini mirip dengan operator LIKE dalam database relasional tradisional. Anda dapat menentukan string yang berisi asterisk (*) dan tanda tanya (?) untuk melakukan kueri wildcard.

  Jika Anda melakukan kueri wildcard untuk mencari string *word*, Anda dapat menggunakan kueri wildcard berbasis tokenisasi (tokenisasi kabur dalam kombinasi dengan kueri frasa cocok) untuk memastikan kinerja kueri yang lebih baik.

• Kueri Awalan: Anda dapat menentukan awalan untuk mengkueri data yang cocok dengan awalan yang ditentukan. Sebagai contoh, dalam kueri berdasarkan awalan apple, hasil seperti apple6s dan applexr dikembalikan. Fitur ini cocok untuk semua bahasa alami.

• Kueri Akhiran: Anda dapat menentukan akhiran untuk mengkueri data yang cocok dengan akhiran yang ditentukan. Sebagai contoh, Anda dapat mengkueri nomor telepon seluler yang berakhiran 1234.

• Kueri Wildcard

• Kueri Wildcard Berbasis Tokenisasi

• Kueri Awalan

• Kueri Akhiran

Kueri Exists

Anda dapat mengkueri apakah kolom dari suatu baris ada. Kueri exists juga disebut kueri NULL atau kueri nilai NULL. Fitur ini cocok untuk skenario seperti pemeriksaan integritas data dan pembersihan data.

Kueri Exists

Kueri Bersarang

Selain struktur datar, data yang dihasilkan oleh aplikasi online sering kali memiliki struktur kompleks dan berlapis-lapis, seperti gambar bertag. Sebagai contoh, database menyimpan sejumlah besar gambar, dan setiap gambar memiliki beberapa elemen seperti rumah, mobil, dan orang. Setiap elemen dalam gambar memiliki skor bobot unik. Skor tersebut dievaluasi berdasarkan ukuran dan posisi elemen dalam gambar. Oleh karena itu, setiap gambar memiliki beberapa tag. Setiap tag memiliki nama dan skor bobot.

Jika Anda ingin menyaring gambar berdasarkan kondisi tag, Anda dapat menggunakan fitur kueri bersarang. Tag gambar disimpan dalam format JSON. Contoh:

{
 "tags": [
   {
      "name": "car",
      "score": 0.78
   },
   {
      "name": "tree",
      "score": 0.24
   }
 ]
}

Anda dapat menggunakan fitur kueri bersarang untuk menangani kebutuhan penyimpanan dan kueri data yang memiliki hubungan logis berlapis-lapis secara efisien, memfasilitasi pemodelan data kompleks.

Untuk bidang Bersarang dalam struktur data kompleks seperti JSON, Anda juga dapat mengaktifkan fitur sorotan untuk menempatkan informasi yang diperlukan secara tepat.

• Tipe Data Array dan Bersarang

• Kueri Bersarang

Collapse (distinct)

Indeks pencarian mendukung fitur collapse (distinct) untuk meningkatkan keragaman hasil kueri. Fitur ini membatasi jumlah kemunculan maksimum atribut dalam hasil kueri permintaan kueri. Ini menghindari hasil kueri berlebih yang memiliki atribut yang sama. Sebagai contoh, dalam skenario e-commerce, jika Anda mencari laptop, halaman pertama mungkin menampilkan laptop dari merek yang sama. Hasil tersebut tidak ramah pengguna. Dalam kasus ini, Anda dapat menggunakan fitur collapse (distinct) untuk memastikan bahwa halaman pertama menampilkan laptop dari merek yang berbeda.

Collapse (distinct)

Pengurutan

Di Tablestore, data tabel secara otomatis diurutkan berdasarkan urutan alfabetis kunci utama. Untuk mengurutkan data berdasarkan bidang lain, Anda harus menggunakan fitur pengurutan indeks pencarian.

Indeks pencarian mendukung pengurutan berdasarkan satu atau lebih kondisi dalam urutan menaik atau menurun. Pengurutan dilakukan secara global pada semua data dalam indeks pencarian. Secara default, hasil yang dikembalikan oleh indeks pencarian diurutkan berdasarkan kunci utama dalam tabel data.

• Melakukan Pengurutan dan Paginasi

• Dokumentasi untuk metode kueri yang disediakan oleh indeks pencarian, seperti Kueri Dasar

Kueri Cocok Semua

Saat Anda menggunakan indeks pencarian untuk mengkueri data, Anda dapat menentukan bahwa Tablestore mengembalikan jumlah total baris yang memenuhi kondisi kueri. Fitur ini cocok untuk skenario seperti verifikasi data dan operasi berbasis data.

• Jika Anda tidak menentukan kondisi kueri untuk indeks pencarian, Tablestore mengembalikan jumlah total baris untuk mana Anda telah membuat indeks.

• Jika Anda berhenti menulis data baru ke tabel dan membuat indeks untuk semua data dalam tabel, jumlah total baris yang dikembalikan oleh Tablestore adalah jumlah total baris dalam tabel data.

• Kueri Cocok Semua

• Dokumentasi untuk metode kueri yang disediakan oleh indeks pencarian, seperti Kueri Dasar

Agregasi

Indeks pencarian memungkinkan Anda melakukan operasi agregasi untuk mendapatkan nilai maksimum, nilai minimum, nilai rata-rata, jumlah, hitungan dan hitungan unik baris, persentil, dan statistik histogram. Anda juga dapat menggunakan indeks pencarian untuk mengelompokkan hasil. Ini memungkinkan Anda melakukan analisis statistik ringan.

Agregasi

Item

Partisi Tabel Berdasarkan Waktu

Prinsip

Partisi tabel data berdasarkan periode waktu tetap, seperti harian, mingguan, bulanan, atau tahunan. Kemudian, buat indeks pencarian untuk setiap tabel yang dipartisi. Dengan cara ini, Anda dapat menyimpan tabel untuk periode waktu tertentu berdasarkan kebutuhan bisnis Anda.

Sebagai contoh, untuk menyimpan data selama enam bulan, Anda dapat menyimpan data untuk setiap bulan dalam tabel data. Label tabel data secara berurutan dari table_1 hingga table_6 dan buat indeks pencarian untuk setiap tabel data. Pastikan setiap tabel data dan indeks pencariannya secara eksklusif menyimpan data untuk bulan masing-masing. Untuk mengimplementasikan fitur TTL, Anda hanya perlu menghapus tabel data dan indeks pencarian terkait yang disimpan lebih dari enam bulan.

Saat Anda mengkueri data menggunakan indeks pencarian, Anda hanya perlu mengkueri tabel data tertentu jika tabel data tersebut berisi semua data yang termasuk dalam rentang waktu yang Anda inginkan. Jika data yang termasuk dalam rentang waktu yang Anda inginkan mencakup beberapa tabel data, Anda perlu mengkueri semua tabel data tersebut dan menggabungkan hasil kueri.

Aturan

Ukuran indeks pencarian tunggal bisa mencapai 50 miliar baris. Untuk memastikan kinerja kueri optimal, kami sarankan Anda membatasi ukuran indeks pencarian tunggal hingga 20 miliar baris atau kurang.

Manfaat

• Anda dapat menyesuaikan durasi penyimpanan data berdasarkan jumlah tabel data yang disimpan.

• Kinerja kueri berbanding lurus dengan volume data. Setelah tabel data dipartisi menjadi beberapa tabel data, volume data setiap tabel data memiliki batas atas. Ini memastikan kinerja kueri yang lebih baik dan menghindari latensi tinggi atau timeout.

Kategori

Operasi

Deskripsi

Manajemen Indeks

CreateSearchIndex

Membuat indeks pencarian.

UpdateSearchIndex

Memperbarui konfigurasi indeks pencarian, termasuk konfigurasi TTL dan skema.

DescribeSearchIndex

Mengkueri detail tentang indeks pencarian.

ListSearchIndex

Mengkueri daftar indeks pencarian.

DeleteSearchIndex

Menghapus indeks pencarian.

Kueri Data

Search

Mendukung semua fitur indeks pencarian. Anda dapat memanggil operasi Search untuk mengkueri data menggunakan semua metode kueri yang didukung dan menganalisis data dengan melakukan operasi pengurutan dan agregasi. Hasil kueri dikembalikan berdasarkan urutan yang ditentukan.

• Metode kueri: kueri berdasarkan kolom non-kunci utama, kueri exists, kueri kabur, kueri Boolean, kueri bersarang, kueri geo, pencarian teks lengkap, dan kueri vektor KNN

• Collapse (distinct)

• Pengurutan

• Agregasi

• Kueri Cocok Semua

ParallelScan

Mengekspor data secara paralel. Anda dapat memanggil operasi ParallelScan untuk mengkueri data menggunakan semua metode kueri yang didukung. Namun, untuk memastikan pengambilan hasil kueri yang lebih cepat, operasi ParallelScan tidak mendukung fitur analisis seperti pengurutan dan agregasi.

Operasi ParallelScan menawarkan kinerja kueri yang unggul dibandingkan operasi Search. Saat operasi ParallelScan memproses satu permintaan kueri yang mencakup tugas pemindaian paralel, throughput-nya lima kali lipat dari operasi Search.

• Metode kueri: kueri berdasarkan kolom non-kunci utama, kueri exists, kueri kabur, kueri Boolean, kueri bersarang, kueri geo, dan pencarian teks lengkap

• Beberapa tugas pemindaian paralel yang termasuk dalam satu permintaan ParallelScan

Saat Anda memanggil operasi ini, Anda harus memanggil operasi ComputeSplits untuk mengkueri jumlah maksimum tugas pemindaian paralel untuk satu permintaan ParallelScan.