ApsaraDB for SelectDB：Indeks terbalik

Implementasi

Dalam implementasi indeks terbalik di ApsaraDB for SelectDB, setiap baris dalam tabel sesuai dengan sebuah dokumen, dan setiap kolom sesuai dengan bidang dalam dokumen. Oleh karena itu, indeks terbalik memungkinkan Anda menemukan baris yang berisi kata kunci tertentu dengan cepat, mempercepat kueri yang menggunakan klausa WHERE.

Indeks terbalik berbeda dari indeks lainnya di ApsaraDB for SelectDB. ApsaraDB for SelectDB menggunakan file terpisah untuk menyimpan indeks terbalik. File ini memiliki pemetaan logika dengan file segmen, tetapi keduanya independen satu sama lain. Hal ini menghilangkan kebutuhan untuk menulis ulang file segmen saat memperbarui atau menghapus indeks terbalik, sehingga mengurangi overhead pemrosesan secara signifikan.

Skenario

• Mempercepat pencarian teks penuh untuk data tipe STRING.

• Mempercepat pencarian untuk data tipe STRING, NUMERIC, atau DATETIME menggunakan operator: =, !=, >, >=, <, and <=.

Manfaat

• Mendukung kombinasi logika.

  • Mendukung filter indeks dorong ke bawah untuk operator OR dan NOT.

  • Mendukung kombinasi operator AND, OR, dan NOT.

• Mendukung manajemen indeks yang fleksibel dan cepat.

  • Memungkinkan pembuatan indeks terbalik saat membuat tabel.

  • Memungkinkan pembuatan indeks terbalik untuk tabel yang sudah ada.

  • Memungkinkan penghapusan indeks terbalik yang sudah ada dari tabel.

Batasan

• Tipe data FLOAT dan DOUBLE yang tidak memiliki presisi tinggi tidak mendukung indeks terbalik. Tipe data DECIMAL memiliki presisi tinggi dan mendukung indeks terbalik. Anda dapat menggunakan tipe DECIMAL.

• Beberapa tipe data kompleks tidak mendukung indeks terbalik. Tipe data kompleks termasuk MAP, STRUCT, JSON, HLL, BITMAP, QUANTILE_STATE, dan AGG_STATE. Tipe data JSON dapat mendukung indeks terbalik setelah dikonversi menjadi tipe data VARIANT.

• Bidang tipe NUMERIC mendukung indeks terbalik, tetapi Anda tidak diperbolehkan menentukan parser untuk bidang tersebut. Nilai valid parser: english, chinese, dan unicode.

• Anda dapat membuat indeks terbalik untuk semua kolom dalam model DUPLICATE dan model UNIQUE yang memiliki Merge on Write (MoW) diaktifkan. Untuk model AGGREGATE dan UNIQUE dengan MoW dinonaktifkan, Anda hanya dapat membuat indeks terbalik untuk kolom Kunci. Model-model tersebut perlu membaca semua data dan menggabungkannya, sehingga indeks tidak dapat digunakan untuk menyaring data terlebih dahulu.

Buat indeks terbalik saat Anda membuat tabel

Operasi ini bersifat sinkron. Jika Anda membuat indeks terbalik saat membuat tabel, tabel dan indeks terbalik dibuat secara sinkron.

Sintaksis

CREATE TABLE  [IF NOT EXISTS] [db_name.]<table_name>
(
  <column_definition_list>,
  [<index_definition_list>] 
)
table_properties;

Parameter

Parameter yang Digunakan untuk Membuat Tabel

index_definition_list

Anda dapat mendefinisikan beberapa indeks dalam format berikut saat membuat tabel: index_definition[, index_definition][, index_definition]....

Sintaksis index_definition

INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")] [COMMENT '<comment>']

Parameter index_definition

Contoh

-- Buat tabel dan indeks terbalik bernama idx_comment pada kolom comment.
-- USING INVERTED menentukan bahwa tipe indeks adalah indeks terbalik.
-- PROPERTIES("parser" = "english") menentukan bahwa pemisah kata bahasa Inggris digunakan untuk memisahkan teks menjadi kata kunci. Anda juga dapat mengatur parameter parser ke chinese atau unicode. Jika Anda membiarkan parameter parser kosong, teks tidak dipisahkan menjadi kata kunci.
CREATE TABLE hackernews_1m
(
    `id` BIGINT,
    `deleted` TINYINT,
    `type` String,
    `author` String,
    `timestamp` DateTimeV2,
    `comment` String,
    `dead` TINYINT,
    `parent` BIGINT,
    `poll` BIGINT,
    `children` Array<BIGINT>,
    `url` String,
    `score` INT,
    `title` String,
    `parts` Array<INT>,
    `descendants` INT,
    INDEX idx_comment (`comment`) USING INVERTED PROPERTIES("parser" = "english") COMMENT 'indeks terbalik untuk comment'
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

Buat indeks terbalik untuk tabel yang sudah ada

Operasi ini bersifat asinkron. Anda dapat mengeksekusi pernyataan SHOW ALTER TABLE COLUMN; untuk menanyakan kemajuan pembuatan indeks.

Sintaksis

ALTER TABLE <table_name> ADD INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")];

Parameter

Parameter-parameter tersebut sama dengan yang digunakan untuk membuat indeks terbalik saat membuat tabel.

Contoh

Buat indeks terbalik yang tidak digunakan untuk memisahkan teks menjadi kata kunci.

ALTER TABLE user_tb ADD INDEX index_userId(user_id) USING INVERTED ;

Buat indeks terbalik yang digunakan untuk memisahkan teks menjadi kata kunci menggunakan pemisah kata Inggris.

ALTER TABLE user_tb ADD INDEX index_city(city) USING INVERTED PROPERTIES("parser" = "english");

Kueri informasi tentang indeks terbalik

Kueri kemajuan perubahan indeks

Anda dapat mengeksekusi pernyataan ALTER atau DROP untuk mengubah indeks terbalik. Operasi ini bersifat asinkron. Anda dapat mengeksekusi pernyataan berikut untuk menanyakan kemajuannya:

SHOW ALTER TABLE COLUMN;

Kueri semua indeks yang dibuat untuk tabel

Sintaksis

SHOW INDEXES FROM <table_name>;

Contoh

SHOW INDEXES FROM user_tb;

Hapus indeks terbalik

Anda dapat menghapus indeks dalam mode asinkron. Untuk informasi lebih lanjut tentang cara menanyakan kemajuan penghapusan indeks, lihat Kueri Informasi tentang Indeks Terbalik.

Sintaksis

-- Sintaksis 1
DROP INDEX <index_name> ON <table_name>;
-- Sintaksis 2
ALTER TABLE <table_name> DROP INDEX <index_name>;

Contoh

DROP INDEX index_userId ON user_tb;
ALTER TABLE user_tb DROP INDEX index_city;

Pencarian teks penuh

Sintaksis

SELECT * FROM <table_name> WHERE <column_name> <conditional_logic> '<keywords>';

Parameter

Contoh

-- Kueri semua baris yang berisi keyword1 dalam kolom logmsg dari tabel log_tb. 
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1';

-- Kueri semua baris yang berisi keyword1 atau keyword2 dalam kolom logmsg dari tabel log_tb. 
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1 keyword2';

-- Kueri semua baris yang berisi keyword1 dan keyword2 dalam kolom logmsg dari tabel log_tb. 
SELECT * FROM log_tb WHERE logmsg MATCH_ALL 'keyword1 keyword2';

-- Kueri semua baris yang berisi keyword1 dan keyword2 dalam kolom logmsg dari tabel log_tb dan di mana keyword2 mengikuti keyword1. 
SELECT * FROM log_tb WHERE logmsg MATCH_PHRASE 'keyword1 keyword2';

Kesetaraan atau kueri rentang pada data tipe NUMERIC dan DATE

Dalam skenario ini, sintaksis kueri sama dengan sintaksis SQL standar.

Contoh

-- Lakukan kueri kesetaraan, kueri rentang, dan kueri yang berisi kondisi IN atau NOT IN.
SELECT * FROM user_tb WHERE id = 123;
SELECT * FROM user_tb WHERE ts > '2023-01-01 00:00:00';
SELECT * FROM user_tb WHERE op_type IN ('add', 'delete');

Bandingkan performa kueri

Dalam contoh ini, tabel hackernews yang berisi 1 juta entri data digunakan untuk membandingkan performa kueri sebelum dan sesudah menggunakan indeks terbalik.

Fungsi TOKENIZE

Fungsi TOKENIZE dapat memisahkan teks kontinu menjadi istilah atau frasa terpisah. Fungsi ini penting untuk membuat dan menggunakan indeks terbalik serta erat kaitannya dengan indeks terbalik. Kualitas dan metode tokenisasi langsung memengaruhi kualitas dan performa indeks terbalik.

Anda juga dapat memanggil fungsi TOKENIZE untuk menanyakan hasil tokenisasi teks kontinu. Fungsi TOKENIZE berisi parameter parser dan parser_mode. Tabel berikut menjelaskan parameter-parameter tersebut.

Contoh

-- Hasil tokenisasi kata bahasa Inggris 
SELECT TOKENIZE('I love CHINA','"parser"="english"');
+------------------------------------------------+
| tokenize('I love CHINA', '"parser"="english"') |
+------------------------------------------------+
| ["i", "love", "china"]                         |
+------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi kata halus yang diimplementasikan menggunakan pemisah kata Cina. 
SELECT TOKENIZE('武汉长江大桥','"parser"="chinese","parser_mode"="fine_grained"');
+-----------------------------------------------------------------------------------+
| tokenize('武汉长江大桥', '"parser"="chinese","parser_mode"="fine_grained"')       |
+-----------------------------------------------------------------------------------+
| ["武汉", "武汉长江大桥", "长江", "长江大桥", "大桥"]                              |
+-----------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi kata kasar yang diimplementasikan menggunakan pemisah kata Cina. 
SELECT TOKENIZE('武汉市长江大桥','"parser"="chinese","parser_mode"="coarse_grained"');
+----------------------------------------------------------------------------------------+
| tokenize('武汉市长江大桥', '"parser"="chinese","parser_mode"="coarse_grained"')        |
+----------------------------------------------------------------------------------------+
| ["武汉市", "长江大桥"]                                                                 |
+----------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi kata teks multi-bahasa 
SELECT TOKENIZE('I love CHINA 我爱我的祖国','"parser"="unicode"');
+-------------------------------------------------------------------+
| tokenize('I love CHINA 我爱我的祖国', '"parser"="unicode"')       |
+-------------------------------------------------------------------+
| ["i", "love", "china", "我", "爱", "我", "的", "祖", "国"]        |
+-------------------------------------------------------------------+
1 row in set (0.02 sec)