ApsaraDB for SelectDB：Inverted Index

Prinsip Indeks

Pada ApsaraDB for SelectDB, setiap baris dalam tabel merepresentasikan satu dokumen, dan setiap kolom merepresentasikan satu bidang dalam dokumen tersebut. Inverted index memungkinkan Anda menemukan baris yang berisi kata kunci tertentu dengan cepat, sehingga meningkatkan efisiensi penyaringan klausa WHERE.

Berbeda dengan indeks biasa, inverted index menyimpan data dalam file terbalik terpisah. File-file ini hanya memiliki hubungan logis dengan file data utama (segment), bukan integrasi fisik. Desain ini berarti pembaruan atau penghapusan inverted index tidak memerlukan penulisan ulang file data utama, sehingga beban pemrosesan turun secara signifikan.

Kasus Penggunaan

• Mempercepat pencarian teks penuh pada kolom string.

• Mempercepat penyaringan pada kolom string, numerik, dan datetime menggunakan =, !=, >, >=, <, <=.

Manfaat

• Dukungan untuk kombinasi logika yang kaya.

  • Mendorong logika OR dan NOT ke lapisan indeks.

  • Mendukung kombinasi arbitrer dari AND, OR, dan NOT di antara beberapa kondisi.

• Manajemen indeks yang fleksibel dan cepat.

  • Membuat inverted index saat membuat tabel.

  • Menambahkan inverted index ke tabel yang sudah ada.

  • Menghapus inverted index yang ada dari tabel.

Batasan

• Tipe FLOAT dan DOUBLE tidak didukung karena masalah presisi floating-point. Gunakan DECIMAL sebagai gantinya. DECIMAL mendukung inverted index.

• Beberapa tipe data kompleks tidak didukung: MAP, STRUCT, JSON, HLL, BITMAP, QUANTILE_STATE, dan AGG_STATE. Untuk JSON, gunakan VARIANT.

• Anda dapat membuat inverted index pada kolom numerik, tetapi tidak dapat menentukan parser tokenizer seperti english, chinese, atau unicode.

• Tabel DUPLICATE dan tabel UNIQUE dengan Merge-on-Write yang diaktifkan mendukung inverted index pada kolom apa pun. Namun, tabel AGGREGATE dan tabel UNIQUE tanpa Merge-on-Write hanya mendukung inverted index pada kolom kunci. Kolom non-kunci tidak mendukung inverted index pada model-model ini karena harus membaca seluruh data sebelum melakukan penggabungan, sehingga tidak dapat menggunakan indeks untuk penyaringan awal.

Membuat indeks saat membuat tabel

Ini adalah operasi sinkron. Indeks siap digunakan segera setelah tabel dibuat.

Sintaks

CREATE TABLE  [IF NOT EXISTS] [db_name.]<table_name>
(
  <column_definition_list>,
  [<index_definition_list>] 
)
table_properties;

Parameter

Parameter pembuatan tabel

Sintaks index_definition_list

Anda dapat mendefinisikan beberapa indeks saat membuat tabel. Format: index_definition[, index_definition][, index_definition]....

index_definition Definisi

INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")] [COMMENT '<comment>']

parameter definisi indeks

Contoh pembuatan tabel dan indeks

-- Membuat inverted index bernama idx_comment pada kolom comment
-- USING INVERTED menetapkan jenis indeks menjadi inverted index
-- PROPERTIES("parser" = "english") menggunakan tokenisasi bahasa Inggris. Juga mendukung "chinese" dan "unicode". Menghilangkan "parser" menonaktifkan tokenisasi.
CREATE TABLE hackernews_1m
(
    `id` BIGINT,
    `deleted` TINYINT,
    `type` String,
    `author` String,
    `timestamp` DateTimeV2,
    `comment` String,
    `dead` TINYINT,
    `parent` BIGINT,
    `poll` BIGINT,
    `children` Array<BIGINT>,
    `url` String,
    `score` INT,
    `title` String,
    `parts` Array<INT>,
    `descendants` INT,
    INDEX idx_comment (`comment`) USING INVERTED PROPERTIES("parser" = "english") COMMENT 'inverted index for comment'
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

Menambahkan indeks ke tabel yang sudah ada

Ini adalah operasi asinkron. Periksa progres dengan SHOW ALTER TABLE COLUMN;.

Sintaks

ALTER TABLE <table_name> ADD INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")];

Parameter

Sama seperti saat pembuatan tabel.

Contoh

Tambahkan indeks tanpa tokenisasi.

ALTER TABLE user_tb ADD INDEX index_userId(user_id) USING INVERTED ;

Tambahkan indeks yang menggunakan metode tokenisasi english.

ALTER TABLE user_tb ADD INDEX index_city(city) USING INVERTED PROPERTIES("parser" = "english");

Menampilkan indeks

Memeriksa progres perubahan indeks

Perubahan indeks menggunakan ALTER atau DROP bersifat asinkron. Periksa progres dengan pernyataan ini.

SHOW ALTER TABLE COLUMN;

Menampilkan semua indeks untuk suatu tabel

Sintaks

SHOW INDEXES FROM <table_name>;

Contoh

SHOW INDEXES FROM user_tb;

Menghapus indeks

Penghapusan indeks bersifat asinkron. Untuk memeriksa progres, lihat Menampilkan indeks.

Sintaks

-- Sintaks 1
DROP INDEX <index_name> ON <table_name>;
-- Sintaks 2
ALTER TABLE <table_name> DROP INDEX <index_name>;

Contoh

DROP INDEX index_userId ON user_tb;
ALTER TABLE user_tb DROP INDEX index_city;

Pencarian teks penuh

Sintaks

SELECT * FROM <table_name> WHERE <column_name> <conditional_logic> '<keywords>';

Parameter

Contoh

-- Temukan semua baris di log_tb di mana logmsg berisi keyword1.
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1';

-- Temukan semua baris di log_tb di mana logmsg berisi keyword1 atau keyword2.
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1 keyword2';

-- Temukan semua baris di log_tb di mana logmsg berisi keyword1 dan keyword2.
SELECT * FROM log_tb WHERE logmsg MATCH_ALL 'keyword1 keyword2';

-- Temukan semua baris di log_tb di mana logmsg berisi keyword1 dan keyword2 secara berurutan.
SELECT * FROM log_tb WHERE logmsg MATCH_PHRASE 'keyword1 keyword2';

Kueri kesetaraan dan rentang pada kolom numerik dan tanggal

Sintaks kueri identik dengan SQL standar.

Contoh

-- Kueri kesetaraan, rentang, IN, dan NOT IN
SELECT * FROM user_tb WHERE id = 123;
SELECT * FROM user_tb WHERE ts > '2023-01-01 00:00:00';
SELECT * FROM user_tb WHERE op_type IN ('add', 'delete');

Perbandingan performa kueri

Kami menguji performa kueri menggunakan 1 juta baris dari dataset hackernews, membandingkan kueri dengan dan tanpa inverted index.

Fungsi Tokenisasi

Fungsi tokenisasi memisahkan teks kontinu menjadi token atau frasa individual. Fungsi ini merupakan inti dari pembuatan dan penggunaan inverted index. Kualitas dan metode tokenisasi secara langsung memengaruhi kualitas dan performa indeks.

Jika Anda tidak yakin bagaimana string teks akan ditokenisasi, gunakan fungsi TOKENIZE untuk memeriksa. TOKENIZE menerima dua parameter utama: parser dan parser_mode. Deskripsinya sebagai berikut.

Contoh berikut.

-- Hasil tokenisasi bahasa Inggris.
SELECT TOKENIZE('I love CHINA','"parser"="english"');
+------------------------------------------------+
| tokenize('I love CHINA', '"parser"="english"') |
+------------------------------------------------+
| ["i", "love", "china"]                         |
+------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi fine-grained dari tokenizer bahasa Tionghoa.
SELECT TOKENIZE('武汉长江大桥','"parser"="chinese","parser_mode"="fine_grained"');
+-----------------------------------------------------------------------------------+
| tokenize('武汉长江大桥', '"parser"="chinese","parser_mode"="fine_grained"')       |
+-----------------------------------------------------------------------------------+
| ["武汉", "武汉长江大桥", "长江", "长江大桥", "大桥"]                              |
+-----------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi coarse-grained dari tokenizer bahasa Tionghoa.
SELECT TOKENIZE('武汉市长江大桥','"parser"="chinese","parser_mode"="coarse_grained"');
+----------------------------------------------------------------------------------------+
| tokenize('武汉市长江大桥', '"parser"="chinese","parser_mode"="coarse_grained"')        |
+----------------------------------------------------------------------------------------+
| ["武汉市", "长江大桥"]                                                                 |
+----------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- Hasil tokenisasi campuran multibahasa.
SELECT TOKENIZE('I love CHINA 我爱我的祖国','"parser"="unicode"');
+-------------------------------------------------------------------+
| tokenize('I love CHINA 我爱我的祖国', '"parser"="unicode"')       |
+-------------------------------------------------------------------+
| ["i", "love", "china", "我", "爱", "我", "的", "祖", "国"]        |
+-------------------------------------------------------------------+
1 row in set (0.02 sec)