ApsaraDB for SelectDB:転置インデックス

実装

ApsaraDB for SelectDB の転置インデックスの実装では、テーブルの各行はドキュメントに、各列はドキュメント内のフィールドに対応します。そのため、転置インデックスを使用すると、特定の term を含む行をすばやく見つけることができます。これは、WHERE 句を含むクエリの高速化に役立ちます。

転置インデックスは、ApsaraDB for SelectDB の他のインデックスとは異なります。 ApsaraDB for SelectDB は、転置インデックスを格納するために別のファイルを使用します。別のファイルはセグメントファイルと論理マッピングされていますが、2 つのファイルは互いに独立しています。これにより、転置インデックスを更新および削除するときにセグメントファイルを書き直す必要がなくなり、処理のオーバーヘッドが大幅に削減されます。

シナリオ

• STRING 型のデータの全文検索を高速化したい場合。

• 次の演算子を使用して、STRING、NUMERIC、または DATETIME 型のデータの検索を高速化したい場合: =, !=, >, >=, <, and <=。

メリット

• 論理結合をサポート。

  • OR 演算子と NOT 演算子のインデックスフィルタープッシュダウンをサポート。

  • AND、OR、および NOT 演算子の組み合わせをサポート。

• インデックスの柔軟で迅速な管理をサポート。

  • テーブルの作成時に転置インデックスを作成できます。

  • 既存のテーブルに転置インデックスを作成できます。

  • テーブルから既存の転置インデックスを削除できます。

制限事項

• 高精度ではない FLOAT データ型と DOUBLE データ型は、転置インデックスをサポートしていません。DECIMAL データ型は高精度であり、転置インデックスをサポートしています。DECIMAL 型を使用できます。

• 一部の複合データ型は、転置インデックスをサポートしていません。複合データ型には、MAP、STRUCT、JSON、HLL、BITMAP、QUANTILE_STATE、および AGG_STATE が含まれます。JSON データ型は、VARIANT データ型に変換された後に転置インデックスをサポートできます。

• NUMERIC 型のフィールドは転置インデックスをサポートしていますが、フィールドにパーサーを指定することはできません。パーサーの有効な値: english、chinese、unicode。

• Merge on Write（MoW）が有効になっている DUPLICATE モデルと UNIQUE モデルの任意の列に転置インデックスを作成できます。MoW が無効になっている AGGREGATE モデルと UNIQUE モデルのキー列にのみ転置インデックスを作成できます。モデルの他の列に転置インデックスを作成できます。モデルはすべてのデータを読み取ってマージする必要があります。したがって、インデックスを使用して事前にデータをフィルタリングすることはできません。

テーブルの作成時に転置インデックスを作成する

この操作は同期操作です。テーブルの作成時に転置インデックスを作成すると、テーブルと転置インデックスが同期的に作成されます。

構文

CREATE TABLE  [IF NOT EXISTS] [db_name.]<table_name>
(
  <column_definition_list>,
  [<index_definition_list>] 
)
table_properties;

パラメーター

テーブルの作成に使用されるパラメーター

index_definition_list

テーブルの作成時に、次の形式で複数のインデックスを定義できます: index_definition[, index_definition][, index_definition]....

index_definition の構文

INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")] [COMMENT '<comment>']

index_definition のパラメーター

例

-- テーブルと、comment 列に idx_comment という名前の転置インデックスを作成します。
-- USING INVERTED は、インデックスの型が転置インデックスであることを指定します。
-- PROPERTIES("parser" = "english") は、英語のトークナイザーを使用してテキストを term にトークン化することを指定します。parser パラメーターを chinese または unicode に設定することもできます。parser パラメーターを空のままにすると、テキストは term にトークン化されません。
CREATE TABLE hackernews_1m
(
    `id` BIGINT,
    `deleted` TINYINT,
    `type` String,
    `author` String,
    `timestamp` DateTimeV2,
    `comment` String,
    `dead` TINYINT,
    `parent` BIGINT,
    `poll` BIGINT,
    `children` Array<BIGINT>,
    `url` String,
    `score` INT,
    `title` String,
    `parts` Array<INT>,
    `descendants` INT,
    INDEX idx_comment (`comment`) USING INVERTED PROPERTIES("parser" = "english") COMMENT 'inverted index for comment'
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

既存のテーブルに転置インデックスを作成する

この操作は非同期です。SHOW ALTER TABLE COLUMN; 文を実行して、インデックスの作成進捗状況をクエリできます。

構文

ALTER TABLE <table_name> ADD INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")];

パラメーター

パラメーターは、テーブルの作成時に転置インデックスを作成するために使用されるパラメーターと同じです。

例

テキストを分割するために使用されない転置インデックスを作成します。

ALTER TABLE user_tb ADD INDEX index_userId(user_id) USING INVERTED ;

English トークナイザーを使用してテキストを term に分割するために使用される転置インデックスを作成します。

ALTER TABLE user_tb ADD INDEX index_city(city) USING INVERTED PROPERTIES("parser" = "english");

転置インデックスに関する情報をクエリする

インデックスの変更進捗状況をクエリする

ALTER 文または DROP 文を実行して、転置インデックスを変更できます。この操作は非同期です。次の文を実行して、変更の進捗状況をクエリできます。

SHOW ALTER TABLE COLUMN;

テーブルに作成されたすべてのインデックスをクエリする

構文

SHOW INDEXES FROM <table_name>;

例

SHOW INDEXES FROM user_tb;

転置インデックスを削除する

非同期モードでインデックスを削除できます。インデックスの削除進捗状況のクエリ方法の詳細については、「転置インデックスに関する情報をクエリする」をご参照ください。

構文

-- 構文 1
DROP INDEX <index_name> ON <table_name>;
-- 構文 2
ALTER TABLE <table_name> DROP INDEX <index_name>;

例

DROP INDEX index_userId ON user_tb;
ALTER TABLE user_tb DROP INDEX index_city;

全文検索

構文

SELECT * FROM <table_name> WHERE <column_name> <conditional_logic> '<keywords>';

パラメーター

例

-- log_tb テーブルの logmsg 列に keyword1 を含むすべての行をクエリします。
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1';

-- log_tb テーブルの logmsg 列に keyword1 または keyword2 を含むすべての行をクエリします。
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1 keyword2';

-- log_tb テーブルの logmsg 列に keyword1 と keyword2 を含むすべての行をクエリします。
SELECT * FROM log_tb WHERE logmsg MATCH_ALL 'keyword1 keyword2';

-- log_tb テーブルの logmsg 列に keyword1 と keyword2 を含み、keyword2 が keyword1 の後にあるすべての行をクエリします。
SELECT * FROM log_tb WHERE logmsg MATCH_PHRASE 'keyword1 keyword2';ログテーブル

NUMERIC 型と DATE 型のデータに対する等価クエリまたは範囲クエリ

これらのシナリオでは、クエリ構文は標準 SQL 構文と同じです。

例

-- 等価クエリ、範囲クエリ、および IN または NOT IN 条件を含むクエリを実行します。
SELECT * FROM user_tb WHERE id = 123;
SELECT * FROM user_tb WHERE ts > '2023-01-01 00:00:00';
SELECT * FROM user_tb WHERE op_type IN ('add', 'delete');

クエリのパフォーマンスを比較する

この例では、100 万件のデータエントリを含む hackernews テーブルを使用して、転置インデックスを使用する前後のクエリのパフォーマンスを比較します。

TOKENIZE 関数

TOKENIZE 関数は、連続テキストを個別の term またはフレーズにトークン化できます。TOKENIZE 関数は、転置インデックスの作成と使用にとって重要であり、転置インデックスと密接に関連しています。トークン化の品質と方法は、転置インデックスの品質とパフォーマンスに直接影響します。

TOKENIZE 関数を呼び出して、連続テキストのトークン化結果をクエリすることもできます。TOKENIZE 関数には、parser パラメーターと parser_mode パラメーターが含まれています。次の表に、パラメーターを示します。

例

-- 英語の単語トークン化結果
SELECT TOKENIZE('I love CHINA','"parser"="english"');
+------------------------------------------------+
| tokenize('I love CHINA', '"parser"="english"') |
+------------------------------------------------+
| ["i", "love", "china"]                         |
+------------------------------------------------+
1 row in set (0.02 sec)

-- 中国語のトークナイザーを使用して実装された、ファイングレイン単語トークン化結果。
SELECT TOKENIZE('武汉长江大桥','"parser"="chinese","parser_mode"="fine_grained"');
+-----------------------------------------------------------------------------------+
| tokenize('武汉长江大桥', '"parser"="chinese","parser_mode"="fine_grained"')       |
+-----------------------------------------------------------------------------------+
| ["武汉", "武汉长江大桥", "长江", "长江大桥", "大桥"]                              |
+-----------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- 中国語のトークナイザーを使用して実装された、コースグレイン単語トークン化結果。
SELECT TOKENIZE('武汉市长江大桥','"parser"="chinese","parser_mode"="coarse_grained"');
+----------------------------------------------------------------------------------------+
| tokenize('武汉市长江大桥', '"parser"="chinese","parser_mode"="coarse_grained"')        |
+----------------------------------------------------------------------------------------+
| ["武汉市", "长江大桥"]                                                                 |
+----------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

-- 多言語テキストの単語トークン化結果
SELECT TOKENIZE('I love CHINA 我爱我的祖国','"parser"="unicode"');
+-------------------------------------------------------------------+
| tokenize('I love CHINA 我爱我的祖国', '"parser"="unicode"')       |
+-------------------------------------------------------------------+
| ["i", "love", "china", "我", "爱", "我", "的", "祖", "国"]        |
+-------------------------------------------------------------------+
1 row in set (0.02 sec)