Hologres:フルテキスト転置インデックス

インデックスの作成

CREATE INDEX [ IF NOT EXISTS ] idx_name ON table_name
       USING FULLTEXT (column_name [ , ... ])
       [ WITH ( storage_parameter [ = value ] [ , ... ] ) ];

インデックスの変更

-- インデックス構成の変更
ALTER INDEX [ IF EXISTS ] <idx_name> SET ( <storage_parameter> = '<storage_value>' [ , ... ] );

-- デフォルト構成へのリセット
ALTER INDEX [ IF EXISTS ] <idx_name> RESET ( <storage_parameter> [ , ... ] );

インデックスの削除

DROP INDEX [ IF EXISTS ] <idx_name> [ RESTRICT ];

インデックスの表示

Hologres は hologres.hg_index_properties システムテーブルを提供しており、テーブルに作成されたフルテキスト転置インデックスとそれに対応する位置を表示できます。

SELECT * FROM hologres.hg_index_properties;

次の SQL ステートメントを実行して、インデックスに関連付けられたテーブルと列を表示します。

SELECT 
    t.relname AS table_name, 
    a.attname AS column_name
FROM pg_class t
    JOIN pg_index i ON t.oid = i.indrelid
    JOIN pg_class idx ON i.indexrelid = idx.oid
    JOIN pg_attribute a ON a.attrelid = t.oid AND a.attnum = ANY(i.indkey)
WHERE t.relnamespace = (SELECT oid FROM pg_namespace WHERE nspname = '<namespace>')
    AND idx.relname = '<indexname>'
LIMIT 1;

パラメーター：

• namespace：SELECT * FROM hologres.hg_index_properties; コマンドの出力における table_namespace フィールドの値。

• indexname：インデックスの実際の名前。

インデックス構築の進捗の表示

フルテキスト転置インデックスを作成した後、ビルトイン関数 hg_show_build_index_progress を使用して、インデックスの構築の進捗をリアルタイムで表示できます。この関数は、指定されたテーブル上のすべてのフルテキストインデックスの構築ステータスを返します。

例

SELECT * FROM hg_show_build_index_progress('<table_name>');

使用上の注意

• この関数を呼び出すには、指定されたテーブルに対する SELECT 権限が必要です。

• この関数は、構築されたファイル数、総ファイル数、パーセント単位の構築の進捗、推定残り時間など、テーブル上のすべてのフルテキストインデックスの構築情報を返します。

戻り値

結果には次のフィールドが含まれます：

TEXT_SEARCH 関数

TEXT_SEARCH 関数は、検索オブジェクトに基づいて検索ソースの BM25 関連度スコアを計算します。

TEXT_SEARCH (
  <search_data> TEXT/VARCHAR/CHAR
  ,<search_expression> TEXT
  [ ,<mode> TEXT DEFAULT 'match'
  ,<operator> TEXT DEFAULT 'OR'
  ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT ''
  ,<options> TEXT DEFAULT '']
)

TOKENIZE 関数

TOKENIZE 関数は、トークナイザーの構成に基づいて形態素解析の結果を返します。この関数を使用して、全文転置インデックスの形態素解析をデバッグできます。

TOKENIZE (
  <search_data> TEXT
  [ ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT '']
)

インデックス使用の確認

実行計画をチェックして、SQL クエリがフルテキスト転置インデックスを使用しているかどうかを確認できます。計画に Fulltext Filter が存在する場合、インデックスが正常に使用されていることを示します。実行計画の詳細については、「EXPLAIN と EXPLAIN ANALYZE」をご参照ください。

SQL の例：

EXPLAIN ANALYZE SELECT * FROM wiki_articles WHERE text_search(content, 'Yangtze River') > 0;

実行計画は次のとおりです。Fulltext Filter フィールドが含まれており、SQL ステートメントがフルテキスト転置インデックスを正常に使用したことを示しています。

QUERY PLAN
Gather  (cost=0.00..1.00 rows=1 width=12)
  ->  Local Gather  (cost=0.00..1.00 rows=1 width=12)
        ->  Index Scan using Clustering_index on wiki_articles  (cost=0.00..1.00 rows=1 width=12)
              Fulltext Filter: (text_search(content, search_expression => 'Yangtze River'::text, mode => match, operator => OR, tokenizer => jieba, analyzer_params => {"filter":["removepunct","lowercase",{"stop_words":["_english_"],"type":"stop"},{"language":"english","type":"stemmer"}],"tokenizer":{"hmm":true,"mode":"search","type":"jieba"}}, options => ) > '0'::double precision)
Query Queue: init_warehouse.default_queue
Optimizer: HQO version 4.0.0

サーバーレスリソースを使用したインデックスの再構築

一部のプロパティ変更はコンパクションとインデックスの再構築をトリガーし、CPU 使用率が急上昇する可能性があります。これらの変更は次のように処理してください：

`bitmap_columns`、`dictionary_encoding_columns`、またはベクターインデックスの変更

ALTER TABLE ... SET の代わりに、サーバーレスコンピューティングリソースで REBUILD 構文を使用します。詳細については、「REBUILD」をご参照ください。

ASYNC REBUILD TABLE <table_name>
WITH (
    rebuild_guc_hg_computing_resource = 'serverless'
)
SET (
    bitmap_columns = '<col1>,<col2>',
    dictionary_encoding_columns = '<col1>:on,<col2>:off',
    vectors = '{
    "<col_vector>": {
        "algorithm": "HGraph",
        "distance_method": "Cosine",
        "builder_params": {
            "base_quantization_type": "rabitq",
            "graph_storage_type": "compressed",
            "max_degree": 64,
            "ef_construction": 400,
            "precise_quantization_type": "fp32",
            "use_reorder": true,
            "max_total_size_to_merge_mb": 4096
        }
    }
    }'
);

JSON データまたはフルテキストインデックス列の列ストレージの変更

REBUILD 構文は、これらの変更にはまだサポートされていません。代わりに一時テーブルを使用してください：

BEGIN;
-- 既存の一時テーブルをクリーンアップ
DROP TABLE IF EXISTS <table_new>;
-- 同じ構造で一時テーブルを作成
SET hg_experimental_enable_create_table_like_properties = on;
CALL HG_CREATE_TABLE_LIKE ('<table_new>', 'select * from <table>');
COMMIT;

-- 新しい列プロパティを一時テーブルに適用
ALTER TABLE <table_new> ALTER COLUMN <column_name> SET (enable_columnar_type = ON);
CREATE INDEX <idx_name> ON <table_new> USING FULLTEXT (column_name);

-- サーバーレスリソースを使用してデータを挿入 (インデックス構築は同期的に完了)
SET hg_computing_resource = 'serverless';
INSERT INTO <table_new> SELECT * FROM <table>;
ANALYZE <table_new>;

BEGIN;
-- 元のテーブルを一時テーブルに置き換え
DROP TABLE IF EXISTS <table>;
ALTER TABLE <table_new> RENAME TO <table>;
COMMIT;

その他のプロパティ変更 (例：`distribution_key`、`clustering_key`、`segment_key`、ストレージフォーマット)

サーバーレスコンピューティングリソースで REBUILD 構文を使用します。

analyzer_params の要件

analyzer_params パラメーターは、次の要件を満たす必要があります：

• JSON 文字列である必要があります。

• トップレベルの JSON オブジェクトは、tokenizer と filter の 2 つのキーをサポートします。これらは次のように構成されます：

  • filter：オプション。フィルターを構成するために使用される JSON 配列。複数のフィルターは指定された順序で適用されます。

  • tokenizer：必須。トークナイザーのプロパティを構成する JSON オブジェクト。この JSON オブジェクトは次のキーをサポートします：

    • type：必須。トークナイザーの名前。

    • tokenizer オブジェクトのパラメーターは、トークナイザーによって異なります。詳細については、次の表をご参照ください：

      トークナイザー	パラメーター	説明	値
      jieba	mode	形態素解析モード。	search (デフォルト)：冗長性を許容し、複数の可能なトークンの組み合わせをリストアップします。 exact：冗長な分割を行いません。
      	hmm	隠れマルコフモデルを使用して辞書にない単語を識別するかどうかを決定します。この機能は新語の識別を向上させます。	true (デフォルト)：モデルを使用します。 false：モデルを使用しません。
      standard	max_token_length	最大トークン長。	正の整数。デフォルト値は 255 です。トークンがこの長さを超えると、max_token_length の間隔で分割されます。
      ik	mode	形態素解析モード。	ik_max_word (デフォルト)：すべての可能な短い単語を出力する、きめ細かい形態素解析。 ik_smart：トークン数を減らすために長い単語を優先する、粗い粒度の形態素解析モード。出力トークンは重複しません。このモードは、数字と助数詞を単一のトークンに結合しようとします。
      	enable_lowercase	トークンを小文字に変換するかどうかを決定します。	true (デフォルト) false
      ngram	min_ngram	トークンの最小文字長。	正の数。デフォルトは 1 です。max_ngram との最大許容差は 3 です。 注：次の GUC を設定することで、最大差を調整できます。例：SET hg_fulltext_index_max_ngram_diff = 5;
      	max_ngram	トークンの最大文字長。	正の数。デフォルトは 2 です。値は [1, 255] の範囲内である必要があります。min_ngram との最大許容差は 3 です。 説明 max_ngram と min_ngram の差が大きいと、ngram トークナイザーが多くのトークンを生成し、リソース消費、ストレージ、インデックス構築時間が増加します。
      	prefix_only	プレフィックス n-gram のみを生成するかどうかを決定します。	true false (デフォルト)
      pinyin	keep_first_letter	各漢字の最初の文字を保持するかどうかを決定します。	true (デフォルト)：pinyin の頭文字を保持します。 false：最初の文字を保持しません。
      	keep_separate_first_letter	各漢字の最初の文字を別のトークンとして保持するかどうかを決定します。	true：各文字の頭文字を保持します。 false (デフォルト)：別のトークンとして保持しません。
      	limit_first_letter_length	結合された最初の文字を含むトークンの最大長。	整数。デフォルト値は 16 です。
      	keep_full_pinyin	各漢字の完全な Pinyin を保持するかどうかを決定します。	true (デフォルト)：pinyin が保持されます。 false：完全な Pinyin を保持しません。
      	keep_joined_full_pinyin	各漢字の完全な Pinyin を単一のトークンに結合するかどうかを決定します。	true：連結を有効にします。 false (デフォルト)：Pinyin を結合しません。
      	keep_none_chinese	結果に非中国語の文字や数字を保持するかどうかを決定します。	true (デフォルト)：保持します。 false：保持しません。
      	keep_none_chinese_together	連続する非中国語の文字や数字を単一のトークンとして一緒に保持するかどうかを決定します。	true (デフォルト)：文字と数字のシーケンスを一緒に保持します。 false：元の形式を保持しません。 説明 このパラメーターは、keep_none_chinese が true に設定されている場合にのみ有効です。
      	keep_none_chinese_in_first_letter	最初の文字のトークンに非中国語の文字や数字を保持するかどうかを決定します。	true (デフォルト)：トークンを保持します。 false：保持しません。
      	keep_none_chinese_in_joined_full_pinyin	結合された完全な Pinyin トークンに非中国語の文字や数字を保持するかどうかを決定します。	true：トークンを保持します。 false (デフォルト)：保持しません。
      	none_chinese_pinyin_tokenize	非中国語の文字が有効な Pinyin を形成する場合に、それらを別々の Pinyin term に分割するかどうかを決定します。	true (デフォルト)：分割します。 false：分割しません。 説明 このパラメーターは、keep_none_chinese と keep_none_chinese_together が true に設定されている場合にのみ有効です。
      	keep_original	元の入力を保持するかどうかを決定します。	true：元の入力を保持します。 false (デフォルト)：元の入力を保持しません。
      	lowercase	非中国語の文字を小文字に変換するかどうかを決定します。	true (デフォルト) false
      	trim_whitespace	空白文字をトリミングするかどうかを決定します。	true (デフォルト) false
      	remove_duplicated_term	重複する term を削除するかどうかを決定します。	true：ストップワードを削除します。 false (デフォルト)：重複を削除しません。
      	keep_separate_chinese	個々の漢字を別のトークンとして保持するかどうかを決定します。	true：文字を保持します。 false (デフォルト)：保持しません。

デフォルトの analyzer_params

次の表は、異なるトークナイザーのデフォルトの analyzer_params 構成を示しています。

{
  "tokenizer": {
    "type": "jieba", 
    "mode": "search",
    "hmm": true
  }, 
  "filter": [
    "removepunct",
    "lowercase",
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "whitespace"
  }
}

{
  "tokenizer": {
    "type": "keyword"
  }
}

{
  "tokenizer": {
    "type": "simple"
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "standard",
    "max_token_length": 255
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "icu"
  }, 
  "filter": [
    "removepunct",
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "ik",
    "mode": "ik_max_word",
    "enable_lowercase": true
  },
  "filter": [
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "ngram",
    "min_gram": 1,
    "max_gram": 2,
    "prefix_only": false
  }
}

{
  "tokenizer": {
    "type": "pinyin",
    "keep_first_letter": true,
    "keep_separate_first_letter": false,
    "keep_full_pinyin": true,
    "keep_joined_full_pinyin": false,
    "keep_none_chinese": true,
    "keep_none_chinese_together": true,
    "none_chinese_pinyin_tokenize": true,
    "keep_original": false,
    "limit_first_letter_length": 16,
    "lowercase": true,
    "trim_whitespace": true,
    "keep_none_chinese_in_first_letter": true,
    "keep_none_chinese_in_joined_full_pinyin": false,
    "remove_duplicated_term": false,
    "ignore_pinyin_offset": true,
    "fixed_pinyin_offset": false,
    "keep_separate_chinese": false
  }
}

filter の構成

Hologres は、analyzer_params で次のフィルターをサポートしています。

"lowercase"

"_english_"
"_danish_"
"_dutch_"
"_finnish_"
"_french_"
"_german_"
"_hungarian_"
"_italian_"
"_norwegian_"
"_portuguese_"
"_russian_"
"_spanish_"
"_swedish_"

"arabic",
"danish",
"dutch",
"english",
"finnish",
"french",
"german",
"greek",
"hungarian",
"italian",
"norwegian",
"portuguese",
"romanian",
"russian",
"spanish",
"swedish",
"tamil",
"turkish"

{"type": "length", "max": 10}

"removepunct"

{
  "type": "pinyin",
  "keep_first_letter": true,
  "keep_separate_first_letter": false,
  "keep_full_pinyin": true,
  "keep_joined_full_pinyin": false,
  "keep_none_chinese": true,
  "keep_none_chinese_together": true,
  "none_chinese_pinyin_tokenize": true,
  "keep_original": false,
  "limit_first_letter_length": 16,
  "lowercase": true,
  "trim_whitespace": true,
  "keep_none_chinese_in_first_letter": true,
  "keep_none_chinese_in_joined_full_pinyin": false,
  "remove_duplicated_term": false,
  "ignore_pinyin_offset": true,
  "fixed_pinyin_offset": false,
  "keep_separate_chinese": false
}