Hologres:全文転置インデックス

インデックスの作成

CREATE INDEX [ IF NOT EXISTS ] idx_name ON table_name
       USING FULLTEXT (column_name [ , ... ])
       [ WITH ( storage_parameter [ = value ] [ , ... ] ) ];

インデックスの変更

-- インデックス構成の変更
ALTER INDEX [ IF EXISTS ] <idx_name> SET ( <storage_parameter> = '<storage_value>' [ , ... ] );

-- デフォルト構成の復元
ALTER INDEX [ IF EXISTS ] <idx_name> RESET ( <storage_parameter> [ , ... ] );

インデックスの削除

DROP INDEX [ IF EXISTS ] <idx_name> [ RESTRICT ];

インデックスの表示

Hologres は、全文転置インデックスとその場所を一覧表示するためのシステムテーブル hologres.hg_index_properties を提供します。

SELECT * FROM hologres.hg_index_properties;

この SQL を実行して、インデックスに関連付けられたテーブルと列を表示します。

SELECT 
    t.relname AS table_name, 
    a.attname AS column_name
FROM pg_class t
    JOIN pg_index i ON t.oid = i.indrelid
    JOIN pg_class idx ON i.indexrelid = idx.oid
    JOIN pg_attribute a ON a.attrelid = t.oid AND a.attnum = ANY(i.indkey)
WHERE t.relnamespace = (SELECT oid FROM pg_namespace WHERE nspname = '<namespace>')
    AND idx.relname = '<indexname>'
LIMIT 1;

パラメーターの説明：

• namespace: SELECT * FROM hologres.hg_index_properties; の出力における table_namespace フィールドの値。

• indexname: 作成した実際のインデックス名。

TEXT_SEARCH 関数

TEXT_SEARCH 関数は、クエリとソーステキストの BM25 関連度スコアを計算します。

TEXT_SEARCH (
  <search_data> TEXT/VARCHAR/CHAR
  ,<search_expression> TEXT
  [ ,<mode> TEXT DEFAULT 'match'
  ,<operator> TEXT DEFAULT 'OR'
  ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT ''
  ,<options> TEXT DEFAULT '']
)

TOKENIZE 関数

TOKENIZE 関数は、トークナイザー構成を使用して形態素解析された出力を返します。これを使用して、形態素解析の動作をテストおよびデバッグします。

TOKENIZE (
  <search_data> TEXT
  [ ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT '']
)

インデックス使用状況の確認

実行計画をチェックして、SQL が全文転置インデックスを使用しているかどうかを確認します。Fulltext Filter が表示されていれば、インデックスが使用されています。実行計画の詳細については、「EXPLAIN と EXPLAIN ANALYZE」をご参照ください。

SQL の例：

EXPLAIN ANALYZE SELECT * FROM wiki_articles WHERE text_search(content, 'Yangtze River') > 0;

実行計画は以下のように表示されます。Fulltext Filter の存在は、インデックスが正常に使用されたことを確認します。

QUERY PLAN
Gather  (cost=0.00..1.00 rows=1 width=12)
  ->  Local Gather  (cost=0.00..1.00 rows=1 width=12)
        ->  Index Scan using Clustering_index on wiki_articles  (cost=0.00..1.00 rows=1 width=12)
              Fulltext Filter: (text_search(content, search_expression => 'Yangtze River'::text, mode => match, operator => OR, tokenizer => jieba, analyzer_params => {"filter":["removepunct","lowercase",{"stop_words":["_english_"],"type":"stop"},{"language":"english","type":"stemmer"}],"tokenizer":{"hmm":true,"mode":"search","type":"jieba"}}, options => ) > '0'::double precision)
Query Queue: init_warehouse.default_queue
Optimizer: HQO version 4.0.0

データ準備

次の SQL を実行して、テストテーブルを作成し、サンプルデータを挿入します。

-- テーブルの作成
CREATE TABLE wiki_articles (id int, content text);

-- インデックスの作成
CREATE INDEX ft_idx_1 ON wiki_articles
       USING FULLTEXT (content)
       WITH (tokenizer = 'jieba');

-- データの挿入
INSERT INTO wiki_articles VALUES
  (1, 'The Yangtze River is China''s longest river and the world''s third-longest river, about 6,300 km long.'),
  (2, 'Li was born in 1962 in Wendeng County, Shandong.'),
  (3, 'He graduated from the department of physics at Shandong University.'),
  (4, 'The Spring Festival, also known as the Lunar New Year, is China''s most important traditional festival.'),
  (5, 'The Spring Festival usually falls between late January and mid-February on the Gregorian calendar. Major customs include pasting spring couplets, setting off firecrackers, eating reunion dinner, and giving New Year greetings.'),
  (6, 'In 2006, the Spring Festival was approved by the State Council as part of China''s first batch of national intangible cultural heritage.'),
  (7, 'Shandong has dozens of universities.'),
  (8, 'ShanDa is a famous university in Shandong.');

-- コンパクションの実行
VACUUM wiki_articles;

-- テーブルデータのクエリ
SELECT * FROM wiki_articles limit 1;

サンプル出力：

id |                       content                       
---+---------------------------------------------------
 1 | The Yangtze River is China''s longest river and the world''s third-longest river, about 6,300 km long.

さまざまな検索例

• キーワード一致。

  -- (K1) キーワード一致 (デフォルト演算子=OR)：'shandong' または 'university' を含むドキュメントに一致します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university') > 0;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    2 | Li was born in 1962 in Wendeng County, Shandong.
    3 | He graduated from the department of physics at Shandong University.
    7 | Shandong has dozens of universities.
    8 | ShanDa is a famous university in Shandong.
  
  -- (K2) キーワード一致 (演算子=AND)：'shandong' と 'university' の両方を含むドキュメントにのみ一致します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university', operator => 'AND') > 0;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
    7 | Shandong has dozens of universities.
    8 | ShanDa is a famous university in Shandong.

• フレーズ検索。

  -- (P1) フレーズ検索 (デフォルト slop = 0)：'shandong' の直後に 'university' が続く場合にのみ一致します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university', mode => 'phrase') > 0;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
  (1 row)
  
  -- (P2) slop = 14 のフレーズ検索：'shandong' と 'university' が最大 14 文字離れている場合に一致します。'Shandong has dozens of universities.' に一致します。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, 'shandong university', mode => 'phrase', options => 'slop=14;') > 0;
          
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
    7 | Shandong has dozens of universities.
  (2 rows)
  
  -- (P3) フレーズ検索は順序が異なるフレーズもサポートしますが、slop の計算が異なります。そのため、'university of Shandong' は slop=23 で一致しますが、slop=22 では一致しません。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, 'shandong university', mode => 'phrase', options => 'slop=23;') > 0;
          
  -- 結果   
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
    7 | Shandong has dozens of universities.
    8 | ShanDa is a famous university in Shandong.
  (3 rows)
  
  -- (P4) standard トークナイザーでの動作。(ALTER INDEX ft_idx_1 SET (tokenizer = 'standard');)
  -- standard トークナイザーの場合、slop は文字ではなくトークンで測定されます。単語間にゼロトークンは、空白に関係なくフレーズ一致としてカウントされます。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university', mode => 'phrase') > 0;
  
  -- 結果
   id |        content         
  ----+------------------------
    1 | shandong university
    2 | shandong  university
    3 | shandong   university
    4 | shandong    university
  (4 rows)
  
  -- (P5) 句読点は無視されます。(jieba トークナイザーを使用。)
  -- テキストが 'river' と 'length' の間にカンマを使用し、クエリがピリオドを使用しても、一致します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'river. length', mode => 'phrase') > 0;
  
  -- 結果
   id |                       content                       
  ----+-----------------------------------------------------
    1 | The Yangtze River is China''s longest river and the world''s third-longest river, about 6,300 km long.
  (1 row)

• 自然言語クエリ。

  -- (N1) 自然言語クエリ：演算子がない場合はキーワード一致にデフォルト設定されます。(K1) と同等です。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, 'shandong university', 'natural_language') > 0;
   id |                               content                               
  ----+---------------------------------------------------------------------
    7 | Shandong has dozens of universities.
    2 | Li was born in 1962 in Wendeng County, Shandong.
    3 | He graduated from the department of physics at Shandong University.
    8 | ShanDa is a famous university in Shandong.
  
  -- (N2) 自然言語クエリ：('shandong' AND 'university') OR 'culture' のいずれかを必要とするキーワード一致。AND は OR よりも優先順位が高いです。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, '(shandong AND university) OR culture', 'natural_language') > 0;
  -- 以下と同等
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, 'shandong AND university OR culture', 'natural_language') > 0;
  -- 以下と同等
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, '(+shandong +university) culture', 'natural_language') > 0;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    8 | ShanDa is a famous university in Shandong.
    7 | Shandong has dozens of universities.
    3 | He graduated from the department of physics at Shandong University.
    6 | In 2006, the Spring Festival was approved by the State Council as part of China's first batch of national intangible cultural heritage.
  
  -- (N3) 自然言語クエリ：'shandong' を含み、'university' を含まず、'culture' を含む可能性があります。'culture' キーワードはどの行が一致するかに影響しませんが、一致する行の関連度スコアを増加させます。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, '+shandong -university culture', 'natural_language') > 0;
   id |                     content                      
  ----+--------------------------------------------------
    2 | Li was born in 1962 in Wendeng County, Shandong.
  
  -- 'shandong' を含み、'physics' を含まず、'famous' を含む可能性があります。'famous' を含む行はより高い関連度スコアを取得します。
  -- 注：このスコア結果は単一のシャードに対するものです。スコアはシャードやファイルレイアウトによって異なる場合があります。
  SELECT id,
         content,
         TEXT_SEARCH(content, '+shandong -physics famous', 'natural_language') as score
  FROM wiki_articles
  WHERE TEXT_SEARCH(content, '+shandong -physics famous', 'natural_language') > 0
  ORDER BY score DESC;
  
  -- 結果
   id |                     content                      |  score   
  ----+--------------------------------------------------+----------
    8 | ShanDa is a famous university in Shandong.       |  2.92376
    7 | Shandong has dozens of universities.             | 0.863399
    2 | Li was born in 1962 in Wendeng County, Shandong. | 0.716338
  
  -- (N4) 自然言語クエリ：フレーズ検索、(P1) と同等です。フレーズを二重引用符で囲みます。内部の引用符は \ でエスケープします。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, '"shandong university"', 'natural_language') > 0;
          
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
  
  -- (N5) 自然言語クエリ：slop を伴うフレーズ検索、(P2) と同等です。~ 構文を使用します。
  SELECT * FROM wiki_articles
          WHERE TEXT_SEARCH(content, '"shandong university"~23', 'natural_language') > 0;
          
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    8 | ShanDa is a famous university in Shandong.
    7 | Shandong has dozens of universities.
    3 | He graduated from the department of physics at Shandong University.
  
  -- (N6) 自然言語クエリ：すべてのドキュメントに一致します。
  SELECT * FROM wiki_articles                                                                                  
          WHERE TEXT_SEARCH(content, '*', 'natural_language') > 0;
          
  -- 結果
   id |                                           content                                            
  ----+----------------------------------------------------------------------------------------------
    1 | The Yangtze River is China's longest river and the world's third-longest river, about 6,300 km long.
    2 | Li was born in 1962 in Wendeng County, Shandong.
    3 | He graduated from the department of physics at Shandong University.
    4 | The Spring Festival, also known as the Lunar New Year, is China's most important traditional festival.
    5 | The Spring Festival usually falls between late January and mid-February on the Gregorian calendar. Major customs include pasting spring couplets, setting off firecrackers, eating reunion dinner, and giving New Year greetings.
    6 | In 2006, the Spring Festival was approved by the State Council as part of China's first batch of national intangible cultural heritage.
    7 | Shandong has dozens of universities.
    8 | ShanDa is a famous university in Shandong.

• タームクエリ。

  -- (T1) タームクエリ：明示的に 'Spring Festival' を含むため、一致します。
  SELECT * FROM wiki_articles 
           WHERE TEXT_SEARCH(content, 'Spring Festival', 'term') > 0;
  
  -- 結果         
   id |                                           content                                            
  ----+----------------------------------------------------------------------------------------------
    4 | The Spring Festival, also known as the Lunar New Year, is China''s most important traditional festival.
    5 | The Spring Festival usually falls between late January and mid-February on the Gregorian calendar. Major customs include pasting spring couplets, setting off firecrackers, eating reunion dinner, and giving New Year greetings.
    6 | In 2006, the Spring Festival was approved by the State Council as part of China''s first batch of national intangible cultural heritage.
  
  
  -- (T2) タームクエリ：一致しません。
  -- wiki_articles.content 列はデフォルトで jieba トークナイザーを使用するため、'shandong university' は分割されます。
  -- タームクエリは、完全一致のために keyword トークナイザーと組み合わせることを推奨します。
  SELECT * FROM wiki_articles 
           WHERE TEXT_SEARCH(content, 'shandong university', 'term') > 0;
  
  -- 結果         
   id | content 
  ----+---------

複雑なクエリの例

• PK との結合クエリを実行できます。

  -- 'shandong' または 'university' を含み、id=3 のテキストを検索します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university') > 0 and id = 3;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    3 | He graduated from the department of physics at Shandong University.
    
  
  -- 'shandong' または 'university' を含むか、id<2 のテキストを検索します。
  SELECT * FROM wiki_articles WHERE TEXT_SEARCH(content, 'shandong university') > 0 OR id < 2;
  
  -- 結果
   id |                               content                               
  ----+---------------------------------------------------------------------
    2 | Li was born in 1962 in Wendeng County, Shandong.
    8 | ShanDa is a famous university in Shandong.
    1 | The Yangtze River is China''s longest river and the world''s third-longest river, about 6,300 km long.
    3 | He graduated from the department of physics at Shandong University.
    7 | Shandong has dozens of universities.

• スコアを返し、上位 3 件を取得します。

  SELECT id,
         content,
         TEXT_SEARCH(content, 'shandong university') AS score,
         TOKENIZE(content, 'jieba')
    FROM wiki_articles
  ORDER BY score DESC
  LIMIT 3;
  
  -- 結果
  id  |                               content                               |  score  |                     tokenize                     
  ----+---------------------------------------------------------------------+---------+--------------------------------------------------
    8 | ShanDa is a famous university in Shandong.                          | 2.74634 | {shanda,famous,univers,shandong}
    7 | Shandong has dozens of universities.                                | 2.74634 | {shandong,has,dozen,univers}
    3 | He graduated from the department of physics at Shandong University. | 2.38178 | {he,graduat,from,depart,physic,shandong,univers}

• SELECT 句と WHERE 句の両方で TEXT_SEARCH を使用します。

  SELECT id,
         content,
         TEXT_SEARCH(content, 'shandong university') AS スコア,
         TOKENIZE(content, 'jieba')
    FROM wiki_articles
   WHERE TEXT_SEARCH(content, 'shandong university') > 0
  ORDER BY スコア DESC;
  
  -- （結果）
  id  |                               content                               |  スコア  |                     トークン化                     
  ----+---------------------------------------------------------------------+---------+--------------------------------------------------
    7 | Shandong has dozens of universities.                                | 2.74634 | {shandong,has,dozen,univers}
    8 | ShanDa is a famous university in Shandong.                          | 2.74634 | {shanda,famous,univers,shandong}
    3 | He graduated from the department of physics at Shandong University. | 2.38178 | {he,graduat,from,depart,physic,shandong,univers}
    2 | Li was born in 1962 in Wendeng County, Shandong.                    | 1.09244 | {li,born,1962,wendeng,counti,shandong}

• wiki ソースから 'shandong university' に関する最も関連性の高いドキュメントを検索します。

  -- JOIN 用のソーステーブル。
  CREATE TABLE article_source (id int primary key, source text);
  INSERT INTO article_source VALUES (1, 'baike'), (2, 'wiki'), (3, 'wiki'), (4, 'baike'),
                                    (5, 'baike'), (6, 'baike'), (7, 'wiki'), (8, 'paper'),
                                    (9, 'http_log'), (10, 'http_log'), (11, 'http_log');
                                    
  SELECT a.id,
         source, content,
         TEXT_SEARCH(content, 'shandong university') AS score,
         TOKENIZE(a.content, 'jieba')
    FROM wiki_articles a
    JOIN article_source b
      ON (a.id = b.id)
   WHERE TEXT_SEARCH(a.content, 'shandong university') > 0
     AND b.source = 'wiki'
  ORDER BY score DESC;
  
  -- 結果
  id  | source |                               content                               |  score  |                     tokenize                     
  ----+--------+---------------------------------------------------------------------+---------+--------------------------------------------------
    7 | wiki   | Shandong has dozens of universities.                                | 2.74634 | {shandong,has,dozen,univers}
    3 | wiki   | He graduated from the department of physics at Shandong University. | 2.38178 | {he,graduat,from,depart,physic,shandong,univers}
    2 | wiki   | Li was born in 1962 in Wendeng County, Shandong.                    | 1.09244 | {li,born,1962,wendeng,counti,shandong}

Serverless リソースを使用したインデックスの再構築

テーブルプロパティを変更すると、コンパクションとインデックスの再構築がトリガーされ、CPU 消費量が高くなる可能性があります。次のテーブルプロパティを変更するには、以下の手順に従ってください：

• bitmap_columns、dictionary_encoding_columns、またはベクターインデックスへの変更は、コンパクションとインデックスの再作成をトリガーします。これらの変更には ALTER TABLE xxx SET 構文を避けることを推奨します。代わりに、Serverless Computing リソースで REBUILD 構文を使用してください。詳細については、「REBUILD」をご参照ください。

ASYNC REBUILD TABLE <table_name> 
WITH (
    rebuild_guc_hg_computing_resource = 'serverless'
)
SET (
    bitmap_columns = '<col1>,<col2>',
    dictionary_encoding_columns = '<col1>:on,<col2>:off',
    vectors = '{
    "<col_vector>": {
        "algorithm": "HGraph",
        "distance_method": "Cosine",
        "builder_params": {
            "base_quantization_type": "rabitq",
            "graph_storage_type": "compressed",
            "max_degree": 64,
            "ef_construction": 400,
            "precise_quantization_type": "fp32",
            "use_reorder": true,
            "max_total_size_to_merge_mb" : 4096
        }
    }
    }'
);

• JSON 形式データ向けの列指向ストレージまたはフルテキストインデックス列の変更も、コンパクションとインデックスの再構築をトリガーします。これらの変更には REBUILD 構文はまだサポートされていません。代わりに、次のように一時テーブルを作成してください：

BEGIN ;
-- 潜在的な一時テーブルのクリーンアップ
DROP TABLE IF EXISTS <table_new>;
-- 一時テーブルの作成
SET hg_experimental_enable_create_table_like_properties=on;
CALL HG_CREATE_TABLE_LIKE ('<table_new>', 'select * from <table>');
COMMIT ;

-- 対応する列に対して JSON 形式データ向けの列指向ストレージを有効にする
ALTER TABLE <table_new> ALTER COLUMN <column_name> SET (enable_columnar_type = ON);
-- 対応する列にフルテキストインデックスを作成する
CREATE INDEX <idx_name> ON <table_new> USING FULLTEXT (column_name);

-- 一時テーブルにデータを挿入し、Serverless リソースを使用して実行し、インデックス構築を同期的に完了させる
SET hg_computing_resource = 'serverless';
INSERT INTO <table_new> SELECT * FROM <table>;
ANALYZE <table_new>;

BEGIN ;
-- 古いテーブルの削除
DROP TABLE IF EXISTS  <table>;
-- 一時テーブルの名前を変更
ALTER TABLE <table_new> RENAME TO <table>;
COMMIT ;

• その他のプロパティ変更 (例：`distribution_key`、`clustering_key`、`segment_key`、ストレージフォーマット) には、Serverless Computing リソースで REBUILD 構文を使用してください。

analyzer_params の要件

analyzer_params 構成の要件：

• JSON 文字列である必要があります。

• トップレベルのキーは tokenizer と filter です：

  • filter：オプション。フィルター構成の JSON 配列。フィルターは各トークンに厳密な順序で適用されます。

  • tokenizer：必須。トークナイザー設定の JSON オブジェクト。サポートされているキーは次のとおりです：

    • type：必須。トークナイザー名。

    • その他のトークナイザー固有のパラメーター。詳細については、以下の表をご参照ください。

      トークナイザー	tokenizer オブジェクトのその他のパラメーター	パラメーターの説明	値
      jieba	mode	トークン化モードを定義します。	search (デフォルト)：形態素解析中にすべての可能な組み合わせをリストアップし、冗長性を許容します。たとえば、中国語の「伝統節日」は「伝統」、「節日」、「伝統節日」の 3 つのトークンに分割されます。 exact：非冗長な形態素解析を実行します。たとえば、中国語の「伝統節日」は「伝統節日」という 1 つのトークンにのみ分割されます。
      	hmm	隠れマルコフモデル (HMM) を使用して未知語 (OOV) を検出するかどうかを指定します。これにより、新語を認識する能力が向上します。	true (デフォルト)：使用する false：この値は使用されません。
      standard	max_token_length	トークンの最大長。	正の整数。デフォルト値は 255 です。トークンがこの長さを超えると、max_token_length の間隔で分割されます。
      ik	mode	形態素解析モードを定義します。	ik_max_word (デフォルト)：詳細な形態素解析。すべての可能な短い単語を出力します。たとえば、中国語の「南京市」は「南京」と「市」に分割されます。 ik_smart：粗い形態素解析。分割数を減らすために長い単語を優先します。出力トークンは重複しません。数値と数量詞を 1 つのトークンに結合しようとします。たとえば、「南京市」や「1 キロメートル」はさらに分割されません。
      	enable_lowercase	トークンを小文字に変換するかどうかを指定します。	true (デフォルト) false
      ngram	min_ngram	トークンの最小文字長。	デフォルト値は 1 です。正の数である必要があります。min_ngram と max_ngram の最大差は 3 です。 注：次の Grand Unified Configuration (GUC) パラメーターを設定することで、最大差を調整できます。例：SET hg_fulltext_index_max_ngram_diff = 5
      	max_ngram	トークンの最大文字長。	デフォルト値は 2 です。値の範囲は [1, 255] です。max_ngram と min_ngram の最大差は 3 です。 説明 max_ngram と min_ngram の差が大きすぎると、ngram トークナイザーは多くのトークンを生成します。これにより、リソース消費の増加、インデックスストレージの増大、インデックス構築時間の延長につながる可能性があります。
      	prefix_only	プレフィックスのみを考慮するかどうかを指定します。	true false (デフォルト)
      pinyin	keep_first_letter	各漢字の頭文字を保持するかどうかを指定します。	true (デフォルト)：「Lǐ Míng」のピンインの形態素解析結果に「lm」が含まれるように、頭文字を保持します。 false：項目は保持されません。
      	keep_separate_first_letter	各漢字の頭文字を保持するかどうかを指定します。	true：頭文字を個別のトークンとして保持します。たとえば、「Lǐ Míng」のピンインの形態素解析結果には「l」と「m」が含まれます。 false (デフォルト)：システムは項目を保持しません。
      	limit_first_letter_length	頭文字で構成されるトークンの最大長。	頭文字の文字列の最大長。値は整数です。デフォルト値は 16 です。
      	keep_full_pinyin	各漢字の完全なピンインを保持するかどうかを指定します。	true (デフォルト)：完全なピンインを保持します。たとえば、「Lǐ Míng」のピンインの形態素解析結果には「li」と「ming」が含まれます。 false：保持は無効になります。
      	keep_joined_full_pinyin	各漢字の完全なピンインを結合するかどうかを指定します。	true の場合、ピンインの音節が結合されます。たとえば、「李明」の形態素解析結果には「liming」が含まれます。 false (デフォルト)：接続は確立されません。
      	keep_none_chinese	結果に非中国語の文字や数字を保持するかどうかを指定します。	true (デフォルト)：保持します。 false：保持しません。
      	keep_none_chinese_together	連続する非中国語の文字や数字を 1 つのトークンとしてまとめて保持するかどうかを指定します。	true (デフォルト)：まとめて保持します。たとえば、「DJ李明」は「DJ」、「li」、「ming」を含むように形態素解析され、「DJ」は 1 つのトークンです。 false：まとめて保持しません。たとえば、「DJ李明」は「D」、「J」、「li」、「ming」を含むように形態素解析されます。 説明 このパラメーターは、keep_none_chinese が true に設定されている場合にのみ有効です。
      	keep_none_chinese_in_first_letter	頭文字で構成されるトークンに非中国語の文字や数字を保持するかどうかを指定します。	true (デフォルト)：保持します。たとえば、「李明AT2025」は「lmat2025」を含むように形態素解析されます。 false：保持しません。
      	keep_none_chinese_in_joined_full_pinyin	結合された完全なピンインで構成されるトークンに非中国語の文字や数字を保持するかどうかを指定します。	true：保持します。たとえば、「李明AT2025」は「limingat2025」を含むように形態素解析されます。 false (デフォルト)：保持しません。
      	none_chinese_pinyin_tokenize	非中国語の文字シーケンスが有効なピンイン音節である場合、それを個別のピンイン用語に分割するかどうかを指定します。	true (デフォルト)：シーケンスを分割します。たとえば、「limingalibaba2025」は「li」、「ming」、「a」、「li」、「ba」、「ba」、「2025」を含むように形態素解析されます。 false：シーケンスを分割しません。 説明 このパラメーターは、keep_none_chinese と keep_none_chinese_together が true に設定されている場合にのみ有効です。
      	keep_original	元の入力を保持するかどうかを指定します。	true：元の入力を保持します。 false (デフォルト)：元の入力を保持しません。
      	lowercase	非中国語の文字を小文字に変換するかどうかを指定します。	true (デフォルト) false
      	trim_whitespace	空白文字をトリミングするかどうかを指定します。	true (デフォルト) false
      	remove_duplicated_term	重複する term を削除するかどうかを指定します。	true：重複する term を削除します。たとえば、「de的」は「de」に形態素解析されます。ただし、これは「de的」のフレーズクエリの結果に影響を与える可能性があります。 false (デフォルト)：重複する term を削除しません。
      	keep_separate_chinese	個々の漢字を個別のトークンとして保持するかどうかを指定します。	true：個々の文字を保持します。たとえば、「李明」は「李」と「明」の 2 つの個別のトークンとして形態素解析されます。 false (デフォルト)：値は保持されません。

デフォルトの analyzer_params

各トークナイザーのデフォルトの analyzer_params：

{
  "tokenizer": {
    "type": "jieba", 
    "mode": "search",
    "hmm": true
  }, 
  "filter": [
    "removepunct",
    "lowercase",
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

 Spring
 Festival
 ,
 i.e.,
 Lunar
 New
 Year
 ,
 is
 China's
 most
 important
 traditional
 festival
 traditional
 festival
 .

{
  "tokenizer": {
    "type": "whitespace"
  }
}

The Spring Festival, also known as the Lunar New Year, is China's most important traditional festival.

{
  "tokenizer": {
    "type": "keyword"
  }
}

The Spring Festival, also known as the Lunar New Year, is China's most important traditional festival.

{
  "tokenizer": {
    "type": "simple"
  }, 
  "filter": [
    "lowercase"
  ]
}

Spring
Festival
i.e.,
Lunar
New
Year
is
China's
most
important
traditional
festival

{
  "tokenizer": {
    "type": "standard",
    "max_token_length": 255
  }, 
  "filter": [
    "lowercase"
  ]
}

Spring Festival
also known as
Lunar New Year
is
the most important
traditional festival
in China

{
  "tokenizer": {
    "type": "icu"
  }, 
  "filter": [
    "removepunct",
    "lowercase"
  ]
}

Spring
Festival
,
i.e.,
Lunar
New
Year
,
is
China's
most
important
traditional
festival
.

{
  "tokenizer": {
    "type": "ik",
    "mode": "ik_max_word",
    "enable_lowercase": true
  },
  "filter": [
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

Spring
Festival
i.e.
Lunar
New
Year
is
China's
most
important
traditional
festival
traditional
festival

{
  "tokenizer": {
    "type": "ngram",
    "min_gram": 1,
    "max_gram": 2,
    "prefix_only": false
  }
}

Spring Festival, also known as the Lunar New Year, is the most important traditional festival in China.

{
  "tokenizer": {
    "type": "pinyin",
    "keep_first_letter": true,
    "keep_separate_first_letter": false,
    "keep_full_pinyin": true,
    "keep_joined_full_pinyin": false,
    "keep_none_chinese": true,
    "keep_none_chinese_together": true,
    "none_chinese_pinyin_tokenize": true,
    "keep_original": false,
    "limit_first_letter_length": 16,
    "lowercase": true,
    "trim_whitespace": true,
    "keep_none_chinese_in_first_letter": true,
    "keep_none_chinese_in_joined_full_pinyin": false,
    "remove_duplicated_term": false,
    "ignore_pinyin_offset": true,
    "fixed_pinyin_offset": false,
    "keep_separate_chinese": false
  }
}

chun
cjjnlxnszgzzydct
jie
ji
nong
li
xin
nian
shi
zhong
guo
zui
zhong
yao
de
chuan
tong
jie
ri

analyzer_params におけるフィルター構成

Hologres は、analyzer_params で次のフィルターをサポートしています。

"lowercase"

"_english_"
"_danish_"
"_dutch_"
"_finnish_"
"_french_"
"_german_"
"_hungarian_"
"_italian_"
"_norwegian_"
"_portuguese_"
"_russian_"
"_spanish_"
"_swedish_"

"arabic",
"danish",
"dutch",
"english",
"finnish",
"french",
"german",
"greek",
"hungarian",
"italian",
"norwegian",
"portuguese",
"romanian",
"russian",
"spanish",
"swedish",
"tamil",
"turkish"

{"type": "length", "max": 10}

"removepunct"

{
  "type": "pinyin",
  "keep_first_letter": true,
  "keep_separate_first_letter": false,
  "keep_full_pinyin": true,
  "keep_joined_full_pinyin": false,
  "keep_none_chinese": true,
  "keep_none_chinese_together": true,
  "none_chinese_pinyin_tokenize": true,
  "keep_original": false,
  "limit_first_letter_length": 16,
  "lowercase": true,
  "trim_whitespace": true,
  "keep_none_chinese_in_first_letter": true,
  "keep_none_chinese_in_joined_full_pinyin": false,
  "remove_duplicated_term": false,
  "ignore_pinyin_offset": true,
  "fixed_pinyin_offset": false,
  "keep_separate_chinese": false
}