Hologres:Índice invertido de texto completo

Crie um índice

CREATE INDEX [ IF NOT EXISTS ] idx_name ON table_name
       USING FULLTEXT (column_name [ , ... ])
       [ WITH ( storage_parameter [ = value ] [ , ... ] ) ];

Modifique um índice

-- Modify index configuration
ALTER INDEX [ IF EXISTS ] <idx_name> SET ( <storage_parameter> = '<storage_value>' [ , ... ] );

-- Reset to default configuration
ALTER INDEX [ IF EXISTS ] <idx_name> RESET ( <storage_parameter> [ , ... ] );

Excluir um índice

DROP INDEX [ IF EXISTS ] <idx_name> [ RESTRICT ];

Visualize índices

O Hologres fornece a tabela de sistema hologres.hg_index_properties, onde é possível visualizar os índices invertidos de texto completo criados para uma tabela e suas posições correspondentes.

SELECT * FROM hologres.hg_index_properties;

Execute a seguinte instrução SQL para visualizar a tabela e a coluna associadas a um índice.

SELECT 
    t.relname AS table_name, 
    a.attname AS column_name
FROM pg_class t
    JOIN pg_index i ON t.oid = i.indrelid
    JOIN pg_class idx ON i.indexrelid = idx.oid
    JOIN pg_attribute a ON a.attrelid = t.oid AND a.attnum = ANY(i.indkey)
WHERE t.relnamespace = (SELECT oid FROM pg_namespace WHERE nspname = '<namespace>')
    AND idx.relname = '<indexname>'
LIMIT 1;

Parâmetros:

• namespace: O valor do campo table_namespace na saída do comando SELECT * FROM hologres.hg_index_properties;.

• indexname: O nome real do índice.

Visualize progresso de construção do índice

Após criar um índice invertido de texto completo, use a função integrada hg_show_build_index_progress para visualizar o progresso de construção do índice em tempo real. Essa função retorna o status de construção de todos os índices de texto completo na tabela especificada.

Exemplo

SELECT * FROM hg_show_build_index_progress('<table_name>');

Notas de uso

• Para chamar essa função, você deve ter a permissão SELECT na tabela especificada.

• A função retorna informações de construção para todos os índices de texto completo na tabela, incluindo o número de arquivos construídos, o total de arquivos, o progresso da construção em porcentagem e o tempo restante estimado.

Valores de retorno

O resultado inclui os seguintes campos:

Função TEXT_SEARCH

A função TEXT_SEARCH calcula a pontuação de relevância BM25 para uma fonte de busca com base em um objeto de busca.

TEXT_SEARCH (
  <search_data> TEXT/VARCHAR/CHAR
  ,<search_expression> TEXT
  [ ,<mode> TEXT DEFAULT 'match'
  ,<operator> TEXT DEFAULT 'OR'
  ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT ''
  ,<options> TEXT DEFAULT '']
)

Função TOKENIZE

A função TOKENIZE retorna os resultados da tokenização com base na configuração do tokenizador. Use esta função para depurar a tokenização de um índice invertido de texto completo.

TOKENIZE (
  <search_data> TEXT
  [ ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT '']
)

Verifique uso do índice

Verifique o plano de execução para ver se uma consulta SQL usa o índice invertido de texto completo. A presença de Fulltext Filter no plano indica que o índice foi usado com sucesso. Para mais informações sobre planos de execução, consulte EXPLAIN and EXPLAIN ANALYZE.

SQL de exemplo:

EXPLAIN ANALYZE SELECT * FROM wiki_articles WHERE text_search(content, 'Yangtze River') > 0;

O plano de execução é mostrado a seguir. Ele contém o campo Fulltext Filter, que indica que a instrução SQL utilizou com sucesso o índice invertido de texto completo.

QUERY PLAN
Gather  (cost=0.00..1.00 rows=1 width=12)
  ->  Local Gather  (cost=0.00..1.00 rows=1 width=12)
        ->  Index Scan using Clustering_index on wiki_articles  (cost=0.00..1.00 rows=1 width=12)
              Fulltext Filter: (text_search(content, search_expression => 'Yangtze River'::text, mode => match, operator => OR, tokenizer => jieba, analyzer_params => {"filter":["removepunct","lowercase",{"stop_words":["_english_"],"type":"stop"},{"language":"english","type":"stemmer"}],"tokenizer":{"hmm":true,"mode":"search","type":"jieba"}}, options => ) > '0'::double precision)
Query Queue: init_warehouse.default_queue
Optimizer: HQO version 4.0.0

Reconstruir índices usando recursos Serverless

Algumas alterações de propriedade acionam compactação e reconstrução de índice, o que pode causar picos de uso de CPU. Trate essas alterações da seguinte forma:

Alterações em bitmap_columns, dictionary_encoding_columns ou índices vetoriais

Use a sintaxe REBUILD com recursos de Computação Serverless em vez de ALTER TABLE ... SET. Para mais informações, consulte REBUILD.

ASYNC REBUILD TABLE <table_name>
WITH (
    rebuild_guc_hg_computing_resource = 'serverless'
)
SET (
    bitmap_columns = '<col1>,<col2>',
    dictionary_encoding_columns = '<col1>:on,<col2>:off',
    vectors = '{
    "<col_vector>": {
        "algorithm": "HGraph",
        "distance_method": "Cosine",
        "builder_params": {
            "base_quantization_type": "rabitq",
            "graph_storage_type": "compressed",
            "max_degree": 64,
            "ef_construction": 400,
            "precise_quantization_type": "fp32",
            "use_reorder": true,
            "max_total_size_to_merge_mb": 4096
        }
    }
    }'
);

Alterações no armazenamento colunar para dados JSON ou colunas de índice de texto completo

A sintaxe REBUILD ainda não é suportada para essas alterações. Use uma tabela temporária em vez disso:

BEGIN;
-- Clean up any existing temporary table
DROP TABLE IF EXISTS <table_new>;
-- Create a temporary table with the same structure
SET hg_experimental_enable_create_table_like_properties = on;
CALL HG_CREATE_TABLE_LIKE ('<table_new>', 'select * from <table>');
COMMIT;

-- Apply the new column properties to the temporary table
ALTER TABLE <table_new> ALTER COLUMN <column_name> SET (enable_columnar_type = ON);
CREATE INDEX <idx_name> ON <table_new> USING FULLTEXT (column_name);

-- Insert data using Serverless resources (index building completes synchronously)
SET hg_computing_resource = 'serverless';
INSERT INTO <table_new> SELECT * FROM <table>;
ANALYZE <table_new>;

BEGIN;
-- Replace the original table with the temporary table
DROP TABLE IF EXISTS <table>;
ALTER TABLE <table_new> RENAME TO <table>;
COMMIT;

Outras alterações de propriedade (por exemplo, distribution_key, clustering_key, segment_key, formato de armazenamento)

Use a sintaxe REBUILD com recursos de Computação Serverless.

Requisitos de analyzer_params

O parâmetro analyzer_params deve atender aos seguintes requisitos:

• Deve ser uma string JSON.

• O objeto JSON de nível superior suporta duas chaves: tokenizer e filter. Elas são configuradas da seguinte forma:

  • filter: Opcional. Um array JSON usado para configurar filtros. Múltiplos filtros são aplicados na ordem especificada.

  • tokenizer: Obrigatório. Um objeto JSON que configura as propriedades do tokenizador. Este objeto JSON suporta as seguintes chaves:

    • type: Obrigatório. O nome do tokenizador.

    • Os parâmetros para o objeto tokenizer variam conforme o tokenizador. Para detalhes, consulte a tabela a seguir:

      Tokenizador	Parâmetro	Descrição	Valor
      jieba	mode	O modo de tokenização.	search (padrão): Lista múltiplas combinações possíveis de tokens, permitindo redundância. exact: Não realiza divisão redundante.
      	hmm	Determina se deve usar um Modelo Oculto de Markov para identificar palavras que não estão no dicionário. Este recurso melhora a identificação de novas palavras.	true (padrão): Usa o modelo. false: Não usa o modelo.
      standard	max_token_length	O comprimento máximo do token.	Um inteiro positivo. O valor padrão é 255. Se um token exceder esse comprimento, ele será dividido em intervalos de max_token_length.
      ik	mode	O modo de tokenização.	ik_max_word (padrão): Tokenização de granularidade fina que gera todas as palavras curtas possíveis. ik_smart: Um modo de tokenização de granularidade grossa que prioriza palavras mais longas para reduzir o número de tokens. Os tokens de saída não se sobrepõem. Este modo tenta combinar numerais e palavras de medida em um único token.
      	enable_lowercase	Determina se deve converter tokens para minúsculas.	true (padrão) false
      ngram	min_ngram	O comprimento mínimo de caracteres de um token.	Um número positivo. O padrão é 1. A diferença máxima permitida em relação a max_ngram é 3. Nota: Você pode ajustar a diferença máxima definindo o seguinte GUC, por exemplo, SET hg_fulltext_index_max_ngram_diff = 5;
      	max_ngram	O comprimento máximo de caracteres de um token.	Um número positivo. O padrão é 2. O valor deve estar no intervalo [1, 255]. A diferença máxima permitida em relação a min_ngram é 3. Nota Uma grande diferença entre max_ngram e min_ngram faz com que o tokenizador ngram gere muitos tokens, aumentando o consumo de recursos, armazenamento e tempo de construção do índice.
      	prefix_only	Determina se deve gerar apenas n-grams de prefixo.	true false (padrão)
      pinyin	keep_first_letter	Determina se deve manter a primeira letra de cada caractere chinês.	true (padrão): Mantém as iniciais do pinyin. false: Não mantém a primeira letra.
      	keep_separate_first_letter	Determina se deve manter a primeira letra de cada caractere chinês como um token separado.	true: Mantém a inicial de cada caractere. false (padrão): Não mantém como tokens separados.
      	limit_first_letter_length	O comprimento máximo do token que contém as primeiras letras combinadas.	Um inteiro. O valor padrão é 16.
      	keep_full_pinyin	Determina se deve manter o Pinyin completo de cada caractere chinês.	true (padrão): O pinyin é mantido. false: Não mantém o Pinyin completo.
      	keep_joined_full_pinyin	Determina se deve unir o Pinyin completo de cada caractere chinês em um único token.	true: Habilita a concatenação. false (padrão): Não une o Pinyin.
      	keep_none_chinese	Determina se deve manter letras ou números não chineses no resultado.	true (padrão): Mantém-os. false: Não os mantém.
      	keep_none_chinese_together	Determina se deve manter letras ou números não chineses consecutivos juntos como um único token.	true (padrão): Mantém sequências de letras e dígitos juntas. false: Não preserva a forma original. Nota Este parâmetro tem efeito apenas quando keep_none_chinese está definido como true.
      	keep_none_chinese_in_first_letter	Determina se deve manter letras ou números não chineses no token de primeira letra.	true (padrão): Mantém o token. false: Não os mantém.
      	keep_none_chinese_in_joined_full_pinyin	Determina se deve manter letras ou números não chineses no token de Pinyin completo unido.	true: Mantém o token. false (padrão): Não os mantém.
      	none_chinese_pinyin_tokenize	Determina se deve dividir letras não chinesas em termos Pinyin separados, caso formem um Pinyin válido.	true (padrão): Divide-os. false: Não os divide. Nota Este parâmetro tem efeito apenas quando keep_none_chinese e keep_none_chinese_together estão definidos como true.
      	keep_original	Determina se deve manter a entrada original.	true: Mantém a entrada original. false (padrão): Não mantém a entrada original.
      	lowercase	Determina se deve converter letras não chinesas para minúsculas.	true (padrão) false
      	trim_whitespace	Determina se deve remover caracteres de espaço em branco.	true (padrão) false
      	remove_duplicated_term	Determina se deve remover termos duplicados.	true: Remove stop words. false (padrão): Não remove duplicatas.
      	keep_separate_chinese	Determina se deve manter caracteres chineses individuais como tokens separados.	true: Mantém os caracteres. false (padrão): Não os mantém.

analyzer_params padrão

A tabela a seguir mostra a configuração padrão de analyzer_params para diferentes tokenizadores.

{
  "tokenizer": {
    "type": "jieba", 
    "mode": "search",
    "hmm": true
  }, 
  "filter": [
    "removepunct",
    "lowercase",
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "whitespace"
  }
}

{
  "tokenizer": {
    "type": "keyword"
  }
}

{
  "tokenizer": {
    "type": "simple"
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "standard",
    "max_token_length": 255
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "icu"
  }, 
  "filter": [
    "removepunct",
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "ik",
    "mode": "ik_max_word",
    "enable_lowercase": true
  },
  "filter": [
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "ngram",
    "min_gram": 1,
    "max_gram": 2,
    "prefix_only": false
  }
}

{
  "tokenizer": {
    "type": "pinyin",
    "keep_first_letter": true,
    "keep_separate_first_letter": false,
    "keep_full_pinyin": true,
    "keep_joined_full_pinyin": false,
    "keep_none_chinese": true,
    "keep_none_chinese_together": true,
    "none_chinese_pinyin_tokenize": true,
    "keep_original": false,
    "limit_first_letter_length": 16,
    "lowercase": true,
    "trim_whitespace": true,
    "keep_none_chinese_in_first_letter": true,
    "keep_none_chinese_in_joined_full_pinyin": false,
    "remove_duplicated_term": false,
    "ignore_pinyin_offset": true,
    "fixed_pinyin_offset": false,
    "keep_separate_chinese": false
  }
}

Configure filter

O Hologres suporta os seguintes filtros em analyzer_params.

"lowercase"

"_english_"
    "_danish_"
    "_dutch_"
    "_finnish_"
    "_french_"
    "_german_"
    "_hungarian_"
    "_italian_"
    "_norwegian_"
    "_portuguese_"
    "_russian_"
    "_spanish_"
    "_swedish_"

"arabic",
    "danish",
    "dutch",
    "english",
    "finnish",
    "french",
    "german",
    "greek",
    "hungarian",
    "italian",
    "norwegian",
    "portuguese",
    "romanian",
    "russian",
    "spanish",
    "swedish",
    "tamil",
    "turkish"

{"type": "length", "max": 10}

"removepunct"

{
  "type": "pinyin",
  "keep_first_letter": true,
  "keep_separate_first_letter": false,
  "keep_full_pinyin": true,
  "keep_joined_full_pinyin": false,
  "keep_none_chinese": true,
  "keep_none_chinese_together": true,
  "none_chinese_pinyin_tokenize": true,
  "keep_original": false,
  "limit_first_letter_length": 16,
  "lowercase": true,
  "trim_whitespace": true,
  "keep_none_chinese_in_first_letter": true,
  "keep_none_chinese_in_joined_full_pinyin": false,
  "remove_duplicated_term": false,
  "ignore_pinyin_offset": true,
  "fixed_pinyin_offset": false,
  "keep_separate_chinese": false
}