Hologres:Índice invertido de texto completo

Criar um índice

CREATE INDEX [ IF NOT EXISTS ] idx_name ON table_name
       USING FULLTEXT (column_name [ , ... ])
       [ WITH ( storage_parameter [ = value ] [ , ... ] ) ];

Alterar um índice

-- Modify index configuration
ALTER INDEX [ IF EXISTS ] <idx_name> SET ( <storage_parameter> = '<storage_value>' [ , ... ] );

-- Reset to default configuration
ALTER INDEX [ IF EXISTS ] <idx_name> RESET ( <storage_parameter> [ , ... ] );

Excluir um índice

DROP INDEX [ IF EXISTS ] <idx_name> [ RESTRICT ];

Visualizar índices

O Hologres fornece a tabela do sistema hologres.hg_index_properties

SELECT * FROM hologres.hg_index_properties;

Execute a seguinte instrução SQL para visualizar a tabela e a coluna associadas a um índice.

SELECT 
    t.relname AS table_name, 
    a.attname AS column_name
FROM pg_class t
    JOIN pg_index i ON t.oid = i.indrelid
    JOIN pg_class idx ON i.indexrelid = idx.oid
    JOIN pg_attribute a ON a.attrelid = t.oid AND a.attnum = ANY(i.indkey)
WHERE t.relnamespace = (SELECT oid FROM pg_namespace WHERE nspname = '<namespace>')
    AND idx.relname = '<indexname>'
LIMIT 1;

Parâmetros:

• namespace: O valor do campo table_namespaceSELECT * FROM hologres.hg_index_properties;

Visualizar o progresso de construção do índice

Após criar um índice invertido de texto completo, você pode usar a função integrada hg_show_build_index_progress

Exemplo

SELECT * FROM hg_show_build_index_progress('<table_name>');

Notas de uso

• Para chamar essa função, você deve ter a permissão SELECT na tabela especificada.

• A função retorna informações de construção para todos os índices de texto completo na tabela, incluindo o número de arquivos construídos, o número total de arquivos, o progresso de construção em porcentagem e o tempo restante estimado.

Valores de retorno

O resultado inclui os seguintes campos:

Função TEXT_SEARCH

A função TEXT_SEARCH calcula a pontuação de relevância BM25 para uma origem de busca com base em um objeto de busca.

TEXT_SEARCH (
  <search_data> TEXT/VARCHAR/CHAR
  ,<search_expression> TEXT
  [ ,<mode> TEXT DEFAULT 'match'
  ,<operator> TEXT DEFAULT 'OR'
  ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT ''
  ,<options> TEXT DEFAULT '']
)

Função TOKENIZE

A função TOKENIZE retorna os resultados da tokenização com base na configuração do tokenizer. Você pode usar essa função para depurar a tokenização de um índice invertido de texto completo.

TOKENIZE (
  <search_data> TEXT
  [ ,<tokenizer> TEXT DEFAULT ''
  ,<analyzer_params> TEXT DEFAULT '']
)

Verificar o uso do índice

Você pode verificar o plano de execução para ver se uma consulta SQL usa o índice invertido de texto completo. A presença de Fulltext Filter no plano indica que o índice foi usado com sucesso. Para mais informações sobre planos de execução, consulte EXPLAIN e EXPLAIN ANALYZE.

SQL de exemplo:

EXPLAIN ANALYZE SELECT * FROM wiki_articles WHERE text_search(content, 'Yangtze River') > 0;

O plano de execução é o seguinte. Ele contém o campo Fulltext Filter

QUERY PLAN
Gather  (cost=0.00..1.00 rows=1 width=12)
  ->  Local Gather  (cost=0.00..1.00 rows=1 width=12)
        ->  Index Scan using Clustering_index on wiki_articles  (cost=0.00..1.00 rows=1 width=12)
              Fulltext Filter: (text_search(content, search_expression => 'Yangtze River'::text, mode => match, operator => OR, tokenizer => jieba, analyzer_params => {"filter":["removepunct","lowercase",{"stop_words":["_english_"],"type":"stop"},{"language":"english","type":"stemmer"}],"tokenizer":{"hmm":true,"mode":"search","type":"jieba"}}, options => ) > '0'::double precision)
Query Queue: init_warehouse.default_queue
Optimizer: HQO version 4.0.0

Rebuild indexes using Serverless resources

Some property changes trigger compaction and index rebuilding, which can spike CPU usage. Handle these changes as follows:

Changes to `bitmap_columns`, `dictionary_encoding_columns`, or vector indexes

Use a sintaxe REBUILD com recursos do Serverless Computing em vez de ALTER TABLE ... SET. For more information, see REBUILD

ASYNC REBUILD TABLE <table_name>
WITH (
    rebuild_guc_hg_computing_resource = 'serverless'
)
SET (
    bitmap_columns = '<col1>,<col2>',
    dictionary_encoding_columns = '<col1>:on,<col2>:off',
    vectors = '{
    "<col_vector>": {
        "algorithm": "HGraph",
        "distance_method": "Cosine",
        "builder_params": {
            "base_quantization_type": "rabitq",
            "graph_storage_type": "compressed",
            "max_degree": 64,
            "ef_construction": 400,
            "precise_quantization_type": "fp32",
            "use_reorder": true,
            "max_total_size_to_merge_mb": 4096
        }
    }
    }'
);

Alterações no armazenamento colunar para dados JSON ou colunas de índice de texto completo

A sintaxe REBUILD ainda não é suportada para essas alterações. Use uma tabela temporária em vez disso:

BEGIN;
-- Clean up any existing temporary table
DROP TABLE IF EXISTS <table_new>;
-- Create a temporary table with the same structure
SET hg_experimental_enable_create_table_like_properties = on;
CALL HG_CREATE_TABLE_LIKE ('<table_new>', 'select * from <table>');
COMMIT;

-- Apply the new column properties to the temporary table
ALTER TABLE <table_new> ALTER COLUMN <column_name> SET (enable_columnar_type = ON);
CREATE INDEX <idx_name> ON <table_new> USING FULLTEXT (column_name);

-- Insert data using Serverless resources (index building completes synchronously)
SET hg_computing_resource = 'serverless';
INSERT INTO <table_new> SELECT * FROM <table>;
ANALYZE <table_new>;

BEGIN;
-- Replace the original table with the temporary table
DROP TABLE IF EXISTS <table>;
ALTER TABLE <table_new> RENAME TO <table>;
COMMIT;

Other property changes (e.g., `distribution_key`, `clustering_key`, `segment_key`, storage format)

Use the REBUILD syntax with Serverless Computing resources.

Requisitos de analyzer_params

O parâmetro analyzer_params deve atender aos seguintes requisitos:

• Deve ser uma cadeia de caracteres JSON.

• O objeto JSON de nível superior suporta duas chaves: tokenizer and filter. Elas são configuradas da seguinte forma:

  • filter: Opcional. Um array JSON usado para configurar filtros. Múltiplos filtros são aplicados na ordem especificada.

  • tokenizer: Obrigatório. Um objeto JSON que configura as propriedades do tokenizer. Este objeto JSON suporta as seguintes chaves:

    • type: Obrigatório. O nome do tokenizer.

    • Os parâmetros do objeto tokenizer variam conforme o tokenizer. Para detalhes, consulte a tabela a seguir:

      Tokenizer	Parameter	Descrição	Valor
      jieba	mode	O modo de tokenização.	search (padrão): Lista múltiplas combinações possíveis de tokens, permitindo redundância. exact: Não realiza divisão redundante.
      	hmm	Determina se deve usar um Modelo Oculto de Markov para identificar palavras que não estão no dicionário. Esse recurso melhora a identificação de novas palavras.	true (padrão): Usa o modelo. false: Não usa o modelo.
      standard	max_token_length	O comprimento máximo do token.	Um inteiro positivo. O valor padrão é 255. Se um token exceder esse comprimento, ele será dividido em intervalos de max_token_length.
      ik	mode	O modo de tokenização.	ik_max_word (padrão): Tokenização de granularidade fina que gera todas as palavras curtas possíveis. ik_smart: Um modo de tokenização de granularidade grossa que prioriza palavras mais longas para reduzir o número de tokens. Os tokens de saída não se sobrepõem. Esse modo tenta combinar numerais e palavras de medida em um único token.
      	enable_lowercase	Determina se deve converter tokens para minúsculas.	true (default) false
      ngram	min_ngram	O comprimento mínimo de caracteres de um token.	Um número positivo. O padrão é 1. A diferença máxima permitida em relação a max_ngram é 3. Nota: Você pode ajustar a diferença máxima definindo o seguinte GUC, por exemplo, SET hg_fulltext_index_max_ngram_diff = 5;
      	max_ngram	O comprimento máximo de caracteres de um token.	Um número positivo. O padrão é 2. O valor deve estar no intervalo [1, 255]. A diferença máxima permitida em relação a min_ngram is 3. Nota A large difference between max_ngram and min_ngram causes the ngram tokenizer to generate many tokens, increasing resource consumption, storage, e index build time.
      	prefix_only	Determina se deve gerar apenas n-gramas de prefixo.	true false (default)
      pinyin	keep_first_letter	Determina se deve manter a primeira letra de cada caractere chinês.	true (padrão): Mantém as iniciais do pinyin. false: Não mantém a primeira letra.
      	keep_separate_first_letter	Determina se deve manter a primeira letra de cada caractere chinês como um token separado.	true: Mantém a inicial de cada caractere. false (padrão): Não mantém como tokens separados.
      	limit_first_letter_length	O comprimento máximo do token que contém as primeiras letras combinadas.	Um inteiro. O valor padrão é 16.
      	keep_full_pinyin	Determina se deve manter o Pinyin completo de cada caractere chinês.	true (padrão): O pinyin é mantido. false: Não mantém o Pinyin completo.
      	keep_joined_full_pinyin	Determina se deve unir o Pinyin completo de cada caractere chinês em um único token.	true: Ativa a concatenação. false (padrão): Não une o Pinyin.
      	keep_none_chinese	Determina se deve manter letras ou números não chineses no resultado.	true (padrão): Mantém. false: Não mantém.
      	keep_none_chinese_together	Determina se deve manter letras ou números não chineses consecutivos juntos como um único token.	true (padrão): Mantém as sequências de letras e dígitos juntas. false: Não preserva a forma original. Nota Esse parâmetro tem efeito apenas quando keep_none_chinese está definido como true
      	keep_none_chinese_in_first_letter	Determina se deve manter letras ou números não chineses no token de primeira letra.	true (padrão): Mantém o token. false: Não mantém.
      	keep_none_chinese_in_joined_full_pinyin	Determina se deve manter letras ou números não chineses no token de Pinyin completo unido.	true: Mantém o token. false (padrão): Não mantém.
      	none_chinese_pinyin_tokenize	Determina se deve dividir letras não chinesas em termos Pinyin separados, caso formem Pinyin válido.	true (padrão): Divide. false: Não divide. Nota Esse parâmetro tem efeito apenas quando keep_none_chinese and keep_none_chinese_together are set to true
      	keep_original	Determina se deve manter a entrada original.	true: Mantém a entrada original. false (padrão): Não mantém a entrada original.
      	lowercase	Determina se deve converter letras não chinesas para minúsculas.	true (default) false
      	trim_whitespace	Determina se deve remover caracteres de espaço em branco.	true (default) false
      	remove_duplicated_term	Determina se deve remover termos duplicados.	true: Remove termos duplicados. false (padrão): Não remove duplicados.
      	keep_separate_chinese	Determina se deve manter caracteres chineses individuais como tokens separados.	true: Mantém os caracteres. false (padrão): Não mantém.

analyzer_params padrão

A tabela a seguir mostra a configuração padrão de analyzer_params

{
  "tokenizer": {
    "type": "jieba", 
    "mode": "search",
    "hmm": true
  }, 
  "filter": [
    "removepunct",
    "lowercase",
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "whitespace"
  }
}

{
  "tokenizer": {
    "type": "keyword"
  }
}

{
  "tokenizer": {
    "type": "simple"
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "standard",
    "max_token_length": 255
  }, 
  "filter": [
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "icu"
  }, 
  "filter": [
    "removepunct",
    "lowercase"
  ]
}

{
  "tokenizer": {
    "type": "ik",
    "mode": "ik_max_word",
    "enable_lowercase": true
  },
  "filter": [
    {"type": "stop", "stop_words": ["_english_"]},
    {"type": "stemmer", "language": "english"}
  ]
}

{
  "tokenizer": {
    "type": "ngram",
    "min_gram": 1,
    "max_gram": 2,
    "prefix_only": false
  }
}

{
  "tokenizer": {
    "type": "pinyin",
    "keep_first_letter": true,
    "keep_separate_first_letter": false,
    "keep_full_pinyin": true,
    "keep_joined_full_pinyin": false,
    "keep_none_chinese": true,
    "keep_none_chinese_together": true,
    "none_chinese_pinyin_tokenize": true,
    "keep_original": false,
    "limit_first_letter_length": 16,
    "lowercase": true,
    "trim_whitespace": true,
    "keep_none_chinese_in_first_letter": true,
    "keep_none_chinese_in_joined_full_pinyin": false,
    "remove_duplicated_term": false,
    "ignore_pinyin_offset": true,
    "fixed_pinyin_offset": false,
    "keep_separate_chinese": false
  }
}

Configuração de filter

O Hologres suporta os seguintes filtros em analyzer_params.

"lowercase"

"_english_"
"_danish_"
"_dutch_"
"_finnish_"
"_french_"
"_german_"
"_hungarian_"
"_italian_"
"_norwegian_"
"_portuguese_"
"_russian_"
"_spanish_"
"_swedish_"

"arabic",
"danish",
"dutch",
"english",
"finnish",
"french",
"german",
"greek",
"hungarian",
"italian",
"norwegian",
"portuguese",
"romanian",
"russian",
"spanish",
"swedish",
"tamil",
"turkish"

{"type": "length", "max": 10}

"removepunct"

{
  "type": "pinyin",
  "keep_first_letter": true,
  "keep_separate_first_letter": false,
  "keep_full_pinyin": true,
  "keep_joined_full_pinyin": false,
  "keep_none_chinese": true,
  "keep_none_chinese_together": true,
  "none_chinese_pinyin_tokenize": true,
  "keep_original": false,
  "limit_first_letter_length": 16,
  "lowercase": true,
  "trim_whitespace": true,
  "keep_none_chinese_in_first_letter": true,
  "keep_none_chinese_in_joined_full_pinyin": false,
  "remove_duplicated_term": false,
  "ignore_pinyin_offset": true,
  "fixed_pinyin_offset": false,
  "keep_separate_chinese": false
}