AnalyticDB:Analyzers for full-text indexes

Choisir un analyseur

Analyseur par défaut selon la version du cluster :

• Clusters antérieurs à la version V3.1.4.15 : analyseur AliNLP

• Clusters de version V3.1.4.15 ou ultérieure : analyseur IK

Pour vérifier la version mineure de votre cluster, consultez la rubrique Comment afficher la version mineure d'un cluster ?

Spécifier un analyseur

FULLTEXT INDEX idx_name(`column_name`) [ WITH ANALYZER analyzer_name ] [ WITH DICT tbl_dict_name];

CREATE TABLE `tbl_fulltext_demo` (
  `id` int,
  `content` varchar,
  `content_alinlp` varchar,
  `content_ik` varchar,
  `content_standard` varchar,
  `content_ngram` varchar,
  `content_edge_ngram` varchar,
  FULLTEXT INDEX fidx_c(`content`),                                           -- Default analyzer
  FULLTEXT INDEX fidx_alinlp(`content_alinlp`) WITH ANALYZER alinlp,
  FULLTEXT INDEX fidx_ik(`content_ik`) WITH ANALYZER ik,
  FULLTEXT INDEX fidx_standard(`content_standard`) WITH ANALYZER standard,
  FULLTEXT INDEX fidx_ngram(`content_ngram`) WITH ANALYZER ngram,
  FULLTEXT INDEX fidx_edge_ngram(`content_edge_ngram`) WITH ANALYZER edge_ngram,
  PRIMARY KEY (`id`)
) DISTRIBUTED BY HASH(id);

Aperçu des résultats de tokenisation

Avant de choisir un analyseur, testez la manière dont il tokenise votre texte. Chaque analyseur dispose d'une fonction de test dédiée qui renvoie la liste des jetons pour une chaîne d'entrée donnée.

Ajoutez le préfixe /*+ mode=two_phase*/ à toutes les requêtes de test de tokenisation, sinon elles ne s'exécuteront pas correctement.

Les exemples suivants utilisent la même entrée — 'Hello world' — pour tous les analyseurs, afin que vous puissiez comparer directement leurs résultats :

Utilisation :

/*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

[hello, world, or]

L'analyseur Pattern ne prend pas en charge les tests de tokenisation basés sur SQL.

Analyseur AliNLP

Idéal pour le texte chinois et multilingue. Développé par Alibaba Cloud et DAMO Academy à l'aide de technologies de traitement du langage naturel (NLP), l'analyseur AliNLP segmente le texte en langage naturel continu en éléments significatifs. Il prend en charge les dictionnaires personnalisés pour les entités définies par l'utilisateur et les mots vides.

Langues prises en charge : chinois, anglais, indonésien, malais, thaï, vietnamien, français, espagnol

• Résultat de la tokenisation pour un texte en anglais :

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('Hello world');

  Résultat :

  [hello,  , world]

Les exemples suivants illustrent les résultats de tokenisation avec les configurations par défaut :

Analyseur IK

Idéal pour le texte chinois. L'analyseur IK est un analyseur chinois léger open source. Il prend en charge deux modes de segmentation — granularité grossière et granularité fine — et accepte les dictionnaires personnalisés pour les entités et les mots vides.

• Résultat de la tokenisation pour un texte en anglais :

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

  Résultat :

  [hello, world, or]

Les exemples suivants illustrent les résultats de tokenisation avec les configurations par défaut :

Analyseur Standard

Idéal pour le texte anglais. L'analyseur Standard applique des règles spécifiques à la langue : pour l'anglais, il met le texte en minuscules et supprime les mots vides et la ponctuation avant la tokenisation ; pour le chinois, il divise le texte en caractères individuels. Il prend en charge les dictionnaires personnalisés.

• Résultat de la tokenisation pour un texte en anglais :

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('Hello world');

  Résultat :

  [hello, world]

Les exemples suivants illustrent les résultats de tokenisation avec les configurations par défaut :

Analyseur Ngram

Idéal pour la recherche de sous-chaînes floues. L'analyseur Ngram divise le texte en toutes les sous-chaînes possibles d'une longueur fixe, ce qui le rend efficace pour les requêtes de correspondance partielle. Il prend en charge les dictionnaires personnalisés.

• Résultat de la tokenisation pour un texte en anglais :

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('Hello world');

  Résultat :

  [he, el, ll, lo, o ,  w, wo, or, rl, ld]

Les exemples suivants illustrent les résultats de tokenisation avec les configurations par défaut :

Analyseur Edge_ngram

Idéal pour la recherche par préfixe et la saisie semi-automatique (recherche pendant la frappe). L'analyseur Edge_ngram génère des jetons préfixes de longueur croissante — par exemple, h, puis he — ce qui le rend idéal pour la correspondance des mots depuis le début. Il prend en charge les dictionnaires personnalisés.

Conseil : Edge_ngram fonctionne bien lorsque le terme de recherche apparaît au début des mots. Pour la correspondance floue de sous-chaînes n'importe où dans le texte, utilisez plutôt l'analyseur Ngram.

• Résultats de la tokenisation d'un texte en anglais.

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

  Résultat :

  [h, he]

Les exemples suivants illustrent les résultats de tokenisation avec les configurations par défaut :

Analyseur Pattern

Idéal pour les délimiteurs personnalisés. L'analyseur Pattern tokenise le texte en le divisant selon un motif d'expression régulière que vous définissez. Il ne prend pas en charge les dictionnaires personnalisés ni les tests de tokenisation basés sur SQL.

FULLTEXT INDEX fidx_name(`column_name`) WITH ANALYZER pattern_tokenizer("Custom_rule") [ WITH DICT `tbl_dict_name` ];

Gérer la configuration de l'analyseur

show adb_config key = '<analyzer_param>';

show adb_config key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = '<analyzer_param>';

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

set adb_config <analyzer_param>=<value>;

set adb_config FULLTEXT_NGRAM_TOKEN_SIZE=3;