Elasticsearch:Utilisation du plug-in IK Analyzer (analysis-ik)

Règles de tokenisation

L'analyseur IK propose deux modes de tokenisation :

• ik_max_word : divise le texte avec la granularité la plus fine. Idéal pour les requêtes basées sur des termes.

• ik_smart : divise le texte avec une granularité plus large. Idéal pour les requêtes basées sur des expressions.

Types de dictionnaires

L'analyseur IK prend en charge les types de dictionnaires suivants.

Méthodes de mise à jour des dictionnaires

Mettez à jour les dictionnaires si les valeurs par défaut ne répondent pas à vos besoins. L'analyseur IK prend en charge les méthodes suivantes.

Mise à jour à froid

Pour effectuer une mise à jour à froid :

1. Accédez à la page des détails de l'instance.

   1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

   2. Dans le volet de navigation de gauche, cliquez sur Elasticsearch Clusters.

   3. Dans la barre de menu supérieure, sélectionnez un groupe de ressources et une région.

   4. Dans la liste des instances Elasticsearch, cliquez sur l'ID de l'instance cible pour accéder à sa page de détails.

2. Accédez à la page de mise à jour à froid du plug-in analysis-ik.

   1. Dans le volet de navigation de gauche, choisissez Configuration and Management > Plug-ins.

   2. Sous l'onglet Built-in Plug-ins, localisez le plug-in analysis-ik et cliquez sur Standard Update dans la colonne Actions.

3. Effectuez la mise à jour à froid.

   1. Dans la boîte de dialogue Configure IK Dictionaries - Standard Update, cliquez sur Edit à côté du dictionnaire cible, téléchargez le fichier de dictionnaire requis selon les instructions, puis cliquez sur Save.

      Vous pouvez télécharger des fichiers de dictionnaire en utilisant l'une des méthodes suivantes :

      • Upload On-premises File : Cliquez sur l'icône ou faites glisser et déposez votre fichier local selon les instructions.

      • Upload OSS File : Saisissez le nom du compartiment et le nom du fichier de dictionnaire, puis cliquez sur Add.

        • Le compartiment et l'instance Alibaba Cloud ES doivent se trouver dans la même région.

        • Les fichiers de dictionnaire OSS ne sont pas synchronisés automatiquement. Si le fichier source change, effectuez une mise à jour du dictionnaire pour appliquer les modifications.

      Remarque

      • Chaque type de dictionnaire ne prend en charge qu'un seul fichier au format DIC. Le fichier téléchargé remplace le dictionnaire d'origine.

      • Les noms des fichiers de dictionnaire doivent se terminer par .dic. Les noms de fichiers peuvent contenir des lettres, des chiffres et des traits de soulignement, et ne doivent pas dépasser 30 caractères.

      • Pour restaurer un dictionnaire à son fichier par défaut, téléchargez le fichier par défaut et rechargez-le. Obtenez les fichiers de dictionnaire par défaut à partir des liens suivants :

        • Dictionnaire principal (main.dic)

        • Dictionnaire de mots vides (stopword.dic)

        • Dictionnaire de prépositions (preposition.dic)

        • Dictionnaire de quantificateurs (quantifier.dic)

   2. Cochez la case d'acceptation des risques et cliquez sur OK pour redémarrer l'instance.

      Une fois l'instance redémarrée, la mise à jour du dictionnaire est terminée.

4. (Facultatif) Testez si la mise à jour du dictionnaire a pris effet.

   1. Connectez-vous à la console Kibana.

   2. Cliquez sur l'icône dans le coin supérieur gauche et choisissez Management > Developer Tools pour ouvrir l'éditeur de code.

      Exécutez le code suivant pour effectuer une tokenisation à granularité large sur le texte d'entrée Chinese character input method for computers.

      Remarque

      En pratique, remplacez la valeur text par un mot de votre dictionnaire.

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      La réponse attendue est la suivante.

      {
        "tokens" : [
          {
            "token" : "computer",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "Chinese character input",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "method",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

Mise à jour à chaud

Pour effectuer une mise à jour à chaud :

1. Accédez à la page des détails de l'instance.

   1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

   2. Dans le volet de navigation de gauche, cliquez sur Elasticsearch Clusters.

   3. Dans la barre de menu supérieure, sélectionnez un groupe de ressources et une région.

   4. Dans la liste des instances Elasticsearch, cliquez sur l'ID de l'instance cible pour accéder à sa page de détails.

2. Accédez à la page de mise à jour à chaud du plug-in analysis-ik.

   1. Dans le volet de navigation de gauche, choisissez Configuration and Management > Plug-ins.

   2. Sous l'onglet Built-in Plug-ins, localisez le plug-in analysis-ik et cliquez sur Rolling Update dans la colonne Actions.

3. Effectuez la mise à jour à chaud.

   1. Dans la boîte de dialogue Configure IK Dictionaries - Rolling Update, cliquez sur Edit à côté du dictionnaire cible, téléchargez le fichier de dictionnaire requis selon les instructions, puis cliquez sur Save.

      Vous pouvez télécharger des fichiers de dictionnaire en utilisant l'une des méthodes suivantes :

      • Upload On-premises File : Cliquez sur l'icône ou faites glisser et déposez votre fichier local selon les instructions.

      • Upload OSS File : Saisissez le nom du compartiment et le nom du fichier de dictionnaire, puis cliquez sur Add.

        • Le compartiment et l'instance Alibaba Cloud ES doivent se trouver dans la même région.

        • Les fichiers de dictionnaire OSS ne sont pas synchronisés automatiquement. Si le fichier source change, effectuez une mise à jour du dictionnaire pour appliquer les modifications.

      Remarque

      • Vous pouvez télécharger plusieurs fichiers de dictionnaire. Les noms de fichiers doivent se terminer par .dic. Les noms de fichiers peuvent contenir des lettres, des chiffres et des traits de soulignement, et ne doivent pas dépasser 30 caractères.

      • Pour modifier un fichier de dictionnaire téléchargé, cliquez sur l'icône à côté de celui-ci pour télécharger et éditer le fichier. Supprimez ensuite le fichier d'origine et rechargez le fichier mis à jour. Après avoir supprimé le fichier d'origine, cliquez sur Save ; sinon, le système signalera qu'un fichier portant le même nom existe déjà.

   2. Cliquez sur OK et attendez que les nœuds ES terminent le chargement du dictionnaire.

      Les nœuds ES chargent automatiquement les fichiers de dictionnaire. Les temps de chargement varient selon les nœuds — attendez que tous les nœuds aient terminé.

4. (Facultatif) Testez si la mise à jour du dictionnaire a pris effet.

   1. Connectez-vous à la console Kibana.

   2. Cliquez sur l'icône dans le coin supérieur gauche et choisissez Management > Developer Tools pour ouvrir l'éditeur de code.

      Exécutez le code suivant pour effectuer une tokenisation à granularité large sur le texte d'entrée Chinese character input method for computers.

      Remarque

      En pratique, remplacez la valeur text par un mot de votre dictionnaire.

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      La réponse attendue est la suivante.

      {
        "tokens" : [
          {
            "token" : "computer",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "Chinese character input",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "method",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

Optimiser la tokenisation pour les mots alphanumériques mixtes

Lorsque vous utilisez le tokenizer ik_max_word, les chaînes alphanumériques mixtes telles que fawjh6bcm peuvent ne pas être tokenisées efficacement pour la recherche. Pour améliorer le rappel, définissez enable_single_word sur true. Cela divise les mots mixtes en jetons à caractère unique, permettant une correspondance au niveau des caractères.

L'exemple suivant crée un analyseur personnalisé avec enable_single_word activé :

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_single_char_analyzer": {
          "type": "custom",
          "tokenizer": "my_ik_tokenizer"
        }
      },
      "tokenizer": {
        "my_ik_tokenizer": {
          "type": "ik_max_word",
          "enable_single_word": true
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_single_char_analyzer"
      }
    }
  }
}

Utiliser le tokenizer ngram pour la recherche mixte chinois-anglais

Lors de la recherche de numéros de modèle anglais concaténés (tels que jh6bcm) mélangés à du texte chinois, l'analyseur IK seul peut ne pas produire de jetons efficaces pour la correspondance partielle. Dans ce cas, utilisez le tokenizer ngram pour compléter ou remplacer l'analyseur IK.

Le tokenizer ngram divise le texte en séquences de caractères contiguës de longueur configurable, permettant la correspondance de sous-chaînes.

L'exemple suivant crée un index qui utilise le tokenizer ngram :

PUT my_ngram_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 3,
          "token_chars": ["letter", "digit"]
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "model_number": {
        "type": "text",
        "analyzer": "ngram_analyzer"
      }
    }
  }
}

Pour plus d'informations sur la configuration du tokenizer ngram, consultez Ngram tokenizer.

Les mots en majuscules dans les fichiers de synonymes provoquent des erreurs. Que faire ?

L'analyseur IK est sensible à la casse lors du traitement des fichiers de synonymes. Si un fichier de synonymes contient des mots en majuscules (tels que IT), des erreurs d'analyse peuvent se produire lors de l'indexation.

Vous pouvez résoudre ce problème en utilisant l'une des méthodes suivantes.

• Convertir tous les synonymes en minuscules : Modifiez votre fichier de synonymes et convertissez toutes les entrées en minuscules avant de les télécharger.

• Ajouter un filtre de conversion en minuscules à l'analyseur : Ajoutez un filtre lowercase avant le filtre de synonymes dans la configuration de votre analyseur pour normaliser le texte avant la correspondance des synonymes. Exemple :

  PUT my_index
  {
    "settings": {
      "analysis": {
        "filter": {
          "my_synonym_filter": {
            "type": "synonym",
            "synonyms_path": "your_synonyms.txt"
          }
        },
        "analyzer": {
          "ik_synonym_analyzer": {
            "type": "custom",
            "tokenizer": "ik_max_word",
            "filter": ["lowercase", "my_synonym_filter"]
          }
        }
      }
    }
  }

  Important

  Le filtre lowercase doit apparaître avant le filtre de synonymes dans la chaîne de filtres afin de garantir que le texte soit converti en minuscules avant que la correspondance des synonymes ne se produise.