OpenSearch:Analyseurs personnalisés pour le texte

La tokenisation est un composant fondamental de tout moteur de recherche. Ses résultats influencent directement les performances de la recherche. Les scénarios métier variant, une même expression peut avoir des sémantiques différentes selon les services et les contextes. Les résultats de tokenisation attendus diffèrent donc également. OpenSearch propose des analyseurs de base à usage général, ainsi que des analyseurs dédiés à des domaines spécifiques, comme un analyseur E-commerce pour le secteur du commerce en ligne.

Pour répondre au mieux à vos besoins métier, OpenSearch vous permet de créer des analyseurs personnalisés. Construisez-les à partir des analyseurs de base du système et ajoutez-y des entrées d'intervention. Sélectionnez l'analyseur approprié pour les champs d'index de votre application. Vous influencez ainsi les résultats de tokenisation lors de l'indexation et des requêtes, ce qui garantit la qualité de vos résultats de recherche.

Gérez les entrées d'intervention grâce à la fonctionnalité de tokenisation secondaire.

L'activation de la tokenisation secondaire implique une nouvelle tokenisation des résultats après la tokenisation personnalisée initiale. La désactivation de cette option préserve les résultats de votre tokenisation personnalisée tels quels.

Par exemple, si vous utilisez l'analyseur chinois généraliste sur le terme « OpenSearch », le résultat avec la tokenisation secondaire activée est le suivant :

Le résultat avec la tokenisation secondaire désactivée est le suivant :

• Les entrées d'un analyseur personnalisé combinent toutes les entrées de l'analyseur de base et les entrées ajoutées manuellement. Les entrées d'intervention ajoutées manuellement ont une priorité supérieure à celles de l'analyseur par défaut.

• Vous pouvez créer jusqu'à 20 analyseurs personnalisés dans la nouvelle console.

• Un analyseur personnalisé peut contenir au maximum 1 000 entrées d'intervention.

• Dans chaque entrée, la clé peut comporter jusqu'à 10 caractères et la valeur jusqu'à 32 caractères. Un caractère correspond à un caractère chinois ou à une lettre anglaise.

• Le contenu des entrées ne doit pas contenir de lettres majuscules (A-Z), de symboles pleine largeur (\uff01 - \uff5e) ni de signes de ponctuation chinois.

• Pour les entrées d'intervention de découpage sémantique, la clé et la valeur doivent être identiques une fois les espaces supprimés. Par exemple :

  Incorrect entry=>Erroneous entry
  Correct entry=>Correct entry

  Dans la première entrée, le contenu de la clé et de la valeur diffère après suppression des espaces. Cette entrée n'est donc pas valide.

• La clé ne doit pas contenir d'espaces. Par exemple :

  In correct entry=>In correct entry
  CorrectEntry=>Correct entry

  La clé de la première entrée contient un espace (« »). Cette entrée n'est donc pas valide.

• Le contenu d'une clé ne peut pas correspondre à l'un des jetons résultants de la valeur d'une autre entrée dans le même dictionnaire d'intervention. Par exemple :

  custom_tokenizer=>custom tokenizer
  tokenizer
  tokenization

  La clé de la deuxième entrée, « tokenizer », correspond à l'un des jetons résultants de la valeur de la première entrée. La deuxième entrée n'est donc pas valide. En revanche, la troisième entrée est valide.

Résumé du flux

Créer un analyseur personnalisé → Effectuer des modifications hors ligne → Reconstruire l'index → Consulter l'effet de l'analyseur personnalisé

Procédure

1. Dans la console OpenSearch, accédez à la page d'accueil. Dans le volet de navigation de gauche, choisissez Search Configuration Center > Retrieval Configuration > Analyzer Management, puis cliquez sur Create.

2. Créez un analyseur. Spécifiez le nom de l'analyseur et sélectionnez un type d'analyseur.

3. Ajoutez une entrée d'intervention. Saisissez la requête et le résultat de tokenisation souhaité. Cet exemple utilise « nuomi » (riz gluant) et active la tokenisation secondaire.

Remarque : Séparez les jetons par un espace. Par exemple : « nuomi » ==> « nuo mi ».

4. Testez la tokenisation pour visualiser le résultat de l'entrée d'intervention une fois l'analyseur actif.

• 4,1. Saisissez « nuomi » dans la zone de texte de test.

• 4,2. Comparez les résultats de tokenisation de plusieurs analyseurs personnalisés.

5. Après avoir testé la tokenisation, revenez à Basic Configuration sous Retrieval Configuration pour appliquer les modifications à l'application en ligne.

Remarque : L'expression « effectuer des modifications hors ligne » signifie ici générer une application hors ligne basée sur votre configuration actuelle. L'application en ligne n'est pas affectée.

6. Dans la liste des champs d'application, repérez la colonne Analysis Method et sélectionnez l'analyseur personnalisé pour l'index correspondant.

7. Attendez la reconstruction de l'index pour que les modifications prennent effet.

Démonstration de l'effet de l'analyseur personnalisé

Prenons l'exemple d'un document contenant « nuomi » (riz gluant). Si vous utilisez le tokenizer chinois généraliste, le résultat est inattendu. Une recherche sur « mi » (riz) ne permet pas de récupérer les documents contenant « nuomi » (riz gluant), « xiaomi » (millet) ou « dami » (riz), comme illustré dans la figure suivante. Si vous suivez la procédure pour ajouter l'analyseur personnalisé « test_zw » et modifier le schéma de l'application, les termes résultants correspondent à l'intervention après la reconstruction de l'index, comme illustré dans la figure suivante :

Notes

• Dans la nouvelle console, vous pouvez ajouter des entrées aux analyseurs personnalisés existants. Si une application référence déjà un analyseur personnalisé, vous devez reconstruire l'index pour que les nouvelles entrées prennent effet. Pour appliquer immédiatement les modifications, réimportez les documents présentant des problèmes de tokenisation. Cette action déclenche une reconstruction de l'index pour les nouvelles entrées d'intervention.

• La requête pour un analyseur personnalisé ne doit pas dépasser 10 caractères.

• La requête pour un analyseur personnalisé ne doit pas contenir de lettres majuscules, de symboles pleine largeur ni de signes de ponctuation chinois.

• Le résultat de la tokenisation personnalisée ne doit pas contenir de lettres majuscules, de symboles pleine largeur ni de signes de ponctuation chinois.

• Si vous désactivez l'option de tokenisation secondaire, le système suit strictement vos paramètres d'intervention et n'effectue aucune tokenisation supplémentaire. Si vous l'activez, le système effectue une tokenisation supplémentaire sur vos résultats d'intervention.

• Vous ne pouvez pas supprimer un analyseur personnalisé référencé par une application.