Elasticsearch:Utiliser le plug-in codec-compression (bêta)

Prérequis

Effectuez les tâches suivantes :

• Créez un cluster Alibaba Cloud Elasticsearch V6.7.0. Pour plus d'informations, consultez la rubrique Créer un cluster Alibaba Cloud Elasticsearch.

  Important

  Le plug-in codec-compression est disponible uniquement pour les clusters Alibaba Cloud Elasticsearch V6.7.0.

• Vérifiez l'installation du plug-in codec-compression. Ce plug-in est installé par défaut sur les nouveaux clusters.

  Consultez l'état du plug-in sur la page Plug-ins. Si le plug-in n'est pas installé, installez-le manuellement. Pour plus d'informations, consultez la rubrique Installer ou désinstaller un plug-in intégré.

Contexte

Ce plug-in prend en charge les algorithmes de compression brotli et zstd. Il est conçu pour les charges de travail intensives en écriture générant des coûts de stockage élevés, telles que la journalisation et l'analytique de séries temporelles.

• Environnement de test

  • Configuration : trois nœuds de données, chacun doté de 16 cœurs, de 64 Go de mémoire et d'un disque cloud SSD de 2 To.

  • Jeu de données : le jeu de données nyc_taxis de 74 Go issu du référentiel officiel esrally.

  • Paramètres d'index : utilisation des paramètres par défaut. Une opération de fusion forcée a été effectuée après l'écriture des données.

• Résultats des tests

  Algorithme de compression	Taille de l'index (Go)	TPS en écriture (doc/s)
  Algorithme de compression par défaut d'Elasticsearch (LZ4)	35,5	202682
  best_compression (DEFLATE)	26,4	181686
  brotli	24,4	182593
  zstd	24,6	181393

• Conclusion

  Par rapport à l'algorithme de compression par défaut (LZ4), brotli et zstd réduisent les performances en écriture de 10 %, mais améliorent le taux de compression de 45 %, sans impact sur les performances des requêtes. Par rapport au paramètre natif best_compression (DEFLATE), ils améliorent le taux de compression de 8 % sans affecter les performances en écriture ni en lecture.

Procédure

1. Connectez-vous à la console Kibana.

   Pour plus d'informations, consultez la rubrique Se connecter à la console Kibana.

2. Dans le volet de navigation de gauche, cliquez sur Dev Tools.

3. Dans la section Console, exécutez les commandes suivantes pour définir un algorithme de compression pour un index.

   Remarque

   Dans Alibaba Cloud Elasticsearch V6.7.0, le paramètre codec est statique et ne peut être défini qu'à la création d'un index. Vous ne pouvez pas modifier le codec d'un index existant. Pour changer l'algorithme de compression d'un index existant, vous devez réindexer ses données :

   1. Créez un nouvel index et spécifiez l'algorithme de compression cible dans les paramètres de l'index, par exemple "codec": "brotli".

   2. Utilisez la fonctionnalité de réindexation pour migrer les données de l'ancien index vers le nouveau.

   3. Après avoir vérifié l'exactitude des données, supprimez l'ancien index.

   • Algorithme de compression brotli

     PUT index-1
     {
         "settings": {
             "index": {
                 "codec": "brotli"
             }
         }
     }

   • Algorithme de compression zstd

     PUT index-1
     {
         "settings": {
             "index": {
                 "codec": "zstd"
             }
         }
     }