Elasticsearch:Uso do plug-in codec-compression (Beta)

Pré-requisitos

Certifique-se de ter concluído as seguintes tarefas:

• Crie um cluster do Alibaba Cloud Elasticsearch V6.7.0. Para obter mais informações, consulte Crie um cluster do Alibaba Cloud Elasticsearch.

  Importante

  O plug-in codec-compression está disponível apenas para clusters do Alibaba Cloud Elasticsearch V6.7.0.

• Verifique se o plug-in codec-compression está instalado. Esse plug-in vem instalado por padrão em novos clusters.

  Confira o status do plug-in na página Plug-ins. Caso não esteja instalado, instale-o manualmente. Para obter mais informações, consulte Instale ou desinstale um plug-in integrado.

Informações básicas

Este plug-in é compatível com os algoritmos de compactação brotli e zstd e foi projetado para cargas de trabalho com alta taxa de gravação e custos elevados de armazenamento, como logs e análises de séries temporais.

• Ambiente de teste

  • Configuração: três nós de dados, cada um com 16 núcleos, 64 GB de memória e disco cloud SSD de 2 TB.

  • Conjunto de dados: dataset nyc_taxis de 74 GB, obtido no repositório oficial do esrally.

  • Configurações de índice: definições padrão. Uma operação de force merge foi executada após a gravação dos dados.

• Resultados dos testes

  Algoritmo de compactação	Tamanho do índice (GB)	TPS de gravação (doc/s)
  Algoritmo de compactação padrão do Elasticsearch (LZ4)	35,5	202682
  best_compression (DEFLATE)	26,4	181686
  brotli	24,4	182593
  zstd	24,6	181393

• Conclusão

  Em comparação ao algoritmo padrão (LZ4), o brotli e o zstd reduzem o desempenho de gravação em 10%, mas melhoram a taxa de compactação em 45%, sem impacto no desempenho de consultas. Quando comparados à configuração nativa best_compression (DEFLATE), esses algoritmos aumentam a taxa de compactação em 8% e mantêm inalterados os desempenhos de gravação e consulta.

Procedimento

1. Faça login no console do Kibana.

   Para obter mais informações, consulte Log on to the Kibana console.

2. No painel de navegação à esquerda, clique em Dev Tools.

3. No Console, execute os comandos abaixo para definir um algoritmo de compactação para um índice.

   Nota

   No Alibaba Cloud Elasticsearch V6.7.0, a configuração de codec é estática e só pode ser definida durante a criação do índice. Não é possível modificar o codec de um índice existente. Para alterar o algoritmo de compactação de um índice já criado, reindexe seus dados:

   1. Crie um novo índice e especifique o algoritmo de compactação desejado nas configurações, por exemplo "codec": "brotli".

   2. Use a operação reindex para migrar os dados do índice antigo para o novo.

   3. Após verificar que os dados estão corretos, exclua o índice antigo.

   • Algoritmo de compactação brotli

     PUT index-1
     {
         "settings": {
             "index": {
                 "codec": "brotli"
             }
         }
     }

   • Algoritmo de compactação zstd

     PUT index-1
     {
         "settings": {
             "index": {
                 "codec": "zstd"
             }
         }
     }