Elasticsearch:Downgrade cluster configuration

Pré-requisito

Você já migrou os índices dos nós que serão removidos.

Considerações e avisos sobre a redução de configuração

Estabilidade do serviço

• Impacto durante a alteração de configuração:

  Cluster	Impacto	Medidas preventivas
  Carga elevada (CPU > 60%, heap > 50%) + sem réplicas	Alta concorrência em operações de escrita ou consulta pode causar timeouts ocasionais de acesso.	Implemente um mecanismo de nova tentativa no cliente. Antes de reduzir a configuração, garanta que todos os índices tenham pelo menos uma réplica.
  Nós de dados ≤ 2 após a redução	Possível perda de dados.

• Melhor prática: Execute operações de redução sempre fora dos horários de pico.

Limitações

• Espaço de armazenamento: A redução do espaço de armazenamento dos nós de dados é suportada apenas para clusters com arquitetura de implantação V3.

• Alteração de versão: Não é possível atualizar a versão do cluster durante uma redução de configuração.

• Tipos de nó: Modifique apenas um tipo de nó (por exemplo, nós de dados ou nós mestres) por operação de redução.

• Nós de dados elásticos: Não há suporte para redução de configuração de nós de dados elásticos.

• Intervalo de tempo: Aguarde pelo menos 30 minutos entre operações consecutivas de redução no mesmo cluster.

Requisitos de especificações de CPU

• Regra básica: As especificações alvo de CPU e memória devem corresponder a, no mínimo, metade das especificações atuais.

• Especificações não permitidas: 1 vCPU, 4 GiB Memory, 2 vCPUs, 2 GiB Memory, 2 vCPUs, 4 GiB Memory, 4 vCPUs, 4 GiB Memory.

  • Exceção para nós Kibana: Nós Kibana podem ter sua configuração reduzida para 2 vCPUs, 2 GiB Memory.

  • Caso especial: Se for indispensável reduzir para uma especificação não permitida, crie um novo cluster e migre seus dados.

Impacto nos custos

• O faturamento da nova configuração entra em vigor imediatamente após o envio do pedido de redução.

• Para mais informações, consulte a documentação de faturamento: Pay-as-you-go e Subscription.

Verificações prévias à redução

1. Saúde do cluster

   Execute GET _cluster/health para confirmar se o status do cluster é GREEN.

2. Segurança da carga do cluster

   A redução segura do cluster só é possível se ele atender às seguintes condições de uso de CPU e memória heap JVM nas últimas 24 horas:

   Tipo de nó	Uso de CPU (últimas 24h)	Uso de memória heap JVM (últimas 24h)
   Nó mestre dedicado	Pico de uso de um único nó < 30%	Pico de uso de um único nó < 25%
   Outros nós (Dados, etc.)	Ambas as condições devem ser atendidas: • Pico de uso de um único nó < 50% • Uso médio de todos os nós < 30%	Ambas as condições devem ser atendidas: • Pico de uso de um único nó < 50% • Uso médio de todos os nós < 30%

3. Preparação dos índices

   • Índices fechados:

     • Execute GET /_cat/indices?v para verificar a existência de índices fechados.

     • Se houver, execute POST /<index_name>/_open para abri-los temporariamente.

     • Por que isso é importante:

       • O Alibaba Cloud Elasticsearch exige status de cluster GREEN para alterações sensíveis de configuração, como redistribuição de shards.

       • Índices fechados não podem ser realocados durante uma mudança de configuração. Isso impede que o cluster atinja o status GREEN (permanecendo, no máximo, como YELLOW) e causa falha nas operações relacionadas.

   • Réplicas:

     • Execute GET _cat/indices?v para garantir que cada índice possua pelo menos 1 réplica.

     • Para instâncias multizona, assegure que o número de réplicas de cada índice seja inferior ao número de zonas disponíveis. Geralmente, recomenda-se definir 1 réplica. É possível aumentar manualmente as réplicas após a conclusão da redução.

   The console

   Downgrade specs, disk type, and disk space

   1. Acesse a página Instances e clique em Downgrade Configuration.

      

      Alternativamente, na página Basic Information, clique em Configuration Update > Downgrade.

   2. Na página Downgrade Configuration, ajuste os parâmetros conforme necessário.

      Nota

      Os parâmetros disponíveis variam conforme o tipo e a versão do cluster. Os parâmetros exibidos no console têm precedência.

      • Reduzir Data Node Disk Type (de maior para menor desempenho):

        • ESSD: Um enterprise SSD (ESSD) combina rede de 25 GE e tecnologia Remote Direct Memory Access (RDMA) para fornecer até 1 milhão de IOPS de leitura/gravação aleatória por disco e baixa latência de link único.

          Nota

          Não é possível reduzir ESSD-PL0 para SSD padrão.

        • Discos em nuvem de geração anterior: Standard SSD -> Ultra disk -> Basic disk.

          Nota

          Esses discos estão sendo descontinuados; recomenda-se o uso de ESSDs.

      • Reduzir Data Node Storage Space:

        • Suportado apenas para arquitetura de controle nativa da nuvem (v3).

        • Para garantir estabilidade, o uso do disco após a redução deve ser inferior a 60%. Ou seja: Current disk usage < (Post-downgrade disk space × 0.6)

          

          Para reduzir o espaço de armazenamento em clusters v2, entre em contato com o suporte técnico.

   4. Escolha um método de atualização.

      • Intelligent Update (habilitado por padrão): O sistema seleciona automaticamente o método ideal com base nas alterações de configuração.

      • Forced Update (desabilitado por padrão, não recomendado): Ignora verificações de integridade e força o reinício do cluster, podendo causar interrupção prolongada do serviço. O tempo de recuperação depende do volume de dados.

   5. Revise os Terms of Service e o Service Level Agreement. Se estiver de acordo, clique em Buy Now.

      • O Alibaba Cloud Elasticsearch aplica a política de alteração ideal e realiza a cobrança com base na nova configuração.

      • Durante a alteração, o status do cluster será Initializing. Espere flutuações de desempenho e desconexões transitórias.

      • Após a conclusão, o status do cluster muda para Normal, e os endereços IP dos nós podem mudar.

   Reduce data nodes

   1. Na página Basic Information, clique em Configuration Update > Remove Data Nodes.

      

   2. Selecione o tipo de nó e a quantidade de nós a remover.

      Importante

      • O Alibaba Cloud Elasticsearch executa uma verificação de segurança antes da remoção de nós. Em caso de falha, solucione o problema conforme a mensagem de erro e tente novamente.

      • Os parâmetros disponíveis variam conforme o tipo e a versão do cluster. Os parâmetros exibidos no console têm precedência.

      

   3. (Opcional) Referência: Migrar índices dos nós a serem removidos.

   4. Clique em OK. O Alibaba Cloud Elasticsearch remove os nós e atualiza o faturamento.

      • Durante a alteração, o status do cluster será Initializing. Espere flutuações de desempenho e desconexões transitórias.

      • Após a conclusão, o status do cluster muda para Normal, e os endereços IP dos nós podem mudar.

   API

   Para reduzir a configuração do cluster programaticamente, consulte UpdateInstance.

   Referência: Migrar índices dos nós a serem removidos

   Para proteger a segurança dos dados, garanta que os nós a serem removidos estejam vazios. Se os nós de dados selecionados contiverem dados, o sistema solicitará a migração. Após a migração, esses nós não conterão dados de índice e nenhum novo dado será gravado neles.

   Migrar dados

   1. Na seção Remove Data Nodes, clique em Data Migration Tool quando solicitado.

      

      Essa ferramenta utiliza a filtragem de alocação de shards do Elasticsearch para migrar índices de forma suave e transparente ao serviço.

   2. Na caixa de diálogo Migrate Data, selecione um método de migração de nós.

      Parâmetro	Descrição
      Smart Migration	O Alibaba Cloud Elasticsearch seleciona automaticamente os nós de dados para migração.
      Custom	Selecione manualmente os nós de dados específicos dos quais deseja migrar os dados.

   3. Aceite o acordo de migração de dados e clique em OK.

   Reverter índices migrados

   A migração de dados pode ser um processo demorado. Se a migração falhar devido ao status do cluster ou a alterações nos dados, ou se você precisar reverter uma migração concluída, siga estas etapas para reverter os nós migrados. Monitore os detalhes da tarefa na Lista de tarefas.

   1. Faça login no console Kibana do seu cluster Elasticsearch.

      Para obter instruções, consulte Fazer login no console Kibana.

      Nota

      Os exemplos aqui usam Elasticsearch V6.7.0. As operações podem variar ligeiramente para outras versões.

   2. No menu de navegação à esquerda, escolha Management > Dev Tools.

   3. Na seção Console, execute o seguinte comando para recuperar os endereços IP dos nós migrados:

      GET _cluster/settings

      Exemplo de resposta:

      {
        "transient": {
          "cluster": {
            "routing": {
              "allocation": {
                "exclude": {
                  "_ip": "192.168.xx.xx,192.168.xx.xx,192.168.xx.xx"
                }
              }
            }
          }
        }
      }                        

   4. Execute um dos seguintes comandos para reverter os dados:

      • Reverter nós específicos:

        Remova os endereços IP dos nós que deseja reverter da lista exclude._ip, mantendo os demais que devem permanecer excluídos.

        PUT _cluster/settings
        {
          "transient": {
            "cluster": {
              "routing": {
                "allocation": {
                  "exclude": {
                    "_ip": "192.168.xx.xx,192.168.xx.xx"
                  }
                }
              }
            }
          }
        }

      • Reverter todos os nós migrados:

        Defina _ip como null para reverter todos os nós.

        PUT _cluster/settings
        {
          "transient": {
            "cluster": {
              "routing": {
                "allocation": {
                  "exclude": {
                    "_ip": null
                  }
                }
              }
            }
          }
        }                            

   5. Verifique se a reversão dos dados foi concluída:

      GET _cluster/settings

      Se o resultado não contiver mais os endereços IP dos nós revertidos na lista exclude._ip, a reversão estará concluída.

      Também é possível executar GET _cat/shards?v para verificar se os shards estão sendo realocados de volta para esses nós.

      Nota

      Durante a migração ou reversão de dados, use GET _cat/shards?v para visualizar o status da tarefa.

   FAQ

   • Falha na reconfiguração do cluster

   • Alteração do tipo de disco em nuvem

   • Impacto da alteração da configuração do cluster

   • Realocação automática de shards após alterações de nós

   • Configuração incorreta do cluster

   • Reduzir o tipo de instância

   • Restrições de redução de nós de dados frios