Elasticsearch:Migrate self-managed Elasticsearch data to Alibaba Cloud

Elasticsearch autogerenciado

• Um cluster Elasticsearch autogerenciado está implantado no ECS. Este cluster serve como source para a migração.

  Nota

  O grupo de segurança da instância ECS deve ter uma lista de permissões configurada para blocos CIDR específicos para permitir o acesso à instância ECS pelas portas 9200 e 9300.

  • Porta 9200: Porta da API HTTP do Elasticsearch, usada para interações entre clientes (como navegadores, aplicativos e Kibana) e o cluster Elasticsearch.

  • Porta 9300: Porta de transporte TCP do Elasticsearch, usada para comunicação entre nós dentro do cluster.

• Réplicas foram criadas para os índices no cluster Elasticsearch autogerenciado.

• É necessário ter um arquivo P12 descriptografado. O arquivo P12 armazena chaves públicas e privadas e inclui um certificado digital, garantindo que os nós se comuniquem corretamente durante o processo de migração de dados.

• (Opcional) Se o seu Elasticsearch autogerenciado não tiver autenticação ativada, ative o X-Pack Security (ou seja, defina xpack.security.enabled: true) para garantir a segurança dos dados durante a migração.

Alibaba Cloud Elasticsearch

Você precisa de um cluster Alibaba Cloud Elasticsearch. Este cluster servirá como destino da migração. Para assegurar uma transição tranquila, verifique se o cluster de destino atende aos seguintes requisitos:

• Deve estar implantado no modo Cloud-native Control Architecture (v3).

• Deve estar na mesma região e VPC da instância ECS onde seu cluster Elasticsearch autogerenciado está implantado.

• Recomendamos utilizar a mesma versão do seu cluster Elasticsearch autogerenciado.

  Nota

  Caso precise realizar uma migração de dados entre versões diferentes, entre em contato com a equipe de suporte técnico do Alibaba Cloud Elasticsearch.

• As especificações da instância e a quantidade de nós devem ser iguais ou superiores às do cluster Elasticsearch autogerenciado.

• Sugerimos usar o mesmo nome de usuário e senha do cluster Elasticsearch autogerenciado.

• Se você instalou plugins personalizados na sua instância Elasticsearch autogerenciada, como o plugin elasticsearch-knn para buscas de similaridade, instale os mesmos plugins na sua instância Alibaba Cloud Elasticsearch. Para informações sobre operações com plugins, consulte Configuração de Plugin.

• Os recursos do cluster de destino, como configurações de cluster e dicionários, devem atender aos requisitos do seu negócio, e o cluster deve estar acessível pela rede.

Etapa 1: Criar uma tarefa de migração

1. Acesse a página de migração online.

   1. Faça login no console do Alibaba Cloud Elasticsearch.

   2. No painel de navegação à esquerda, clique em Elastic Stack Cloud Native PaaS > Online Migration Tool para acessar a página de migração online.

2. Clique em Create para crie uma tarefa de migração e configure seus parâmetros.

   Parâmetro	Descrição
   Type	Selecione Data Migration from Self-managed Elasticsearch Cluster para migrar dados de um cluster Elasticsearch autogerenciado para o Alibaba Cloud Elasticsearch.
   Destination Cluster	Instância Alibaba Cloud Elasticsearch de destino. Selecione uma instância na mesma região da instância ECS que hospeda seu cluster autogerenciado. Após selecionar a instância, insira seu Virtual Switch ID conforme solicitado. Nota Somente é possível selecionar uma instância implantada no modo Cloud-native Control Architecture (v3). Se nenhuma instância adequada estiver disponível, crie uma instância Alibaba Cloud Elasticsearch conforme necessário. Um vSwitch é usado para isolamento de rede e controle de acesso. Você encontra o ID ao visualize as informações básicas da instância.
   VPC of Self-managed Elasticsearch Cluster	ID da VPC do seu cluster Elasticsearch autogerenciado.
   IP Address of ECS Instance for Self-managed Elasticsearch Cluster	Endereço IP da instância ECS que hospeda qualquer nó do seu cluster Elasticsearch autogerenciado. Nota O grupo de segurança da instância ECS deve ter uma lista de permissões configurada para blocos CIDR específicos para permitir o acesso à instância ECS pelas portas 9200 e 9300. Porta 9200: Porta da API HTTP do Elasticsearch, usada para interações entre clientes (como navegadores, aplicativos e Kibana) e o cluster Elasticsearch. Porta 9300: Porta de transporte TCP do Elasticsearch, usada para comunicação entre nós dentro do cluster.
   .p12 File of Self-managed Elasticsearch Cluster	Siga as instruções na tela para enviar o arquivo P12 descriptografado.Um arquivo P12 armazena uma chave pública, uma chave privada e um certificado digital. Ele é usado para garantir a comunicação adequada entre os nós durante o processo subsequente de migração de dados.
   Username of Self-managed Elasticsearch Cluster	Nome de usuário usado para fazer login no cluster Elasticsearch autogerenciado.
   Password of Self-managed Elasticsearch Cluster	Senha usada para fazer login no cluster Elasticsearch autogerenciado.

3. Clique em OK para crie a tarefa.

Etapa 2: Configure e execute a tarefa de migração

Nesta etapa, siga as instruções na tela para configure a tarefa de migração e concluir a transferência de dados.

1. Execute as verificações de migração e configure a integração.

   Na aba Configure Source and Destination Clusters, siga os passos abaixo para concluir a verificação de viabilidade e a configuração de integração da tarefa de migração.

   1. Verificação de Viabilidade: Antes de iniciar a migração, o sistema verifica automaticamente a conectividade de rede, a compatibilidade de versões e a adequação de recursos entre os clusters de source e destino para garantir que a migração seja segura e viável.

      Nota

      Se a verificação de viabilidade falhar, modifique as configurações relevantes conforme solicitado.

   2. Integração de Configurações: O sistema detecta automaticamente os parâmetros de configuração do cluster de source (como número de réplicas de shards, políticas de fragmentação e configurações de permissão de usuário) e os aplica ao cluster de destino. Essa sincronização perfeita assegura uma migração tranquila e uma operação eficiente.

      Nota

      Esta etapa leva cerca de 20 minutos.

2. Realize a migração de dados.

   Na aba Migrate Data, siga os passos mostrados na figura para concluir a integração de clusters, migração de réplicas, migração de nó mestre e migração de shards primários, nesta ordem.

   Ações	Descrição	Observações
   Integração de Clusters	O sistema une o cluster de source e o cluster de destino em um único cluster grande. Após a união, Total nodes in the cluster = Nodes in the source cluster + Nodes in the target cluster.	Após a integração dos clusters, o Kibana do cluster de destino fica temporariamente indisponível. Durante a migração de dados, continue usando o Kibana no cluster de source até que a troca de serviço seja concluída.
   Migração de Réplicas	O sistema migra os shards de réplica de índice dos nós do cluster de source para os nós do cluster de destino.	Se ocorrer uma falha inesperada ou se a migração afetar sua carga de trabalho, execute uma reversão. Após uma reversão, a tarefa de migração atual é abortada e não pode ser retomada. Crie uma nova tarefa para prosseguir.
   Migração de Nó Mestre	O sistema migra o nó mestre do cluster unificado do cluster de source para o cluster de destino.	Ao iniciar a migração do nó mestre, a alteração entra em vigor imediatamente. Não há suporte para reversão em nenhum cenário. Prossiga com cautela.
   Migração de Shard Primário	O sistema migra os shards primários, que armazenam os dados originais, dos nós do cluster de source para os nós do cluster de destino.	Ao iniciar a migração de shards primários, não há suporte para reversão em nenhum cenário. Prossiga com cautela.

3. Execute a troca de serviço e o isolamento de rede.

   Nesta etapa, transfira seus serviços atuais para o cluster de destino e use o isolamento de rede para tirar o cluster original do ar.

   1. Troca de serviço.

      Na aba Switch Business, siga as instruções na tela para transferir todas as solicitações de consulta e gravação dos seus aplicativos de negócios do endpoint do cluster de source para o endpoint do cluster de destino. O cluster de destino passa a fornecer todos os serviços.

   2. Isolamento de rede.

      Após a conclusão da troca de serviço, inicie uma solicitação de isolamento de rede. Isso impede que os nós do cluster de source voltem a se juntar ao cluster de destino, efetivamente tirando o cluster de source do ar.

      Nota

      Quando a mensagem Take Offline Self-managed Cluster Node for exibida, siga as instruções para tirar os nós ECS do cluster autogerenciado do ar ou encerrar o processo ES (recomendamos usar o comando kill -15 <ES_process_PID> para tirar o processo do ar). Após a conclusão da operação, o sistema continua o processo de isolamento de rede. Estima-se que este processo leve 20 minutos. Aguarde pacientemente.

4. Conclua a migração.

   Após o sucesso do isolamento de rede, a tarefa de migração estará completa. Clique em Go to Cluster List para visualize os detalhes da instância.

Etapa 3: Validar os dados

Após a conclusão da tarefa de migração de dados, acesse o cluster Alibaba Cloud Elasticsearch de destino através do console do Kibana. Execute operações de consulta ou gravação para verifique se o cluster está funcionando conforme o esperado.