Elasticsearch:Migrate self-managed Elasticsearch data to Alibaba Cloud

Elasticsearch autogerenciado

• Um cluster Elasticsearch autogerenciado implantado no ECS. Este cluster servirá como cluster de source para a migração.

  Nota

  O grupo de segurança da instância ECS deve ter uma lista de permissões configurada para blocos CIDR específicos para permitir acesso à instância ECS pelas portas 9200 e 9300.

  • Porta 9200: Porta da API HTTP do Elasticsearch, utilizada para interações entre clientes (como navegadores, aplicativos e Kibana) e o cluster Elasticsearch.

  • Porta 9300: Porta da camada de transporte TCP do Elasticsearch, utilizada para comunicação entre os nós dentro do cluster.

• Réplicas foram criadas para os índices no cluster Elasticsearch autogerenciado.

• É necessário ter um arquivo P12 descriptografado. O arquivo P12 armazena chaves públicas e privadas e inclui um certificado digital, garantindo que os nós se comuniquem corretamente durante o processo de migração de dados.

• (Opcional) Se o Elasticsearch autogerenciado não tiver autenticação ativada, ative o X-Pack Security (ou seja, defina xpack.security.enabled: true) para garantir a segurança dos dados durante a migração.

Alibaba Cloud Elasticsearch

Você precisa ter um cluster Alibaba Cloud Elasticsearch. Este cluster servirá como destino para a migração. Para garantir uma migração tranquila, verifique se o cluster de destino atende aos seguintes requisitos:

• Deve estar implantado no modo Cloud-native Control Architecture (v3).

• Deve estar na mesma região e VPC da instância ECS onde o cluster Elasticsearch autogerenciado está implantado.

• Recomendamos utilizar a mesma versão do cluster Elasticsearch autogerenciado.

  Nota

  Caso precise realizar uma migração de dados entre versões diferentes, entre em contato com a equipe de suporte técnico do Alibaba Cloud Elasticsearch.

• As especificações da instância e a quantidade de nós devem ser iguais ou superiores às do cluster Elasticsearch autogerenciado.

• Recomendamos usar o mesmo nome de usuário e senha do cluster Elasticsearch autogerenciado.

• Se você instalou plugins personalizados na instância de Elasticsearch autogerenciado, como o plugin elasticsearch-knn para buscas de similaridade, instale os mesmos plugins na instância do Alibaba Cloud Elasticsearch. Para informações sobre operações com plugins, consulte Configuração de plugins.

• Os recursos do cluster de destino, como configuração do cluster e dicionários, devem atender aos requisitos do seu negócio, e o cluster deve estar acessível pela rede.

Etapa 1: Crie uma tarefa de migração

1. Acesse a página de migração online.

   1. Faça login no console do Alibaba Cloud Elasticsearch.

   2. No painel de navegação à esquerda, clique em Elastic Stack Cloud Native PaaS > Online Migration Tool para acessar a página de migração online.

2. Clique em Create para criar uma tarefa de migração e configure seus parâmetros.

   Parâmetro	Descrição
   Type	Selecione Data Migration from Self-managed Elasticsearch Cluster para migrar dados de um cluster Elasticsearch autogerenciado para o Alibaba Cloud Elasticsearch.
   Destination Cluster	Instância de destino do Alibaba Cloud Elasticsearch. Selecione uma instância na mesma região da instância ECS que hospeda seu cluster autogerenciado. Após selecionar uma instância, insira o Virtual Switch ID conforme solicitado. Nota É possível selecionar apenas uma instância implantada no modo Cloud-native Control Architecture (v3). Se nenhuma instância adequada estiver disponível, crie uma instância do Alibaba Cloud Elasticsearch conforme necessário. Um vSwitch é usado para isolamento de rede e controle de acesso. Você pode encontrar o ID visualizando as informações básicas da instância.
   VPC of Self-managed Elasticsearch Cluster	ID da VPC do seu cluster Elasticsearch autogerenciado.
   IP Address of ECS Instance for Self-managed Elasticsearch Cluster	Endereço IP da instância ECS que hospeda qualquer nó do seu cluster Elasticsearch autogerenciado. Nota O grupo de segurança da instância ECS deve ter uma lista de permissões configurada para blocos CIDR específicos para permitir acesso à instância ECS pelas portas 9200 e 9300. Porta 9200: Porta da API HTTP do Elasticsearch, utilizada para interações entre clientes (como navegadores, aplicativos e Kibana) e o cluster Elasticsearch. Porta 9300: Porta da camada de transporte TCP do Elasticsearch, utilizada para comunicação entre os nós dentro do cluster.
   .p12 File of Self-managed Elasticsearch Cluster	Siga as instruções na tela para envie o arquivo P12 descriptografado.Um arquivo P12 armazena uma chave pública, uma chave privada e um certificado digital. Ele é usado para garantir a comunicação adequada entre os nós durante o processo subsequente de migração de dados.
   Username of Self-managed Elasticsearch Cluster	Nome de usuário utilizado para fazer login no cluster Elasticsearch autogerenciado.
   Password of Self-managed Elasticsearch Cluster	Senha utilizada para fazer login no cluster Elasticsearch autogerenciado.

3. Clique em OK para criar a tarefa.

Etapa 2: Configure e execute a tarefa de migração

Siga as instruções na tela para configure a tarefa de migração e concluir a migração de dados.

1. Execute as verificações de migração e configure a integração.

   Na aba Configure Source and Destination Clusters, siga as etapas abaixo para concluir a verificação de viabilidade e a configuração de integração da tarefa de migração.

   1. Verificação de Viabilidade: Antes de iniciar a migração, o sistema verifica automaticamente a conectividade de rede, a compatibilidade de versões e a adequação de recursos entre os clusters de source e destino para garantir que a migração seja segura e viável.

      Nota

      Se a verificação de viabilidade falhar, modifique as configurações relevantes conforme solicitado.

   2. Integração de Configurações: O sistema detecta automaticamente os parâmetros de configuração do cluster de source (como número de réplicas de shard, políticas de sharding e configurações de permissão de usuário) e os aplica ao cluster de destino.

      Nota

      Esta etapa leva cerca de 20 minutos.

2. Realize a migração de dados.

   Na aba Migrate Data, conclua a integração do cluster, a migração de réplicas, a migração do nó mestre e a migração de shards primários em sequência.

   Ações	Descrição	Observações
   Integração de Cluster	O sistema funde o cluster de source e o cluster de destino em um único cluster grande. Após a fusão, Total nodes in the cluster = Nodes in the source cluster + Nodes in the target cluster.	Após a integração do cluster, o Kibana do cluster de destino fica temporariamente indisponível. Durante a migração de dados, você pode continuar usando o Kibana no cluster de source até que a troca de service seja concluída.
   Migração de Réplicas	O sistema migra os shards de réplica de índice dos nós do cluster de source para os nós do cluster de destino.	Se ocorrer uma falha inesperada ou se a migração afetar sua carga de trabalho, execute uma reversão. Após uma reversão, a tarefa de migração atual é abortada e não pode ser retomada. Crie uma nova tarefa para prosseguir.
   Migração de Nó Mestre	O sistema migra o nó mestre do cluster fundido do cluster de source para o cluster de destino.	Ao iniciar a migração do nó mestre, a alteração entra em vigor imediatamente. Não há suporte para reversão em nenhum cenário. Prossiga com cautela.
   Migração de Shard Primário	O sistema migra os shards primários, que armazenam os dados originais, dos nós do cluster de source para os nós do cluster de destino.	Ao iniciar a migração de shards primários, não há suporte para reversão em nenhum cenário. Prossiga com cautela.

3. Execute a troca de service e o isolamento de rede.

   Direcione seus services para o cluster de destino e use o isolamento de rede para tirar o cluster de source do ar.

   1. Troca de service.

      Na aba Switch Business, siga as instruções na tela para alternar todas as solicitações de consulta e gravação nos aplicativos do seu negócio do endpoint do cluster de source para o endpoint do cluster de destino. O cluster de destino passa a fornecer todos os services.

   2. Isolamento de rede.

      Após a conclusão da troca de service, inicie uma solicitação de isolamento de rede. Isso impede que os nós do cluster de source voltem a se juntar ao cluster de destino, efetivamente tirando o cluster de source do ar.

      Nota

      Quando a mensagem Take Offline Self-managed Cluster Node for exibida, siga as instruções para tirar os nós ECS do cluster autogerenciado do ar ou encerrar o processo do ES (recomendamos usar o comando kill -15 <ES_process_PID> para tirar o processo do ar). Após a conclusão da operação, o sistema continua o processo de isolamento de rede. Estima-se que este processo leve 20 minutos. Aguarde a conclusão.

4. Conclua a migração.

   Após o sucesso do isolamento de rede, a tarefa de migração estará concluída. Clique em Go to Cluster List para visualize detalhes da instância.

Etapa 3: Validar os dados

Após a migração, acesse o cluster Alibaba Cloud Elasticsearch de destino pelo console do Kibana e execute operações de consulta ou gravação para verifique se o cluster funciona conforme o esperado.

Exclua uma tarefa de migração

Atualmente, a Online Migration Tool não permite exclua uma tarefa de migração diretamente pelo console do Alibaba Cloud Elasticsearch. Se precisar exclua uma tarefa de migração, abra um ticket pelo Console de Gerenciamento do Alibaba Cloud ou entre em contato com o suporte online, e a equipe de suporte técnico do Alibaba Cloud excluirá a tarefa para você.

Ao abrir o ticket, forneça as seguintes informações:

• O ID da instância do seu cluster Alibaba Cloud Elasticsearch.

• O ID da tarefa de migração que você deseja exclua.