ApsaraMQ for RocketMQ:Migrate a self-managed Apache RocketMQ cluster to ApsaraMQ for RocketMQ

Requisitos do cluster de origem

O cluster Apache RocketMQ de origem deve atender aos seguintes requisitos. Caso contrário, abra um ticket.

Limites da instância de destino

Para a lista completa, consulte Cotas e limites.

Compatibilidade de SDK

O Remoting SDK utiliza a seguinte dependência Maven e formato de endpoint:

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>{version}</version>
</dependency>

producer.setNamesrvAddr("xxx:9876");
consumer.setNamesrvAddr("xxx:9876");

Mensagens agendadas e de nova tentativa

Verifique se o cluster de origem contém mensagens agendadas ou pendentes de nova tentativa. Após a migração, todas as conexões de produtores e consumidores passam para a instância do ApsaraMQ for RocketMQ. Mensagens agendadas e de nova tentativa remanescentes no cluster de origem podem não ser consumidas. Mantenha processos de consumidor em execução no cluster de origem para drenar essas mensagens antes de desativá-lo.

Planejar lotes de migração

A ferramenta de migração suporta migração por tópico com operações em lote, canary release e rollback, o que reduz o impacto de cada alteração.

1. Selecione tópicos e planeje lotes. Identifique os tópicos a migrar e agrupe-os em lotes. Comece com tópicos de negócios não críticos.

2. Coordene com equipes upstream e downstream. Notifique todos os aplicativos produtores e consumidores que usam os tópicos selecionados. Cada aplicativo deve atualizar seu endpoint.

O que a ferramenta de migração acessa

A ferramenta de migração acessa apenas as seguintes informações do cluster de origem (privilégio mínimo):

• Metadados de tópicos

• Metadados de grupos de consumidores

• Registro de roteamento dinâmico para tópicos

• Status de conexão do consumidor e acumulação de mensagens

A ferramenta não acessa outros dados do cluster nem grava configurações no cluster de origem.

Procedimento

1. Faça login no console do ApsaraMQ for RocketMQ.

2. Na barra de navegação superior, selecione a região onde o cluster de origem e a instância de destino estão localizados. No painel de navegação à esquerda, escolha RocketMQ Copilot > Migration to Cloud.

3. Na página Migration to Cloud, clique em Create Task.

4. No painel Create Migration Task, configure os parâmetros descritos na tabela a seguir e clique em OK.

5. Na etapa Network Settings do assistente de migração, insira os detalhes de rede do cluster Apache RocketMQ de origem e clique em Configure Network.

6. Aguarde a conclusão da configuração de rede e clique em Next.

Referência de parâmetros

Procedimento

1. Na etapa Metadata Migration, clique na aba Topic Metadata.

2. Selecione um tópico na lista, escolha o Message Type correto na lista suspensa e clique em Confirm and Import. Para importar vários tópicos simultaneamente, selecione-os e clique em Batch Import.

   Importante

   O Apache RocketMQ 4.x não define tipos de mensagem no nível do tópico. O ApsaraMQ for RocketMQ valida se o tipo de mensagem atribuído corresponde às mensagens reais no tópico. Selecione o tipo com base na lógica do aplicativo. Se você selecionar um tipo incorreto, o envio ou recebimento de mensagens falhará após a migração. Em caso de dúvida sobre o tipo de mensagem, abra um ticket.

3. Clique na aba Group Metadata. Selecione um grupo de consumidores, escolha a Consumption Order correta na lista suspensa e clique em Confirm and Import. Para importar vários grupos simultaneamente, selecione-os e clique em Batch Import.

   Importante

   No SDK do Apache RocketMQ 4.x, a ordem de consumo de mensagens é especificada no lado do cliente. No ApsaraMQ for RocketMQ 5.x, o broker controla a ordem de consumo no nível do grupo. Selecione a ordem com base nos requisitos do aplicativo. Uma ordem incorreta causa exceções de consumo. Em caso de dúvida, abra um ticket.

4. Verifique se todos os tópicos e grupos deste lote de migração foram importados e clique em Next.

Antes de prosseguir

• Após alterar o endpoint, reinicie cada aplicativo para conectá-lo à instância de destino.

• Certifique-se de que todos os aplicativos produtores e consumidores atualizem seus endpoints:

  • Produtores que não fizerem a troca: algumas mensagens falharão no envio.

  • Consumidores que não fizerem a troca: as mensagens acumularão e não poderão ser consumidas.

Exemplos de alteração de endpoint

producer.setNamesrvAddr("192.168.XX.XX:9876");
consumer.setNamesrvAddr("192.168.XX.XX:9876");

producer.setNamesrvAddr("rmq-cn-pe334******-vpc.cn-hangzhou.rmq.aliyuncs.com:8080");
// vipChannelEnabled defaults to false. If set to true, comment out this line.
// producer.setVipChannelEnabled(false);

consumer.setNamesrvAddr("rmq-cn-pe334******-vpc.cn-hangzhou.rmq.aliyuncs.com:8080");
// vipChannelEnabled defaults to false. If set to true, comment out this line.
// consumer.setVipChannelEnabled(false);

producer.setNamesrvAddr("rmq-cn-pe334******-vpc.cn-hangzhou.rmq.aliyuncs.com:8080");
// vipChannelEnabled defaults to true. Set it to false.
producer.setVipChannelEnabled(false);

consumer.setNamesrvAddr("rmq-cn-pe334******-vpc.cn-hangzhou.rmq.aliyuncs.com:8080");
// vipChannelEnabled defaults to true. Set it to false.
consumer.setVipChannelEnabled(false);

ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder()
            .setEndpoints("192.168.XX.XX:9876")
            .setCredentialProvider(sessionCredentialsProvider)
            .build();

ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder()
            .setEndpoints("rmq-cn-pe334******-vpc.cn-hangzhou.rmq.aliyuncs.com:8080")
            .setCredentialProvider(sessionCredentialsProvider)
            .build();

Procedimento

Depois que todos os aplicativos tiverem atualizado seus endpoints e reiniciado, clique em Next na etapa Change Endpoint.

Antes de prosseguir

• Em cada estágio, verifique se as mensagens estão sendo enviadas e recebidas corretamente antes de continuar. Se ocorrer um problema, faça rollback para o estágio anterior e solucione-o.

• Troque o tráfego de todos os tópicos migrados e confirme a operação normal antes de concluir a tarefa de migração. As configurações de troca de tráfego não podem ser modificadas depois que a tarefa for marcada como concluída.

Estágios de troca de tráfego

Cada tópico avança pelos seguintes quatro estágios:

Topologia de tráfego para cada estágio:

Verificações em cada estágio

Procedimento

1. Na etapa Message Migration, selecione o tópico a migrar e verifique seu status de validação.

   • Check Passed: Prossiga para a próxima etapa.

   • Não passou: Solucione o problema com base no resultado da verificação e clique em Re-verify até que a verificação seja aprovada.

   • Não passou, mas confirmado como não bloqueante: Clique em Ignore Check e prossiga.

2. Na coluna Actions, clique em Switch Traffic.

3. Na caixa de diálogo de confirmação, clique em OK.

4. Repita as etapas 1 a 3 para cada estágio até que Traffic Switching Stage mostre Read and Write in Destination Cluster.

5. Depois que todos os tópicos forem totalmente trocados, clique em Migrated na parte inferior da página.

Operações adicionais

As seguintes operações estão disponíveis na página Message Migration:

• Roll Back

  • Roll back to the previous stage: Reverte o tópico para o último estágio em que a migração funcionava corretamente. Solucione problemas antes de prosseguir novamente.

  • Roll back to the initial stage: Reverte para o estado de roteamento original. Use apenas para solução de problemas de emergência.

    Nota

    Fazer rollback para o estágio inicial pode causar atraso ou impossibilidade de processamento de mensagens não consumidas produzidas durante os estágios anteriores.

• Create Topic: Se um tópico não foi selecionado durante a migração de metadados, crie-o diretamente na instância de destino do ApsaraMQ for RocketMQ 5.x.

• Batch Traffic Switching / Batch Rollback: Troca o tráfego ou faz rollback para vários tópicos simultaneamente. Ambas as operações aplicam-se apenas a tópicos no mesmo estágio de troca de tráfego.