Como migrar um cluster Kafka autogerenciado para o Message Queue for Apache Kafka - ApsaraMQ for Kafka: Central de Documentação do Alibaba Cloud

Message Queue for Apache Kafka oferece um serviço de migração para a nuvem totalmente gerenciado e livre de manutenção para sincronizar dados entre clusters autogerenciados ou instâncias entre nuvens e instâncias do Message Queue for Apache Kafka. Após a conclusão da migração, os metadados (informações de configuração de Topic e Group) e os dados de mensagens do cluster source são sincronizados com a instância de destino. Os metadados da instância de destino permanecem consistentes com os do cluster source e são atualizados continuamente.

Pré-requisitos

Adquira e implante uma instance do ApsaraMQ for Kafka que atenda aos seguintes requisitos:

Item	Descrição
Status	Running
Versão	A versão secundária mais recente da 2.2.0 ou 2.6.2.

Nota

Visualize o status e a versão da sua instance na seção Enter Basic Information da página Instances no console do Message Queue for Apache Kafka.

Limitações

O recurso de cloud migration do ApsaraMQ for Kafka tem as seguintes limitações:

Item	Limite
Quantidade	Crie no máximo 20 tarefas de migração por `instance`. Os recursos de `cloud migration` e `connector` compartilham recursos dentro de uma única `instance`.
Tipo de edição	Instância Serverless Para instâncias não Serverless: Professional Edition (High Write) ou Professional Edition (High Read).
Versão da instância source	A versão open source deve ser 1.0.0 ou superior.

Faturamento

O componente de migração para a nuvem do ApsaraMQ for Kafka passará a ser cobrado em 1º de agosto de 2026. Para mais informações, consulte CU Pós-pago.

Requisitos de rede

Para sincronizar dados de uma instância autogerenciada na internet pública com o ApsaraMQ for Kafka ou sincronizar dados entre regiões de uma instância do ApsaraMQ for Kafka em uma VPC para outra em uma VPC diferente, habilite o acesso à internet na instância e sincronize os dados pela internet. Para mais informações, consulte Habilitar acesso à internet (Opcional).

Para sincronizar dados de uma instance em uma VPC para uma instance do ApsaraMQ for Kafka em outra VPC usando o recurso de cloud migration, verifique se as region s do ApsaraMQ for Kafka e do ApsaraMQ for Kafka suportam conexão automática de VPC. Em outras region s, conecte as VPCs manualmente. Para mais informações, consulte Conectar VPCs entre regiões.

Habilitar acesso à internet (opcional)

Para usar o recurso de cloud migration com acesso cross-region a outros serviços da Alibaba Cloud ou endpoints públicos, habilite o internet access.

Crie um NAT gateway para a VPC 1 que hospeda a instância do Message Queue for Apache Kafka.

Para mais informações, consulte NAT Gateway de Internet.
Associe um elastic IP address ao nat gateway.

Para mais informações, consulte Associar um EIP a um recurso de nuvem.
Crie uma entrada SNAT para o vSwitch usado pela instância do Message Queue for Apache Kafka na VPC 1.

Para mais informações, consulte Criar e gerenciar entradas SNAT.

Criar e implantar uma tarefa de migração para a nuvem

Faça login no console do ApsaraMQ for Kafka. Na página Overview, selecione uma região na seção Resource Distribution.
No painel de navegação à esquerda, clique em Migration e, em seguida, clique em Cloud Migration.
Na aba Cloud Migration, clique em Create Task.

No painel Create Cloud Migration Task, configure os seguintes parâmetros.

Na aba Configure Basic Information, especifique um Task Name, selecione uma Destination Instance e clique em Next.

Na aba Configure Source Service, configure os parâmetros do serviço source e clique em Next.

Se selecionar VPC (Interconnection Between Self-managed Instance and VPC) como Source Instance Type, configure os parâmetros a seguir.

Parâmetro	Descrição	Exemplo
Source Region	Selecione a `region` da `instance` source.	China (Hangzhou)
Endpoint	O `endpoint` da `instance` source.	192.168.XX.XX:9092
VPC ID	Este valor é preenchido automaticamente com base na VPC da `instance` source e não pode ser alterado.	vpc-test-c****
vSwitch ID	O `vSwitch ID` da `instance` source.	vsw-bp1gbjqsf53og****
Security Group	Selecione o `security group` da `instance` source.	alikafka_pre-cn-7mz2****
Security Protocol	Selecione o `security protocol` da `instance` source. PLAINTEXT SASL_PLAINTEXT SASL Username: Insira o nome de usuário SASL. SASL Password: Insira a senha SASL. SASL mechanism: O mecanismo de autenticação SASL. Valores válidos: PLAIN, SCRAM-SHA-256 e SCRAM-SHA-512. SASL_SSL SASL Username: Insira o nome de usuário SASL. SASL Password: Insira a senha SASL. SASL mechanism: O mecanismo de autenticação SASL. Valores válidos: PLAIN, SCRAM-SHA-256 e SCRAM-SHA-512. SSL Truststore File: Faça upload do arquivo de certificado. SSL Truststore Password: Insira a senha do certificado. SSL Endpoint Identification Algorithm: Algoritmo usado para verificar a identidade do servidor durante a comunicação SSL, ajudando a prevenir ataques man-in-the-middle. Insira `https`, `http` ou deixe em branco.	PLAINTEXT
Number of Tasks	Selecione o número de tarefas para sincronização de dados. Valores válidos: 1 6 12	12
Synchronize SASL Users	Define se os usuários SASL serão sincronizados durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes.	Yes
Synchronize Topic ACLs	Define se as ACLs de `topic` serão sincronizadas durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes. Yes: Sincroniza as ACLs de `topic` da `instance` source para a `instance` de destino. Se a `instance` source for um `self-managed cluster`, crie manualmente os usuários SASL na `instance` de destino para sincronizar as ACLs de `topic`. No: Não sincroniza as ACLs de `topic` da `instance` source para a `instance` de destino.	Yes
Synchronize Consumer Groups	Define se os `consumer group`s serão sincronizados da `instance` source para a `instance` de destino durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes.	Yes
Synchronize Consumer Offsets	Define se os `consumer offset`s serão sincronizados da `instance` source para a `instance` de destino durante a migração de dados. Este parâmetro aparece somente ao clicar em Configure Runtime Environment e definir Synchronize Consumer Groups como Yes. O valor padrão é Yes.	Yes
Topic	Os `topic`s na `instance` source a serem sincronizados com a `instance` de destino. Se este parâmetro for deixado em branco, todos os `topic`s serão sincronizados. Este parâmetro aparece após clicar em Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Especifique quais `topic`s não compactados devem ser criados com `local storage` na `instance` de destino. Se este parâmetro for deixado em branco, os `topic`s serão criados com `cloud storage`. Este parâmetro aparece após clicar em Configure Runtime Environment.	test-topic

Se selecionar Public Network (IDC or Cross-cloud Instance) como Source Instance Type, configure os seguintes parâmetros.

Parâmetro	Descrição	Exemplo
Endpoint	O `endpoint` da `instance` source.	192.168.XX.XX:9092
Security Group	Selecione o `security group` da `instance` source.	alikafka_pre-cn-7mz2****
Security Protocol	Selecione o `security protocol` da `instance` source. PLAINTEXT SASL_PLAINTEXT SASL Username: Insira o nome de usuário SASL. SASL Password: Insira a senha SASL. SASL mechanism: O mecanismo de autenticação SASL. Valores válidos: PLAIN, SCRAM-SHA-256 e SCRAM-SHA-512. SASL_SSL SASL Username: Insira o nome de usuário SASL. SASL Password: Insira a senha SASL. SASL mechanism: O mecanismo de autenticação SASL. Valores válidos: PLAIN, SCRAM-SHA-256 e SCRAM-SHA-512. SSL Truststore File: Faça upload do arquivo de certificado. SSL Truststore Password: Insira a senha do certificado. SSL Endpoint Identification Algorithm: Algoritmo usado para verificar a identidade do servidor durante a comunicação SSL, ajudando a prevenir ataques man-in-the-middle. Insira `https`, `http` ou deixe em branco.	PLAINTEXT
Number of Tasks	Selecione o número de tarefas para sincronização de dados. Valores válidos: 1 6 12	12
Synchronize SASL Users	Define se as informações de usuários SASL serão sincronizadas com a `instance` de destino durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes.	Yes
Synchronize Topic ACLs	Define se as ACLs de `topic` serão sincronizadas durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes. Yes: Sincroniza as ACLs de `topic` da `instance` source para a `instance` de destino. Se a `instance` source for um `self-managed cluster`, crie manualmente os usuários SASL na `instance` de destino para sincronizar as ACLs de `topic`. No: Não sincroniza as ACLs de `topic` da `instance` source para a `instance` de destino.	Yes
Synchronize Consumer Groups	Define se os `consumer group`s serão sincronizados da `instance` source para a `instance` de destino durante a migração de dados. Este parâmetro aparece após clicar em Configure Runtime Environment. O valor padrão é Yes.	Yes
Synchronize Consumer Offsets	Define se os `consumer offset`s serão sincronizados da `instance` source para a `instance` de destino durante a migração de dados. Este parâmetro aparece somente ao clicar em Configure Runtime Environment e definir Synchronize Consumer Groups como Yes. O valor padrão é Yes.	Yes
Topic	Os `topic`s na `instance` source a serem sincronizados com a `instance` de destino. Se este parâmetro for deixado em branco, todos os `topic`s serão sincronizados. Este parâmetro aparece após clicar em Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Especifique quais `topic`s não compactados devem ser criados com `local storage` na `instance` de destino. Se este parâmetro for deixado em branco, os `topic`s serão criados com `cloud storage`. Este parâmetro aparece após clicar em Configure Runtime Environment.	test-topic

Na aba Configure Destination Service, clique em Create.

Após criar a tarefa, na página Migration, selecione a instância de destino na lista suspensa Instance. Na lista de instâncias, localize a tarefa criada e clique em Deploy na coluna Actions.

Na página Migration, se o Status da tarefa for Running, a implantação foi bem-sucedida.

Outras operações

Na página Migration, selecione a instance relevante na lista suspensa Instance, localize a tarefa e utilize as opções na coluna Actions.

Visualizar detalhes da tarefa: Clique em Details. Na página de detalhes da tarefa, visualize as Basic Information, o Source Service, o Destination Service e o Runtime Environment.
Verificar progresso da sincronização: Clique em Synchronization Progress, selecione o topic desejado e clique em OK.
Modificar configuração da tarefa: Clique em Modify Configuration. No painel exibido, altere os parâmetros da tarefa conforme necessário.
Redefinir consumer offsets: Escolha More > Reset Consumer Offset, defina o topic e o método de redefinição e clique em OK. Para mais informações sobre como redefinir consumer offset s, consulte Redefinir consumer offsets.
Iniciar ou parar uma tarefa: Selecione More > Suspend ou More > Enable. Em seguida, na caixa de diálogo Note, clique em OK.
Excluir uma tarefa: Selecione More > Delete e clique em OK na caixa de diálogo Note.