Use o Data Transmission Service (DTS) para migrar dados de uma instância do PolarDB-X 1.0 para uma instância do ApsaraMQ for Kafka.
Pré-requisitos
-
É necessário ter uma instância de origem do PolarDB-X 1.0. Para obter instruções, consulte crie uma instância PolarDB-X 1.0.
NotaO tipo de armazenamento compatível com o PolarDB-X 1.0 é o ApsaraDB RDS for MySQL, que inclui instâncias personalizadas e adquiridas separadamente. O PolarDB for MySQL não é compatível.
-
É necessário ter uma instância do ApsaraMQ for Kafka e um tópico para os dados migrados. Para obter mais informações sobre as instâncias do ApsaraMQ for Kafka, consulte Get started with ApsaraMQ for Kafka.
Notavisualize as versões de banco de dados de origem e destino compatíveis, consulte Migration solutions overview.
Certifique-se de que a instância de destino do ApsaraMQ for Kafka tenha mais espaço de armazenamento do que a instância de origem do PolarDB-X 1.0.
Limitações
Tipo | Descrição |
Limites do banco de dados de origem |
|
Outros limites |
|
Considerações adicionais |
|
Faturamento
|
Tipo de migração |
Taxa de configuração da instância |
Taxa de tráfego de internet |
|
Migração de schema e migração completa de dados |
Sem cobrança. |
Varia de acordo com o método de acesso. Nota
Há cobrança de taxa de tráfego de internet se o Access Method do banco de dados de destino for Public IP Address. Para obter mais informações, consulte billing overview. |
|
Migração incremental de dados |
Há cobrança. Para obter mais informações, consulte billing overview. |
Tipos de migração
-
Migração de schema
O DTS migra as definições de schema dos objetos de migração do banco de dados de origem para o banco de dados de destino.
-
Migração completa
O DTS migra todos os dados históricos dos objetos de migração especificados do banco de dados de origem para o banco de dados de destino.
-
Migração incremental
Após a conclusão de uma migração completa, o DTS migra as atualizações incrementais de dados do banco de dados de origem para o banco de dados de destino. A migração incremental permite migrar dados de forma contínua, sem interromper suas aplicações autogerenciadas.
Operações SQL compatíveis para migração incremental
|
Tipo |
Instrução SQL |
|
DML |
INSERT, UPDATE e DELETE |
Permissões da conta do banco de dados
|
Banco de dados |
Migração de schema |
Migração completa de dados |
Migração incremental de dados |
|
Instância do PolarDB-X 1.0 |
Permissão |
Permissão |
Permissões Nota
Para obter detalhes sobre como conceder permissões, consulte Data synchronization tools for PolarDB-X. |
|
ApsaraMQ for Kafka |
Permissões de leitura e gravação |
||
Mapeamento de tipos de dados
Para obter detalhes, consulte Schema initialization: Data type mappings.
Etapas
-
acesse a página da lista de tarefas de migração da região de destino por um dos seguintes métodos.
A partir do console do DTS
Faça login no Data Transmission Service (DTS) console.
No painel de navegação à esquerda, clique em Data Migration.
No canto superior esquerdo da página, selecione a região onde a instância de migração está localizada.
A partir do console do DMS
NotaAs operações reais podem variar de acordo com o modo e o layout do console do DMS. Para obter mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.
Faça login no Data Management (DMS) console.
Na barra de menu superior, escolha .
À direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Clique em Create Task para acessar a página de configuração da tarefa.
-
Configure os bancos de dados de origem e de destino.
AvisoApós selecionar as instâncias de origem e de destino, leia a seção Limits na parte superior da página antes de criar e executar a tarefa de migração de dados.
Categoria
Parâmetro
Descrição
N/D
Task Name
O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
Source Database
Select Existing Connection
Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente.
NotaNo console do DMS, este parâmetro é chamado de Select a DMS database instance..
Caso não tenha registrado a instância do banco de dados no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
Database Type
Selecione PolarDB-X 1.0.
Access Method
Selecione Alibaba Cloud Instance.
Instance Region
Selecione a região onde a instância de origem do PolarDB-X 1.0 está localizada.
Replicate Data Across Alibaba Cloud Accounts
Neste exemplo, a migração ocorre dentro da mesma conta da Alibaba Cloud. Selecione No.
Instance ID
Selecione o ID da instância de origem do PolarDB-X 1.0.
Database Account
insira a conta do banco de dados da instância de origem do PolarDB-X 1.0. Para verificar as permissões necessárias, consulte a documentação de permissões.
Database Password
insira a senha da conta do banco de dados.
Destination Database
Select Existing Connection
Para usar uma instância de banco de dados que foi added to the system (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente.
NotaNo console do DMS, este parâmetro é chamado de Select a DMS database instance..
Caso não tenha registrado a instância do banco de dados no sistema ou não precise usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
Database Type
Selecione Kafka.
Access Method
Selecione Express Connect, VPN Gateway, or Smart Access Gateway.
NotaNesta etapa, configure uma instância do ApsaraMQ for Kafka como um banco de dados Kafka autogerenciado.
Instance Region
Selecione a região da instância Kafka de destino.
Connected VPC
Selecione o ID da Virtual Private Cloud (VPC) que contém a instância Kafka de destino. visualize o ID da VPC na página Basic Information da instância Kafka.
Domain Name or IP
Insira um endereço IP do default endpoint da instância Kafka.
NotaÉ possível obter o endereço IP do default endpoint na página Basic Information da instância Kafka.
Port
A porta de serviço da instância Kafka. Valor padrão: 9092.
Database Account
insira a conta e a senha do banco de dados da instância Kafka de destino.
NotaA conta e a senha do banco de dados são necessárias apenas para uma instância do ApsaraMQ for Kafka com a Access Control List (ACL) ativada. Para obter mais informações sobre como ativar a ACL, consulte SASL user authorization.
Database Password
Kafka Version
Selecione a versão correspondente à sua instância Kafka.
Encryption
Com base em seus requisitos de negócios e segurança, selecione Non-encrypted ou SCRAM-SHA-256.
Topic
Na lista suspensa, selecione o tópico de destino.
Use Kafka Schema Registry
O Kafka Schema Registry fornece uma interface RESTful para armazenar e recuperar schemas Avro.
-
No: não use o Kafka Schema Registry.
-
Yes: use o Kafka Schema Registry. insira a URL ou o endereço IP do schema Avro registrado no Kafka Schema Registry.
-
Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.
NotaCertifique-se de que o segmento de endereço IP do service do DTS seja adicionado automática ou manualmente às configurações de segurança dos bancos de dados de origem e de destino, permitindo o acesso a partir dos servidores do DTS. Para obter mais informações, consulte Add DTS server IP addresses to a whitelist.
Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (o Access Method não é Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers que é exibida.
-
Configure os objetos da tarefa.
-
Na página Configure Objects, configure os objetos que deseja migrar.
Parâmetro
Descrição
Migration Types
Selecione os tipos de migração com base em seus requisitos e nos tipos compatíveis com cada mecanismo.
Se precisar realizar apenas uma migração completa, selecione Schema Migration e Full Data Migration.
Para realizar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration.
NotaSe não selecionar Schema Migration, garanta que exista um banco de dados e tabelas para receber os dados no banco de dados de destino. Você também pode usar o recurso de mapeamento de nomes de objetos na caixa Selected Objects conforme necessário.
Se não selecionar Incremental Data Migration, não grave novos dados na instância de origem durante a migração de dados para garantir a consistência dos dados.
Schema Migration
Full Data Migration: verifica se existem tabelas com os mesmos nomes no banco de dados de destino. Se não existirem, a pré-verificação é aprovada. Se existirem, um erro será reportado durante a pré-verificação e a tarefa de migração de dados não será iniciada.
NotaSe uma tabela no banco de dados de destino tiver o mesmo nome, mas não puder ser facilmente excluída ou renomeada, altere o nome da tabela no banco de dados de destino. Para obter mais informações, consulte Object name mapping.
Schema Migration: ignora a verificação de tabelas com os mesmos nomes.
AvisoSelecionar Full Data Migration pode causar inconsistência de dados e riscos aos negócios. Por exemplo:
Se os schemas das tabelas forem consistentes e um registro no banco de dados de destino tiver o mesmo valor de chave primária que um registro no banco de dados de origem:
Durante a migração completa, o DTS mantém o registro no banco de dados de destino, e o registro do banco de dados de origem não é migrado.
Durante a migração incremental, o DTS não mantém o registro no banco de dados de destino, e o registro do banco de dados de origem sobrescreve o registro no banco de dados de destino.
Se os schemas das tabelas forem inconsistentes, apenas algumas colunas de dados poderão ser migradas ou a migração poderá falhar. Prossiga com cautela.
Incremental Data Migration
Selecione um formato para os dados migrados para a instância Kafka.
Se selecionar DTS Avro, analise os dados com base na definição do schema DTS Avro. Para obter mais informações, consulte DTS Avro schema definition e DTS Avro deserialization example.
-
Se selecionar Canal JSON, consulte Canal JSON format para obter mais informações sobre os parâmetros e exemplos.
NotaO PolarDB-X 1.0 não é compatível com o formato Canal JSON. Selecione DTS Avro.
Schema Migration
Selecione um formato de compactação para as mensagens do Kafka com base em seus requisitos.
LZ4 (padrão): baixa taxa de compactação, alta velocidade de compactação.
GZIP: alta taxa de compactação, baixa velocidade de compactação.
NotaAlto consumo de cpu.
Snappy: taxa de compactação média, velocidade de compactação média.
Selected Objects
Incremental Data Migration
Selecione um message acknowledgment mechanism com base em seus requisitos de negócios.
Processing Mode for Existing Destination Tables
Configure a política de diferenciação de maiúsculas e minúsculas para os nomes dos objetos migrados, como bancos de dados, tabelas e colunas, na instância de destino. Por padrão, Precheck and Report Errors está selecionado. Você também pode optar por manter a diferenciação de maiúsculas e minúsculas consistente com a política padrão do banco de dados de origem ou de destino. Para obter mais informações, consulte Case sensitivity of object names in the destination database.
Ignore Errors and Proceed
Na caixa Ignore Errors and Proceed, clique nos objetos a serem migrados e, em seguida, clique em
para movê-los para a caixa Data Format in Kafka.NotaSelecione os objetos a serem migrados no nível da tabela. Se selecionar um banco de dados inteiro, quaisquer alterações para adicionar ou excluir tabelas nesse banco de dados não serão migradas para o destino.
Kafka Data Compression Format
Nenhuma configuração adicional é necessária neste exemplo. Use o recurso de mapeamento para configurar o nome do tópico, a contagem de partições e a chave de partição de uma tabela de origem na instância de destino do ApsaraMQ for Kafka. Para obter mais informações, consulte Mapping information.
Nota-
Se usar o recurso de mapeamento de nomes de objetos, outros objetos que dependem do objeto mapeado poderão falhar na migração.
-
Para selecionar as operações SQL para a migração incremental de dados, clique com o botão direito em um objeto de migração na caixa Policy for Shipping Data to Kafka Partitions e selecione as operações SQL a serem migradas na caixa de diálogo exibida.
-
Clique em Message acknowledgement mechanism para configurar os parâmetros avançados.
Parâmetro
Descrição
Capitalization of Object Names in Destination Instance
Não é necessário selecionar um cluster dedicado neste exemplo. Para obter mais informações sobre clusters dedicados, consulte What is a DTS dedicated cluster?.
DTS default policy
Após o início da tarefa de migração, se a conexão com o banco de dados de origem ou de destino falhar, o DTS reportará um erro e começará imediatamente a tentar reconectar. A duração padrão da nova tentativa é de 720 minutos. Você pode personalizar o tempo de nova tentativa para um valor entre 10 e 1440 minutos. Recomendamos definir a duração para mais de 30 minutos. Se o DTS se reconectar aos bancos de dados de origem e de destino dentro da duração especificada, a tarefa de migração será retomada automaticamente; caso contrário, a tarefa falhará.
NotaPara várias instâncias do DTS que compartilham a mesma origem ou destino, o tempo de nova tentativa de rede é determinado pela configuração da última tarefa criada.
Como há cobrança pela tarefa durante o período de nova tentativa de conexão, recomendamos personalizar o tempo de nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias dos bancos de dados de origem e de destino.
Source Objects
Após o início da tarefa de migração, se ocorrer um problema que não seja de conectividade, como uma exceção de execução DDL ou DML, no banco de dados de origem ou de destino, o DTS reportará um erro e começará imediatamente a tentar repetir a operação. A duração padrão da nova tentativa é de 10 minutos. Você pode personalizar o tempo de nova tentativa para um valor entre 1 e 1440 minutos. Recomendamos definir a duração para mais de 10 minutos. Se as operações relacionadas forem bem-sucedidas dentro da duração de nova tentativa especificada, a tarefa de migração será retomada automaticamente; caso contrário, a tarefa falhará.
ImportanteO valor de Source Objects deve ser menor que o valor de Selected Objects.
Selected Objects
Durante a migração completa, o DTS consome recursos de leitura e gravação nos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Se necessário, ative o limitador de taxa para a tarefa de migração completa. Defina Selected Objects, Next: Advanced Settings e Dedicated Cluster for Task Scheduling para reduzir a carga no banco de dados de destino.
NotaEste item de configuração está disponível apenas se você selecionar Retry Time for Failed Connections para Retry Time for Other Issues.
Você também pode adjust the full migration speed após a instância de migração estar em execução.
Retry Time for Other Issues
Se necessário, defina limites de velocidade para a tarefa de migração incremental. Defina Retry Time for Failed Connections e Enable Throttling for Full Data Migration para reduzir a carga no banco de dados de destino.
NotaEste item de configuração está disponível apenas se você selecionar Queries per second (QPS) to the source database para RPS of Full Data Migration.
Você também pode adjust the incremental migration speed após a instância de migração estar em execução.
Data migration speed for full migration (MB/s)
Selecione uma tag de ambiente para identificar a instância, se necessário. Este campo não é obrigatório neste exemplo.
Full Data Migration
Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para obter mais informações, consulte What is ETL?. Valores válidos:
-
Migration Types: ativa o recurso ETL. insira instruções de processamento de dados no editor de código. Para obter mais informações, consulte Configure ETL in a data migration or data synchronization task.
-
Enable Throttling for Incremental Data Migration: desativa o recurso ETL.
RPS of Incremental Data Migration
Defina se deseja configurar alertas e receber notificações de alerta com base nas necessidades do seu negócio.
Data migration speed for incremental migration (MB/s): não define um alerta.
Incremental Data Migration: configure alertas definindo um alert threshold e um notificações de alerta. Se uma migração falhar ou a latência exceder o limiar, o sistema enviará uma notificação de alerta.
-
-
salve a tarefa e execute uma pré-verificação.
visualize os parâmetros de configuração desta instância ao chamar a operação da API, passe o ponteiro do mouse sobre o botão Migration Types e clique em Environment Tag na dica exibida.
Se não precisar visualizar ou já tiver terminado de visualizar os parâmetros da API, clique em Configure ETL na parte inferior da página.
NotaAntes do início da tarefa de migração, o DTS realiza uma pré-verificação. A tarefa só será iniciada após ser aprovada na pré-verificação.
Se a pré-verificação falhar, clique em Yes ao lado do item de verificação com falha, corrija o problema com base na instrução e execute a pré-verificação novamente.
-
Se um aviso for reportado durante a pré-verificação:
Para itens de verificação que não podem ser ignorados, clique em No ao lado do item com falha, corrija o problema com base na instrução e execute a pré-verificação novamente.
Para itens de verificação que podem ser ignorados, clique em Monitoring and Alerting, No, Yes e Next: Save Task Settings and Precheck para pular o item de alerta e executar a pré-verificação novamente. Se optar por ignorar um aviso, isso poderá causar problemas como inconsistência de dados e representar riscos para o seu negócio.
-
Adquira a instância.
Quando a Preview OpenAPI parameters for de 100%, clique em Next: Save Task Settings and Precheck.
-
Na página View Details, selecione a especificação do link para a instância de migração de dados. Para obter mais informações, consulte a tabela a seguir.
Categoria
Parâmetro
Descrição
View Details
Confirm Alert Details
Selecione o grupo de recursos ao qual a instância pertence. O valor padrão é o grupo de recursos padrão. Para obter mais informações, consulte What is resource management?
Ignore
O DTS fornece especificações de migração com diferentes níveis de desempenho. A especificação do link afeta a velocidade da migração. Selecione uma especificação com base no seu cenário de negócios. Para obter mais informações, consulte Data migration link specifications.
Após concluir a configuração, leia e selecione OK.
-
Clique em Precheck Again. Na caixa de diálogo Success Rate que aparece, clique em Next: Purchase Instance.
visualize o progresso da tarefa de migração na página de lista Purchase.
NotaSe a tarefa de migração não incluir a migração incremental, ela será interrompida automaticamente após a conclusão da migração completa. Após a interrupção da tarefa, seu New Instance Class mudará para Resource Group Settings.
Se a tarefa de migração incluir a migração incremental, ela não será interrompida automaticamente. A tarefa de migração incremental continuará em execução. Enquanto a tarefa de migração incremental estiver em execução, o Instance Class da tarefa será Data Transmission Service (Pay-as-you-go) Service Terms.
Informações de mapeamento
Na área Buy and Start, passe o mouse sobre o nome do tópico de destino no nível da tabela.
Clique em OK ao lado do nome do tópico de destino.
-
Na caixa de diálogo OK, configure as informações de mapeamento.
NotaA caixa de diálogo é nomeada como Data Migration Tasks no nível do banco de dados e Status no nível da tabela. A caixa de diálogo Completed possui menos parâmetros.
Se não migrar o banco de dados inteiro, você não modifique os parâmetros Status e Running na caixa de diálogo Selected Objects.
Parâmetro
Descrição
Edit
O nome do tópico que recebe dados da tabela de origem. O padrão é o Topic selecionado na seção Edit Schema durante a etapa Edit Table.
ImportanteSe o destino for uma instância do Message Queue for Apache Kafka, o tópico especificado já deve existir na instância de destino; caso contrário, a tarefa de migração de dados falhará. Se o destino for um banco de dados Kafka auto-hospedado e a tarefa de migração de dados incluir a migração da estrutura do banco de dados e da tabela, o DTS tentará criar o tópico especificado no banco de dados de destino.
Se alterar o Edit Schema, o DTS gravará os dados no tópico especificado.
Name of target Topic
Para obter mais informações, consulte Configure filter conditions.
Number of Partitions
O número de partições no tópico de destino.
Edit Schema
Disponível quando Name of target Topic está definido como Ship Data to Separate Partitions Based on Hash Values of Primary Keys. especifique uma ou mais colunas como chave de partição. O DTS calcula um valor de hash para as colunas especificadas e distribui as linhas pelas partições no tópico de destino. É possível selecionar Destination Database apenas na caixa de diálogo Edit Table.
NotaVocê pode selecionar Name of target Topic apenas na caixa de diálogo Filter Conditions.
Clique em Number of Partitions.