Data Transmission Service:Criar uma tarefa de rastreamento de alterações para uma instância PolarDB-X 2.0

Pré-requisitos

Antes de começar, verifique se:

• Você criou uma instância PolarDB-X 2.0 e um banco de dados nessa instância. Consulte Criar uma instância PolarDB-X e Criar um banco de dados.

• Se a instância ApsaraDB RDS for MySQL for do tipo rede clássica, configure um endpoint interno para ela.

• O log binário está ativado e o parâmetro binlog_row_image está definido como full. Consulte Configurações de parâmetros.

• Os logs binários têm retenção superior a 24 horas. Se o período de retenção for menor, o DTS poderá falhar ao ler os logs e a tarefa falhará.

• A conta de banco de dados usada nesta tarefa tem permissões de leitura em todos os objetos a rastrear.

Limitações

Banco de dados de origem

• As tabelas de origem devem ter chave primária ou restrição UNIQUE com todos os campos exclusivos. Tabelas sem essas restrições podem gerar registros de alteração duplicados.

• O rastreamento no nível de tabela aceita até 500 tabelas por tarefa. Para mais de 500 tabelas, use várias tarefas ou mude para o rastreamento no nível de banco de dados.

• Se a instância de origem for somente leitura ou temporária, garanta que ela registre logs de transação.

Durante a execução da tarefa

• Um failover entre primário e secundário na instância de origem causa falha na tarefa.

• Não dimensione a instância de origem, migre tabelas acessadas frequentemente, altere shards nem execute operações DDL enquanto a tarefa estiver em execução.

• Se outra tarefa em execução (como uma migração de dados) também usar a instância de origem, o DTS poderá capturar alterações de objetos adicionais. Filtre os dados manualmente no cliente de rastreamento de alterações.

• O DTS usa ROUND(COLUMN, PRECISION) para ler colunas FLOAT e DOUBLE. A precisão padrão é de 38 dígitos para FLOAT e 308 dígitos para DOUBLE. Verifique se esses padrões atendem aos seus requisitos.

• O DTS não captura operações DDL executadas via pt-online-schema-change. Se você fizer alterações de schema com essa ferramenta, o cliente de rastreamento de alterações poderá falhar ao gravar dados devido a conflitos de schema.

Permissões necessárias

Criar uma tarefa de rastreamento de alterações

1. Acesse a página Change Tracking Tasks.

   1. Faça login no console do Data Management (DMS).

   2. Na barra de navegação superior, clique em DTS.

   3. No painel de navegação à esquerda, escolha DTS (DTS) > Change Tracking.

   Alternativamente, no Simple Mode, passe o ponteiro sobre o ícone no canto superior esquerdo e escolha All functions > DTS > Change Tracking . Também é possível usar o novo console do DTS .

2. Na lista suspensa à direita de Change Tracking Tasks, selecione a região onde deseja criar a tarefa de rastreamento de alterações.

   No novo console do DTS, selecione a região na lista suspensa à direita de Workbench .

3. Clique em Create Task. Configure o banco de dados de origem e o tipo de rede do consumidor.

   Aviso

   Leia os Limits exibidos na parte superior da página antes de prosseguir. Ignorar esta etapa pode causar falha na tarefa ou impedir que os consumidores downstream leiam os dados rastreados.

   Seção	Parâmetro	Descrição
   Nenhuma	Task Name	Nome da tarefa. O DTS atribui um nome padrão. Especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
   Source Database	Select an existing database connection	Selecione uma conexão existente ou configure uma nova. Ao usar uma conexão existente, o DTS aplica automaticamente as configurações salvas.
   	Database Type	Selecione PolarDB-X 2.0.
   	Access Method	Fixo como Alibaba Cloud Instance.
   	Instance Region	Região onde a instância PolarDB-X de origem está localizada.
   	Instance ID	ID da instância PolarDB-X de origem.
   	Database Account	Conta da instância PolarDB-X. A conta deve ter permissões de leitura em todos os objetos a rastrear.
   	Database Password	Senha da conta do banco de dados.
   Consumer Network Type	Network Type	Fixo como VPC. Selecione a VPC e o vSwitch a usar. Se o cliente de rastreamento de alterações executar em uma VPC, selecione a mesma VPC e vSwitch do cliente para minimizar a latência. Não é possível alterar esta configuração após a criação da tarefa.

4. Clique em Test Connectivity and Proceed. O DTS adiciona automaticamente seus blocos CIDR à lista de permissões das instâncias de banco de dados da Alibaba Cloud e às regras de grupo de segurança dos bancos de dados hospedados em ECS. Para bancos de dados autogerenciados em data centers ou em plataformas de nuvem de terceiros, adicione manualmente os blocos CIDR do servidor DTS às configurações de segurança do seu banco de dados. Para obter a lista completa de blocos CIDR, consulte Adicionar os blocos CIDR dos servidores DTS.

   Aviso

   Adicionar blocos CIDR públicos a uma lista de permissões de banco de dados ou grupo de segurança expõe o banco de dados a possíveis riscos de segurança. Adote medidas preventivas, como fortalecer credenciais de conta, limitar portas expostas, auditar o acesso à API, revisar regularmente as regras da lista de permissões e usar Express Connect, VPN Gateway ou Smart Access Gateway para conectividade privada.

5. Configure os objetos e as configurações avançadas.

   Configurações básicas

   Parâmetro	Descrição
   Data Change Types	Selecione os tipos de alterações a rastrear: Data Update: rastreia operações DML — INSERT, DELETE e UPDATE. Schema Update: rastreia as operações de criação, exclusão e modificação realizadas em todos os schemas de objetos da instância de origem. Use o cliente de rastreamento de alterações para filtrar os dados a rastrear.
   Source Objects	Selecione objetos na seção Source Objects e clique no ícone de seta para movê-los para a seção Selected Objects.

   Configurações avançadas

   Parâmetro	Descrição
   Monitoring and Alerting	Configure alertas para falhas de tarefa ou latência acima de um limiar. Selecione Yes para especificar um limiar de alerta e contatos de alerta, ou No para pular a configuração de alertas.
   Retry Time for Failed Connections	Tempo durante o qual o DTS tenta reconectar após uma falha de conexão antes de marcar a tarefa como falha. Valores válidos: 10–1440 minutos. Padrão: 120 minutos. Defina este valor como pelo menos 30 minutos. Se o DTS reconectar dentro dessa janela, a tarefa será retomada automaticamente. Observação: Se uma instância servir como banco de dados de origem ou destino de múltiplas tarefas de rastreamento de alterações, o menor intervalo de tempo de tentativa configurado para a instância terá precedência. Quando o DTS tenta reconectar, você é cobrado pela instância DTS. Recomendamos especificar o intervalo de tempo de tentativa com base nos requisitos do seu negócio. Libere a instância DTS assim que possível após liberar as instâncias de origem e destino.
   Configure ETL	Ative o processamento de extração, transformação e carga (ETL). Selecione Yes para escrever uma política ETL no editor de código. Consulte O que é ETL?

6. Clique em Next: Save Task Settings and Precheck. Para visualizar os parâmetros da API desta configuração, passe o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters.

   O DTS executa uma pré-verificação antes que a tarefa possa iniciar. A tarefa só começa após a aprovação na pré-verificação. Se um item falhar, clique em View Details ao lado dele, corrija o problema e clique em Precheck Again . Se um item de alerta não for crítico, clique em Confirm Alert Details , depois em Ignore , em seguida em OK , e execute a pré-verificação novamente. Ignorar um alerta pode causar inconsistência de dados.

7. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

8. Na página Purchase, selecione um método de faturamento.

   Parâmetro	Descrição
   Billing method	Subscription: Pagamento antecipado por um período fixo. Mais econômico para uso de longo prazo. Durações disponíveis: 1–9 meses ou 1, 2, 3 ou 5 anos. Pay-as-you-go: Faturamento por hora. Ideal para implantações de curto prazo ou testes. Libere a instância quando não for mais necessária para interromper as cobranças.
   Resource Group Settings	Grupo de recursos da instância. Padrão: default resource group. Consulte O que é Resource Management?
   Subscription Duration	Disponível apenas para o método de faturamento Subscription. Defina a duração e o número de instâncias a adquirir.

9. Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

10. Clique em Buy and Start. A tarefa aparecerá na lista de tarefas e começará a rastrear as alterações.

Próximos passos

Quando a tarefa estiver em execução, crie grupos de consumidores e conecte seus clientes downstream para consumir os dados rastreados.

1. Criar grupos de consumidores

2. Conecte um cliente para consumir os dados rastreados:

   • Usar o demo do SDK para consumir dados rastreados

   • Usar flink-dts-connector para consumir dados rastreados

   • Usar um cliente Kafka para consumir dados rastreados