O rastreamento de alterações monitora dados incrementais do banco de dados de origem em tempo real. Esse recurso viabiliza casos de uso como atualizações leves de cache, desacoplamento assíncrono de negócios e pipelines ETL (extração, transformação e carga) em tempo real.
Este tópico explica como criar uma tarefa de rastreamento de alterações para uma instância ApsaraDB RDS for MySQL.
Pré-requisitos
Antes de começar, verifique se você tem:
Uma instância ApsaraDB RDS for MySQL. Para verificar as versões de banco de dados compatíveis, consulte Visão geral dos cenários de rastreamento de alterações.
Uma VPC e um vSwitch para executar a instância de rastreamento de alterações.
Uma conta de banco de dados na instância de origem com as permissões necessárias (consulte Requisitos da conta de banco de dados abaixo).
Configurações de binary log definidas corretamente (consulte Requisitos de binary log abaixo).
Requisitos da conta de banco de dados
A conta de banco de dados usada para conectar o DTS à instância de origem precisa ter um dos seguintes conjuntos de permissões:
Permissões somente leitura na instância, ou
Uma conta personalizada com os quatro privilégios a seguir: REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW e SELECT.
Substitua <dts_user> pelo nome real da sua conta de banco de dados.
Requisitos de binary log
As configurações de binlog listadas abaixo devem estar aplicadas antes de iniciar a tarefa de rastreamento de alterações. A ausência de qualquer uma delas causa falha na pré-verificação.
|
Parâmetro |
Valor obrigatório |
Como verificar |
|
Binary logging |
Ativado (ativado por padrão no ApsaraDB RDS for MySQL) |
O binary logging é ativado por padrão. |
|
|
|
Execute |
|
Retenção de binary log — ApsaraDB RDS for MySQL |
Pelo menos 3 dias (recomendado: 7 dias) |
Consulte Gerenciar arquivos de binary log |
|
Retenção de binary log — MySQL autogerenciado |
Pelo menos 7 dias |
Defina |
Se o período de retenção do binary log for muito curto, o DTS pode não conseguir recuperar os logs, resultando em falha na tarefa. Em casos excepcionais, isso pode causar perda de dados. O Acordo de Nível de Serviço (SLA) do DTS não garante a confiabilidade ou o desempenho do serviço se os requisitos de período de retenção não forem atendidos.
Limitações
Analise as limitações a seguir antes de criar sua tarefa.
Banco de dados de origem
|
Limitação |
Detalhes |
|
Chave primária ou restrição única |
As tabelas de origem devem ter uma restrição |
|
Máximo de tabelas rastreadas |
Até 500 tabelas por tarefa de rastreamento de alterações. Se você executar uma tarefa para rastrear mais de 500 tabelas, ocorrerá um erro de solicitação. Nesse caso, configure várias tarefas em lotes ou rastreie todo o banco de dados. |
|
Precisão FLOAT e DOUBLE |
O DTS usa |
|
DDL via pt-online-schema-change |
O DTS não rastreia operações DDL executadas pelo pt-online-schema-change. Isso pode causar conflitos de esquema quando o cliente de rastreamento de alterações grava os dados consumidos no destino. |
|
Limite de tamanho de linha |
Linhas maiores que 16 MB não podem ser consumidas. Tentar fazer isso causa um erro de memória insuficiente (OOM) no cliente de rastreamento de alterações. |
|
Instâncias somente leitura ou temporárias |
A instância deve registrar logs de transações. Para verificar: faça login no console RDS (consulte Visualizar uma instância RDS somente leitura) ou execute |
Recuperação de tarefas
Se uma tarefa do DTS falhar, o suporte do DTS tentará restaurá-la em até 8 horas. Durante a recuperação, a tarefa pode ser reiniciada e seus parâmetros podem ser modificados. Os parâmetros do banco de dados não são alterados.
Criar uma tarefa de rastreamento de alterações
Etapa 1: Acessar a página Change Tracking Tasks
Use o console DTS ou o console DMS.
Console DTS
Faça login no console DTS.
No painel de navegação à esquerda, clique em Change Tracking.
No canto superior esquerdo, selecione a região onde a instância de rastreamento de alterações será criada.
Console DMS
O caminho exato de navegação pode variar dependendo do modo e do layout do seu console DMS. Para obter detalhes, consulte Modo simples e Personalizar o layout e o estilo do console DMS.
Faça login no console DMS.
Na barra de navegação superior, passe o ponteiro sobre Data + AI > DTS (DTS) > Change Tracking.
À direita de Change Tracking Tasks, selecione a região onde a instância de rastreamento de alterações será criada.
Etapa 2: Configurar o banco de dados de origem e a rede do consumidor
Clique em Create Task.
Na página de configuração da tarefa, revise os Limits exibidos na parte superior antes de preencher qualquer parâmetro.
-
Configure os seguintes parâmetros:
General
Parâmetro
Descrição
Task Name
O DTS atribui um nome automaticamente. Opcionalmente, insira um nome descritivo para facilitar a identificação da tarefa. Não é necessário usar um nome exclusivo.
Source Database
Parâmetro
Descrição
Select Existing Connection
Selecione uma conexão de banco de dados existente para preencher automaticamente os parâmetros abaixo ou configure a conexão manualmente. Para registrar uma nova conexão: no console DTS, use a página Database Connections; no console DMS, clique em Add DMS Database Instance. Consulte Gerenciar conexões de banco de dados.
Database Type
Selecione MySQL.
Access Method
Selecione Alibaba Cloud Instance.
Instance Region
A região onde reside a instância ApsaraDB RDS for MySQL de origem.
Replicate Data Across Alibaba Cloud Accounts
Selecione No para acesso na mesma conta. Para acesso entre contas, selecione Yesconfigurações de notificação de alerta e especifique a Alibaba Cloud Account e o RAM Role Name. O acesso entre contas também requer autorização do Resource Access Management (RAM) — consulte Configurar autorização RAM para tarefas DTS entre contas.
RDS Instance ID
O ID da instância ApsaraDB RDS for MySQL.
Database Account
A conta de banco de dados com as permissões necessárias (consulte Requisitos da conta de banco de dados).
Database Password
A senha da conta de banco de dados.
Encryption
Selecione Non-encrypted ou SSL-encrypted. Se escolher SSL-encrypted, ative primeiro a criptografia SSL na instância RDS — consulte Configurar criptografia SSL.
Consumer Network Type
Parâmetro
Descrição
Network Type
Fixo como VPC. Selecione a VPC e o vSwitch para a instância de rastreamento de alterações. Se o cliente de rastreamento de alterações estiver implantado em uma VPC, selecione a mesma VPC e o mesmo vSwitch para minimizar a latência de rede. Essa configuração não pode ser alterada após a configuração da tarefa. Consulte VPCs.
Clique em Test Connectivity and Proceed.
Certifique-se de que os blocos CIDR dos servidores DTS foram adicionados às configurações de segurança do banco de dados de origem. Consulte Adicionar os blocos CIDR dos servidores DTS . Se o banco de dados de origem for autogerenciado, clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .
Etapa 3: Selecionar objetos para rastreamento de alterações
Na página Configure Objects, configure o seguinte:
|
Parâmetro |
Descrição |
|
Data Change Types |
Fixo e não pode ser modificado. Data Update rastreia operações INSERT, DELETE e UPDATE nos objetos selecionados. Schema Update rastreia operações de criação, exclusão e modificação em todos os esquemas de objetos da instância de origem — use o cliente de rastreamento de alterações para filtrar os dados rastreados. |
|
Source Objects |
Selecione um ou mais objetos e clique em |
para adicioná-los aos Selected Objects. Selecione bancos de dados para rastrear todos os objetos, incluindo novas tabelas adicionadas posteriormente. Selecione tabelas para rastrear apenas essas tabelas — para adicionar mais tabelas depois, consulte Etapa 4: Configurar definições avançadas
Clique em Next: Advanced Settings e configure os seguintes parâmetros:
|
Parâmetro |
Descrição |
|
Dedicated Cluster for Task Scheduling |
Por padrão, a tarefa é executada em um cluster compartilhado. Para executar em um cluster dedicado, adquira um primeiro — consulte O que é um cluster dedicado DTS. |
|
Retry Time for Failed Connections |
Tempo durante o qual o DTS tenta reconectar após uma falha de conexão. Valores válidos: 10–1440 minutos. Padrão: 720 minutos. Defina este valor como pelo menos 30 minutos. Se o DTS reconectar dentro dessa janela, a tarefa será retomada; caso contrário, ela falhará. Observação: quando várias tarefas compartilham a mesma instância de banco de dados, o menor tempo de nova tentativa tem precedência. O DTS continua cobrando durante as novas tentativas — defina uma janela apropriada com base nos seus requisitos. |
|
Retry Time for Other Issues |
Tempo durante o qual o DTS tenta novamente após falhas em operações DDL ou DML. Valores válidos: 1–1440 minutos. Padrão: 10 minutos. Defina este valor como pelo menos 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections. |
|
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks |
Controla se o DTS grava operações SQL da tabela de heartbeat no banco de dados de origem. Yes: não grava operações — a latência do rastreamento de alterações pode aparecer no monitoramento. No: grava operações — pode afetar o backup físico e a clonagem do banco de dados de origem. |
|
Environment Tag |
Uma tag opcional para identificar o ambiente da instância DTS. |
|
Monitoring and Alerting |
Selecione Yes para receber notificações de alerta quando a tarefa falhar ou a latência exceder o limiar. Quando ativado, configure o limiar de alerta e as configurações de notificação. Consulte Configurar monitoramento e alertas ao criar uma tarefa DTS. |
Etapa 5: Salvar configurações e executar a pré-verificação
Clique em Next: Save Task Settings and Precheck.
Para visualizar os parâmetros da API desta configuração de tarefa, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters.
A tarefa deve passar na pré-verificação antes de poder ser iniciada.
Se algum item falhar, clique em View Details ao lado do item com falha, resolva o problema com base na mensagem de erro e execute a pré-verificação novamente.
-
Se um item gerar um alerta:
Se o alerta não puder ser ignorado, clique em View Details, resolva o problema e execute a pré-verificação novamente.
Se o alerta puder ser ignorado, clique em Confirm Alert Details. Na caixa de diálogo, clique em Ignore > OK e, em seguida, clique em Precheck Again.
Ignorar itens de alerta pode resultar em inconsistência de dados. Avalie cada alerta cuidadosamente antes de ignorá-lo.
Etapa 6: Adquirir a instância de rastreamento de alterações
Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.
-
Na página Purchase, selecione um método de faturamento:
Método de faturamento
Descrição
Subscription
Pagamento antecipado por uma duração fixa. Mais econômico para uso de longo prazo. Durações disponíveis: 1–9 meses, 1 ano, 2 anos, 3 anos ou 5 anos. Apenas Full-price Configuration Fee (No Data Traffic Fee) está disponível como tipo de faturamento.
Pay-as-you-go
Faturado por hora. Ideal para uso de curto prazo ou imprevisível. Libere a instância quando não for mais necessária para evitar cobranças desnecessárias.
Opcionalmente, atribua a instância a um grupo de recursos. O padrão é default resource group. Consulte O que é Resource Management?
Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. A tarefa aparecerá na lista de tarefas — monitore o progresso dela nesse local.
Próximos passos
Depois que a tarefa de rastreamento de alterações começar a ser executada, crie grupos de consumidores para que seus clientes downstream possam consumir os dados rastreados.