Create a change tracking task for a dedicated cluster - Data Transmission Service: Central de Documentação do Alibaba Cloud

O recurso de rastreamento de alterações do Data Transmission Service (DTS) captura dados incrementais em tempo real dos seus bancos de dados para casos de uso como atualizações de cache, desacoplamento assíncrono de serviços, sincronização heterogênea de dados e operações complexas de extração, transformação e carga (ETL). O procedimento a seguir usa uma instância ApsaraDB RDS for MySQL em um cluster dedicado como exemplo.

Pré-requisitos

Crie um cluster dedicado DTS. Para mais informações, consulte Create a DTS dedicated cluster.
Crie uma instância ApsaraDB RDS for MySQL de origem. Para mais informações, consulte (Deprecated, redirects to "Step 1") Quickly create an ApsaraDB RDS for MySQL instance.

Limitações

Tipo	Descrição
Limitações do banco de dados de origem	As tabelas assinadas devem ter uma chave primária ou uma restrição única, e os campos na restrição devem ser exclusivos. Caso contrário, você poderá receber dados duplicados. Se você assinar dados no nível da tabela, uma única tarefa de assinatura suporta até 500 tabelas. Se esse limite for excedido, a tarefa falhará com um erro após o envio. Nesse caso, recomendamos dividir as tabelas em várias tarefas de assinatura ou configure uma tarefa de assinatura para todo o banco de dados. Requisitos de binary log: O registro binário é ativado por padrão para instâncias RDS for MySQL. Você deve visualize the instance parameters para garantir que o parâmetro binlog_row_image esteja definido como full. Caso contrário, a pré-verificação falhará e a tarefa de assinatura de dados não poderá ser iniciada. Os binary logs locais de uma instância RDS for MySQL devem ser retidos por pelo menos 3 dias (recomenda-se 7 dias). Os binary logs locais de um banco de dados MySQL autogerenciado devem ser retidos por pelo menos 7 dias. Caso contrário, o Data Transmission Service (DTS) pode falhar ao obter os binary logs, causando falha na tarefa. Em casos extremos, isso pode gerar inconsistência ou perda de dados. Problemas causados por um período insuficiente de retenção de binary log não são cobertos pelo Acordo de Nível de service (SLA) do DTS. Nota Para uma instância RDS for MySQL, o retention period of local logs corresponde ao período de retenção dos seus binary logs. Para um banco de dados MySQL autogerenciado, o parâmetro binlog_expire_log_days no arquivo de configuração (geralmente `my.cnf` ou `my.ini`) especifique o período de retenção dos binary logs. Se a instância de origem for somente leitura ou temporária, garanta que ela registre logs de transação. Nota No console RDS, verifique se uma instância RDS for MySQL é uma read-only instance ou uma temporary instance. Em um banco de dados MySQL autogerenciado, execute o comando `SHOW VARIABLES LIKE 'read_only';`. Se o resultado for ON, o banco de dados é uma instância somente leitura.
Outras limitações	Verifique se a precisão da assinatura para colunas FLOAT ou DOUBLE atende aos requisitos do seu negócio. O DTS lê valores dessas colunas usando a função `ROUND(COLUMN,PRECISION)`. Se você não defina explicitamente uma precisão, o DTS definirá a precisão para colunas FLOAT como 38 dígitos e para colunas DOUBLE como 308 dígitos. O DTS não assina alterações DDL feitas por ferramentas como pt-online-schema-change. Como resultado, o cliente consumidor pode falhar ao gravar dados na tabela de destino devido a inconsistências de esquema. O DTS não suporta o consumo de linhas de dados únicas maiores que 16 MB. Isso pode causar um erro de Out of Memory (OOM) no cliente consumidor. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la dentro de oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Os ajustes de parâmetros modifique apenas os parâmetros da instância DTS, não os parâmetros do banco de dados.

Procedimento

Acesse a página Dedicated Cluster.
À direita de Workbench, selecione a região onde deseja crie o cluster dedicado.
Localize o cluster dedicado desejado e, na coluna Actions, escolha Configure Task > Configure Change Tracking Task.

Configure o Source Database e o Consumer Network Type.

Aviso

Após especifique a instância do banco de dados de origem, recomendamos ler os Limits exibidos na parte superior da página. Caso contrário, a tarefa pode falhar ou os dados rastreados não poderão ser consumidos.

Seção	Parâmetro	Descrição
Task Name	N/A	Nome da tarefa de rastreamento de alterações. O DTS atribui automaticamente um nome à tarefa. Recomendamos especifique um nome descritivo que facilite a identificação. Não é necessário usar um nome exclusivo.
Source Database	Select Existing Connection	Você pode optar por usar uma instância existente, conforme necessário. Se você usar uma instância existente, as informações do banco de dados abaixo serão preenchidas automaticamente. Não é necessário insira-las novamente. Se você não usar uma instância existente, deverá insira as informações do banco de dados abaixo.
	Database Type	Selecione MySQL.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Região da instância ApsaraDB RDS for MySQL de origem. Este valor é defina durante a criação do cluster dedicado e não pode ser alterado.
	Replicate Data Across Alibaba Cloud Accounts	Para este exemplo, selecione No.
	RDS Instance ID	Selecione o ID da instância ApsaraDB RDS for MySQL de origem.
	Database Account	Insira a conta do banco de dados da instância ApsaraDB RDS for MySQL. Você pode usar uma conta somente leitura ou uma conta personalizada com as permissões REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW e SELECT.
	Database Password	Senha usada para acesse a instância do banco de dados.
	Encryption	Define se a conexão com a instância do banco de dados deve ser criptografada. Selecione Non-encrypted ou SSL-encrypted conforme seus requisitos. Se selecionar SSL-encrypted, ative a criptografia SSL para a instância ApsaraDB RDS for MySQL antes de configure a tarefa de rastreamento de alterações. Para mais informações, consulte Configure the SSL encryption feature.
Consumer Network Type	Network Type	Somente Virtual Private Cloud (VPC) é suportada para o tipo de rede do consumidor. Selecione a VPC e o vSwitch necessários. Nota O tipo de rede não pode ser alterado após a configuração. Use o mesmo tipo de rede para consumir os dados rastreados.

Na parte inferior da página, clique em Test Connectivity and Proceed.

Se a instância do banco de dados de origem for uma instância Alibaba Cloud, como ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB, o DTS adiciona automaticamente os blocos CIDR dos servidores DTS na região correspondente à lista de permissões da instância. Se a instância de origem for um banco de dados autogerenciado hospedado em uma instância ECS, o DTS adiciona automaticamente os blocos CIDR dos servidores DTS na região correspondente às regras do grupo de segurança da instância ECS. Para permitir que o DTS acesse o banco de dados, adicione manualmente os blocos CIDR dos servidores DTS na região correspondente às configurações de segurança do banco de dados. Se a instância de origem for um banco de dados autogerenciado implantado em um data center ou fornecido por um provedor de service cloud terceirizado, adicione manualmente os blocos CIDR dos servidores DTS na região correspondente às configurações de segurança do banco de dados para permitir o acesso do DTS. Para mais informações, consulte a seção de blocos CIDR de servidores DTS no tópico Whitelist DTS server IP addresses.

Aviso
Adicionar os blocos CIDR públicos dos servidores DTS automática ou manualmente à lista de permissões de uma instância de banco de dados ou às regras de grupo de segurança de uma instância ECS pode gerar riscos de segurança. Portanto, antes de usar o DTS para rastrear alterações de dados, compreenda e reconheça os riscos potenciais e tome medidas preventivas, incluindo, mas não se limitando a: aprimorar a segurança do seu nome de usuário e senha, limitar as portas expostas, autenticar chamadas de API, verificar regularmente a lista de permissões ou regras de grupo de segurança e proibir blocos CIDR não autorizados, ou conectar a instância do banco de dados ao DTS usando Express Connect, VPN Gateway ou Smart Access Gateway.

Configure os objetos da tarefa.

Na página Configure Objects, especifique os objetos a serem rastreados.

Parâmetro	Descrição
Data Change Types	Os Data Change Types são selecionados por padrão e não podem ser modificados. Data Update O DTS rastreia atualizações de dados dos objetos selecionados, incluindo as operações INSERT, DELETE e UPDATE. Schema Update O DTS rastreia as operações de criação, exclusão e modificação realizadas em todos os esquemas de objetos da instância de origem. Use o cliente de rastreamento de alterações para filtrar os dados a serem rastreados.
Source Objects	Selecione um ou mais objetos na seção Source Objects e clique em no ícone para adicionar os objetos à seção Selected Objects. Nota É possível selecionar tabelas ou bancos de dados como objetos para rastreamento de alterações. Ao selecionar um banco de dados como objeto, o DTS rastreia dados incrementais de todos os objetos, incluindo novos objetos no banco de dados. Ao selecionar uma tabela como objeto, o DTS rastreia apenas dados incrementais dessa tabela. Nesse caso, para rastrear alterações de dados de outra tabela, adicione-a à lista de objetos. Para mais informações, consulte Modify the objects for change tracking.

Clique em Next: Advanced Settings para configure parâmetros avançados.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	O cluster dedicado atual é selecionado por padrão e não pode ser alterado.
Retry Time for Failed Connections	Intervalo de tempo para nova tentativa de conexões com falha. Se a tarefa de rastreamento de alterações falhar, o DTS tentará reconectar imediatamente dentro desse intervalo. Valores válidos: 10 a 1440. Unidade: minutos. Valor padrão: 720. Recomendamos defina o parâmetro com um valor maior que 30. Se o DTS reconectar à instância do banco de dados de origem dentro do intervalo especificado, ele retomará a tarefa de rastreamento de alterações. Caso contrário, a tarefa falhará. Nota Se houver várias tarefas de rastreamento de alterações configuradas para uma instância de banco de dados, o menor intervalo de tempo para nova tentativa terá precedência. Por exemplo, se a Tarefa A e a Tarefa B estiverem configuradas para a mesma instância, sendo a Tarefa A com intervalo de 30 minutos e a Tarefa B com 60 minutos, o intervalo de 30 minutos prevalecerá. Quando o DTS tenta uma nova conexão, taxas são cobradas. Recomendamos especifique o intervalo de nova tentativa com base nos requisitos do seu negócio ou liberar a instância DTS assim que possível após a liberação da instância do banco de dados de origem.
Retry Time for Other Issues	Intervalo de tempo para nova tentativa devido a outros problemas. Por exemplo, se operações DDL ou DML falharem após o início da tarefa de rastreamento de alterações, o DTS tentará execute as operações novamente imediatamente dentro do intervalo de nova tentativa. Valores válidos: 1 a 1440. Unidade: minutos. Valor padrão: 10. Recomendamos defina o parâmetro com um valor maior que 10. Se as operações com falha forem executadas com êxito dentro do intervalo especificado, o DTS retomará a tarefa de rastreamento de alterações. Caso contrário, a tarefa falhará. Importante O valor do parâmetro Retry Time for Other Issues deve ser menor que o valor do parâmetro Retry Time for Failed Connections.
Environment Tag	Opcional. Selecione uma tag de ambiente para identificar a instância.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância DTS está em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância DTS reporte um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
Monitoring and Alerting	Define se o alerta deve ser ativado para a tarefa de rastreamento de alterações. Se o alerta estiver configurado e a tarefa falhar ou a latência exceder o limiar, notificações de alerta serão enviadas. Valores válidos: No: não ativa alertas. Yes: ativa alertas. Nesse caso, configure também o limiar de alerta e configurações de notificação de alerta. Para mais informações, consulte Configure alerts during instance configuration.

Clique em Next: Save Task Settings and Precheck na parte inferior da página.
Passe o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters para visualize as configurações de parâmetros da operação de API chamada para configure a instância.
Nota
- Antes de iniciar a tarefa de rastreamento de alterações, o DTS realiza uma pré-verificação. Só é possível iniciar a tarefa após ela passar na pré-verificação.
- Se a tarefa não passar na pré-verificação, clique em View Details ao lado de cada item com falha. Após solucionar os problemas com base na mensagem de erro, execute a pré-verificação novamente.
- Se um alerta for gerado para um item durante a pré-verificação, realize as seguintes operações conforme o cenário:
  
  Se um item de alerta não puder ser ignorado, clique em View Details ao lado do item com falha e solucione os problemas. Em seguida, execute a pré-verificação novamente.
  
  Se o item de alerta puder ser ignorado, clique em Confirm Alert Details. Na caixa de diálogo View Details, clique em Ignore. Na mensagem exibida, clique em OK. Em seguida, clique em Precheck Again para execute a pré-verificação novamente. Ignorar o item de alerta pode causar inconsistência de dados e expor seu negócio a riscos potenciais.
Quando a Success Rate da pré-verificação atingir 100%, clique em Next: Select DTS Instance Type.
Na seção New Instance Class, configure a Instance Class para a tarefa. Configure no mínimo 1 DU e no máximo o restante de DUs disponíveis.
Após concluir a configuração, leia e marque a caixa de seleção Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Start Task. A tarefa de rastreamento de alterações será iniciada.

Filtre pela tarefa desejada na Cluster Task List para visualize seu progresso.

Próximas etapas

Assim que a tarefa de assinatura estiver em execução, crie um consumer group e escolha um método de consumo de dados para o seu cliente.