Create a change tracking task for PolarDB for PostgreSQL - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission Service (DTS) para rastrear operações INSERT, UPDATE e DELETE de um cluster PolarDB for PostgreSQL em tempo real. Após a tarefa entrar em execução, os consumidores downstream podem assinar o stream de alterações via SDK, Flink ou um cliente Kafka.

Limitações

Revise estas limitações antes de começar. Configurações incorretas nesta área são a causa mais comum de falhas nas tarefas e de inconsistências nos dados.

Source Database

Limitação	Impacto	Ação
Chave primária ou restrição de unicidade	As tabelas de origem devem ter uma PRIMARY KEY ou restrição UNIQUE com todos os campos únicos. Sem isso, algumas alterações rastreadas podem ser duplicadas.	Adicione uma PRIMARY KEY ou restrição UNIQUE a cada tabela rastreada antes de criar a tarefa.
Quantidade de tabelas	Uma única tarefa de rastreamento de alterações pode rastrear até 500 tabelas. Exceder esse limite gera um erro de solicitação.	Crie tarefas separadas para grupos de tabelas distintos ou rastreie o banco de dados inteiro em vez de tabelas individuais.
Retenção de logs WAL	Os logs WAL devem ser retidos por mais de 24 horas. Um período menor pode fazer com que o DTS falhe ao ler os logs, resultando em falha na tarefa ou inconsistência nos dados.	Defina o período de retenção dos logs WAL no cluster de origem para pelo menos 24 horas antes de iniciar a tarefa.
Instâncias somente leitura ou temporárias	Se a origem for uma instância somente leitura ou temporária, o registro de transações deve estar ativado.	Ative o registro de transações na instância.

Outros limites

Limitação	Detalhes
Um banco de dados por tarefa	Uma única tarefa de rastreamento de alterações rastreia dados de apenas um banco de dados. Crie uma tarefa separada para cada banco de dados.
Tabela de heartbeat	O DTS adiciona uma tabela de heartbeat chamada `dts_postgres_heartbeat` ao banco de dados de origem para manter a medição precisa de latência.
Precisão de FLOAT e DOUBLE	O DTS recupera valores FLOAT e DOUBLE usando `ROUND(COLUMN,PRECISION)`. Quando nenhuma precisão é especificada, FLOAT assume 38 dígitos e DOUBLE assume 308 dígitos como padrão. Verifique se esses valores atendem aos seus requisitos antes de iniciar a tarefa.

Pré-requisitos

Antes de começar, certifique-se de ter:

Um cluster PolarDB for PostgreSQL. Consulte Create a cluster.
O parâmetro wal_level definido como logical no cluster. Consulte Specify cluster parameters.
A retenção de logs WAL configurada para mais de 24 horas no cluster.

Criar uma tarefa de rastreamento de alterações

Etapa 1: Acesse a página Change Tracking Tasks

Faça login no console do Data Management (DMS).
Na barra de navegação superior, clique em DTS.
No painel de navegação à esquerda, escolha DTS (DTS) > Change Tracking.

Se você usar o Simple Mode no console do DMS, posicione o ponteiro sobre o ícone no canto superior esquerdo e escolha All functions > DTS > Change Tracking . Como alternativa, acesse o console do DTS diretamente.

Etapa 2: Selecione uma região

À direita de Change Tracking Tasks, selecione a região onde deseja criar a tarefa.

No console do DTS, selecione a região na lista suspensa à direita de Workbench na página Change Tracking Tasks.

Etapa 3: Configure o banco de dados de origem e a rede do consumidor

Clique em Create Task. Na página exibida, configure os seguintes parâmetros.

Aviso

Leia as Limits exibidas no topo da página antes de continuar. Ignorar esta etapa pode causar falha na tarefa ou impedir que os dados rastreados sejam consumidos.

Source Database

Parâmetro	Descrição
Task Name	Nome para a tarefa de rastreamento de alterações. O DTS atribui um nome padrão. Use um nome descritivo para facilitar a identificação da tarefa. O nome não precisa ser único.
Select an existing database connection	Opcional. Selecione uma conexão existente para que o DTS aplique suas configurações automaticamente. Se preferir ignorar esta opção, configure os parâmetros abaixo manualmente.
Database Type	Selecione PolarDB for PostgreSQL.
Access Method	Selecione Alibaba Cloud Instance.
Instance Region	A região onde o cluster PolarDB for PostgreSQL de origem está localizado.
Replicate Data Across Alibaba Cloud Accounts	Selecione No. Apenas a opção No está disponível.
Instance ID	O ID do cluster PolarDB for PostgreSQL.
Database Name	O nome do banco de dados de origem.
Database Account	A conta privilegiada do banco de dados PolarDB for PostgreSQL.
Database Password	A senha da conta do banco de dados.

Consumer Network Type

Parâmetro	Descrição
Network Type	Fixo em VPC. Selecione um VPC e um vSwitch. Para mais detalhes, consulte VPCs.

O tipo de rede do consumidor não pode ser alterado após a criação da tarefa. Se o seu cliente de rastreamento de alterações estiver em um VPC, selecione o mesmo VPC e vSwitch para minimizar a latência de rede.

Etapa 4: Teste a conectividade

Clique em Test Connectivity and Proceed.

O DTS adiciona automaticamente seus blocos CIDR à lista de permissões de instâncias de banco de dados da Alibaba Cloud ou às regras do grupo de segurança de bancos de dados hospedados em ECS. Para bancos de dados autogerenciados em data centers ou hospedados por provedores terceiros, adicione manualmente os blocos CIDR do DTS às configurações de segurança do banco de dados. Consulte Add the CIDR blocks of DTS servers.

Aviso

Adicionar blocos CIDR do DTS a uma lista de permissões ou grupo de segurança introduz exposição de segurança. Antes de usar o DTS, avalie os riscos e aplique controles adequados, como credenciais robustas, restrição de portas expostas, autenticação de chamadas de API, revisão periódica das regras da lista de permissões e remoção de blocos CIDR não autorizados. Considere conectar o banco de dados ao DTS via Express Connect, VPN Gateway ou Smart Access Gateway em vez da internet pública.

Etapa 5: Selecione os objetos

Selecione os bancos de dados ou tabelas a serem rastreados.

Parâmetro	Descrição
Data Change Types	Fixo em Data Update, que abrange operações INSERT, DELETE e UPDATE.
Source Objects	Selecione os objetos na lista Source Objects e clique em para movê-los para Selected Objects.

Escopo do rastreamento:

Nível de banco de dados: o DTS rastreia todos os objetos do banco de dados, incluindo tabelas adicionadas após o início da tarefa.
Nível de tabela: o DTS rastreia apenas as tabelas especificadas. Para adicionar mais tabelas posteriormente, consulte Modify the objects for change tracking.

Etapa 6: Configure as definições avançadas

Clique em Next: Advanced Settings.

Parâmetro	Descrição
Monitoring and Alerting	Selecione Yes para receber notificações quando a tarefa falhar ou a latência exceder um limiar. Especifique o limiar de alerta e os contatos. Selecione No para ignorar os alertas.
Retry Time for Failed Connections	O período durante o qual o DTS tenta reconectar após uma falha de conexão antes de encerrar a tarefa. Intervalo: 10 a 1440 minutos. Padrão: 120 minutos. Defina este valor para pelo menos 30 minutos. Se o DTS reconectar dentro desse período, a tarefa é retomada automaticamente.
Configure ETL	Selecione Yes para aplicar transformações de extração, transformação e carga (ETL). Insira as instruções de processamento no editor de código. Consulte Configure ETL in a data migration or synchronization task. Selecione No para ignorar o ETL.

Quando uma instância de banco de dados for usada como origem de várias tarefas de rastreamento de alterações, o menor tempo de nova tentativa configurado entre essas tarefas se aplica a todas elas. A instância DTS é cobrada durante as tentativas de reconexão.

Etapa 7: Execute a pré-verificação

Clique em Next: Save Task Settings and Precheck.

O DTS executa uma pré-verificação antes de iniciar a tarefa. A tarefa só é iniciada após a pré-verificação ser aprovada.

Se um item da pré-verificação falhar:

Clique em View Details ao lado do item com falha, corrija o problema com base na mensagem de erro e clique em Precheck Again.
Se um item gerar um alerta que pode ser ignorado, clique em Confirm Alert Details. Na caixa de diálogo, clique em Ignore, depois em OK e, em seguida, clique em Precheck Again.

Para visualizar os parâmetros OpenAPI desta configuração de tarefa, posicione o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

Etapa 8: Aguarde a conclusão da pré-verificação

Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

Etapa 9: Escolha um método de faturamento

Na página Purchase Instance, selecione um método de faturamento.

Método de faturamento	Mais indicado para	Detalhes
Subscription	Uso de longo prazo	Pagamento antecipado por um período fixo. Mais econômico do que o pagamento conforme o uso para cargas de trabalho contínuas. Defina a duração da assinatura (1 a 9 meses ou 1 a 3 anos) e ative a renovação automática se necessário.
Pay-as-you-go	Uso de curto prazo	Cobrado por hora. Libere a instância quando não precisar mais dela para interromper as cobranças.

Etapa 10: Aceite os termos de serviço

Leia e selecione os Data Transmission Service (Pay-as-you-go) Service Terms.

Etapa 11: Inicie a tarefa

Clique em Buy and Start. A tarefa aparece na lista de tarefas, onde você pode monitorar seu progresso.

Próximas etapas

Quando a tarefa de rastreamento de alterações estiver em execução, configure os grupos de consumidores e comece a consumir os dados rastreados.

Crie grupos de consumidores. Consulte Create consumer groups.
Escolha um método de consumo: