Create a change tracking task for PolarDB for PostgreSQL - Data Transmission Service: Central de Documentação do Alibaba Cloud

Use o Data Transmission Service (DTS) para rastrear operações INSERT, UPDATE e DELETE em um cluster do PolarDB for PostgreSQL em tempo real. Com a tarefa em execução, os consumidores downstream podem assinar o fluxo de alterações por meio do SDK, Flink ou um cliente Kafka.

Limitações

Analise estas limitações antes de iniciar. Configurações incorretas nesta etapa são a causa mais comum de falhas na tarefa e inconsistência de dados.

Source Database

Limitação	Impacto	Ação
Chave primária ou restrição UNIQUE	As tabelas de origem devem ter uma PRIMARY KEY ou restrição UNIQUE com todos os campos únicos. Sem isso, algumas alterações rastreadas podem ser duplicadas.	Adicione uma PRIMARY KEY ou restrição UNIQUE a cada tabela rastreada antes de criar a tarefa.
Quantidade de tabelas	Uma única tarefa de rastreamento de alterações suporta até 500 tabelas. Exceder esse limite gera um erro de solicitação.	Crie tarefas separadas para diferentes grupos de tabelas ou rastreie todo o banco de dados em vez de tabelas individuais.
Retenção de logs WAL	Os logs WAL devem ser retidos por mais de 24 horas. Um período menor pode impedir que o DTS leia os logs, resultando em falha da tarefa ou inconsistência de dados.	Defina o período de retenção de logs WAL no cluster de origem como pelo menos 24 horas antes de iniciar a tarefa.
Instâncias somente leitura ou temporárias	Se a origem for uma instância somente leitura ou temporária, o registro de transações deve estar ativado.	Ative o registro de transações na instância.

Outros limites

Limitação	Detalhes
Um banco de dados por tarefa	Cada tarefa de rastreamento de alterações monitora dados de apenas um banco de dados. Crie uma tarefa distinta para cada banco.
Tabela de heartbeat	O DTS adiciona uma tabela de heartbeat chamada `dts_postgres_heartbeat` ao banco de dados de origem para manter a medição precisa da latência.
Precisão FLOAT e DOUBLE	O DTS recupera valores FLOAT e DOUBLE usando `ROUND(COLUMN,PRECISION)`. Se nenhuma precisão for especificada, FLOAT assume 38 dígitos e DOUBLE assume 308 dígitos. Verifique se esses padrões atendem aos seus requisitos antes de iniciar a tarefa.

Pré-requisitos

Antes de começar, verifique se você tem:

Um cluster do PolarDB for PostgreSQL. Consulte Criar um cluster.
O parâmetro wal_level definido como logical no cluster. Consulte Especificar parâmetros do cluster.
Retenção de logs WAL configurada para mais de 24 horas no cluster.

Criar uma tarefa de rastreamento de alterações

Etapa 1: Acessar a página Change Tracking Tasks

Faça login no console do Data Management (DMS).
Na barra de navegação superior, clique em DTS.
No painel de navegação à esquerda, escolha DTS (DTS) > Change Tracking.

Se você usa o Simple Mode no console do DMS, passe o ponteiro sobre o ícone no canto superior esquerdo e selecione All functions > DTS > Change Tracking . Como alternativa, abra diretamente o console do DTS .

Etapa 2: Selecionar uma região

À direita de Change Tracking Tasks, selecione a região onde deseja criar a tarefa.

No console do DTS, selecione a região na lista suspensa à direita de Workbench na página Change Tracking Tasks.

Etapa 3: Configurar o banco de dados de origem e a rede do consumidor

Clique em Create Task. Na página exibida, configure os seguintes parâmetros.

Aviso

Leia os Limits exibidos no topo da página antes de prosseguir. Ignorar esta etapa pode causar falha na tarefa ou impedir o consumo dos dados rastreados.

Source Database

Parâmetro	Descrição
Task Name	Nome da tarefa de rastreamento de alterações. O DTS atribui um nome padrão. Use um nome descritivo para facilitar a identificação da tarefa. O nome não precisa ser único.
Select an existing database connection	Opcional. Selecione uma conexão existente para que o DTS aplique suas configurações automaticamente. Caso pule esta etapa, configure os parâmetros abaixo manualmente.
Database Type	Selecione PolarDB for PostgreSQL.
Access Method	Escolha Alibaba Cloud Instance.
Instance Region	Região onde reside o cluster do PolarDB for PostgreSQL de origem.
Replicate Data Across Alibaba Cloud Accounts	Selecione No. Apenas a opção No está disponível.
Instance ID	ID do cluster do PolarDB for PostgreSQL.
Database Name	Nome do banco de dados de origem.
Database Account	Conta privilegiada do banco de dados PolarDB for PostgreSQL.
Database Password	Senha da conta do banco de dados.

Consumer Network Type

Parâmetro	Descrição
Network Type	Fixo em VPC. Selecione uma VPC e um vSwitch. Para mais detalhes, consulte VPCs.

Não é possível alterar o tipo de rede do consumidor após a criação da tarefa. Se o seu cliente de rastreamento de alterações executa em uma VPC, selecione a mesma VPC e vSwitch para minimizar a latência de rede.

Etapa 4: Testar a conectividade

Clique em Test Connectivity and Proceed.

O DTS adiciona automaticamente seus blocos CIDR à lista de permissões das instâncias de banco de dados da Alibaba Cloud ou às regras de grupo de segurança de bancos de dados hospedados em ECS. Para bancos de dados autogerenciados em data centers ou hospedados por provedores terceiros, adicione manualmente os blocos CIDR do DTS às configurações de segurança do seu banco de dados. Consulte Adicionar os blocos CIDR dos servidores DTS.

Aviso

Adicionar blocos CIDR do DTS a uma lista de permissões ou grupo de segurança aumenta a exposição a riscos de segurança. Antes de usar o DTS, reconheça os riscos e aplique controles apropriados, como credenciais fortes, restrição de portas expostas, autenticação de chamadas de API, revisão regular das regras da lista de permissões e remoção de blocos CIDR não autorizados. Considere conectar o banco de dados ao DTS via Express Connect, VPN Gateway ou Smart Access Gateway em vez da internet pública.

Etapa 5: Selecionar objetos

Selecione os bancos de dados ou tabelas a serem rastreados.

Parâmetro	Descrição
Data Change Types	Fixo em Data Update, que abrange operações INSERT, DELETE e UPDATE.
Source Objects	Selecione objetos na lista Source Objects e clique no ícone para movê-los para Selected Objects.

Escopo de rastreamento:

Nível de banco de dados: O DTS rastreia todos os objetos no banco de dados, incluindo tabelas adicionadas após o início da tarefa.
Nível de tabela: O DTS rastreia apenas as tabelas especificadas. Para adicionar mais tabelas posteriormente, consulte Modificar os objetos para rastreamento de alterações.

Etapa 6: Configurar definições avançadas

Clique em Next: Advanced Settings.

Parâmetro	Descrição
Monitoring and Alerting	Selecione Yes para receber notificações quando a tarefa falhar ou a latência exceder um limiar. Especifique o limiar de alerta e os contatos. Escolha No para ignorar alertas.
Retry Time for Failed Connections	Duração durante a qual o DTS tenta reconectar após uma falha de conexão antes de encerrar a tarefa. Intervalo: 10–1440 minutos. Padrão: 120 minutos. Defina este valor como pelo menos 30 minutos. Se o DTS reconectar dentro desta janela, a tarefa será retomada automaticamente.
Configure ETL	Selecione Yes para aplicar transformações de extração, transformação e carga (ETL). Insira as instruções de processamento no editor de código. Consulte Configurar ETL em uma tarefa de migração ou sincronização de dados. Escolha No para pular o ETL.

Se uma única instância de banco de dados servir como origem para múltiplas tarefas de rastreamento de alterações, o menor tempo de nova tentativa configurado entre essas tarefas se aplicará a todas elas. A instância do DTS é faturada durante as novas tentativas.

Etapa 7: Executar a pré-verificação

Clique em Next: Save Task Settings and Precheck.

O DTS executa uma pré-verificação antes de iniciar a tarefa. A tarefa só começa após a aprovação na pré-verificação.

Se um item da pré-verificação falhar:

Clique em View Details ao lado do item com falha, corrija o problema com base na mensagem de erro e clique em Precheck Again.
Caso um item gere um alerta que possa ser ignorado, clique em Confirm Alert Details. Na caixa de diálogo, clique em Ignore, depois em OK e, em seguida, em Precheck Again.

Para visualizar os parâmetros da OpenAPI para esta configuração de tarefa, passe o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

Etapa 8: Aguardar a conclusão da pré-verificação

Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

Etapa 9: Escolher um método de faturamento

Na página Purchase Instance, selecione um método de faturamento.

Método de faturamento	Mais indicado para	Detalhes
Subscription	Uso de longo prazo	Pagamento antecipado por um período fixo. Mais econômico que o pagamento conforme o uso para cargas de trabalho contínuas. Defina a duração da assinatura (1–9 meses ou 1–3 anos) e ative a renovação automática, se necessário.
Pay-as-you-go	Uso de curto prazo	Faturamento horário. Libere a instância quando não precisar mais dela para interromper as cobranças.

Etapa 10: Aceitar os termos de serviço

Leia e selecione os Data Transmission Service (Pay-as-you-go) Service Terms.

Etapa 11: Iniciar a tarefa

Clique em Buy and Start. A tarefa aparecerá na lista de tarefas, onde você poderá monitorar seu progresso.

Próximos passos

Quando a tarefa de rastreamento de alterações estiver em execução, configure grupos de consumidores e comece a consumir os dados rastreados.

Crie grupos de consumidores. Consulte Criar grupos de consumidores.
Escolha um método de consumo: