Data Transmission Service:Criar uma tarefa de Change Tracking do RDS PostgreSQL

Pré-requisitos

• Crie uma instância RDS PostgreSQL de origem. Para mais informações, consulte Criar uma instância RDS PostgreSQL.

  Nota

  Para obter informações sobre as versões compatíveis, consulte Overview of change tracking solutions.

• Defina o parâmetro wal_level da instância RDS PostgreSQL de origem como logical. Para mais informações, consulte Set instance parameters.

• Crie uma Virtual Private Cloud (VPC) and a vSwitch para a instância de assinatura de dados.

Considerações

Procedimento

1. Use um dos métodos abaixo para acessar a página Change Tracking Tasks e selecione a região onde reside a instância de change tracking.

   Console do DTS

   1. Faça login no console do DTS.

   2. No painel de navegação à esquerda, clique em Change Tracking.

   3. No canto superior esquerdo da página, selecione a região onde reside a instância de change tracking.

   Console do DMS

   Nota

   As operações reais podem variar dependendo do modo e do layout do console do DMS. Para mais informações, consulte Simple mode console e Customize DMS console layout and style.

   1. Faça login no console do DMS.

   2. Na barra de navegação superior, passe o ponteiro do mouse sobre Data + AI > DTS (DTS) > Change Tracking.

   3. Na lista suspensa à direita de Change Tracking Tasks, selecione a região onde reside a instância de change tracking.

2. Clique em Create Task para acessar a página de configuração da tarefa.

3. Configure os parâmetros nas seções Source Database e Consumer Network Type.

   Aviso

   Após especificar a instância do banco de dados de origem, leia os Limits exibidos na parte superior da página. Caso contrário, a tarefa poderá falhar ou os dados rastreados não poderão ser consumidos.

   Categoria	Parâmetro	Descrição
   N/A	Task Name	Nome da tarefa de change tracking. O DTS atribui automaticamente um nome à tarefa. Especifique um nome descritivo que facilite a identificação da tarefa. Não é necessário usar um nome exclusivo.
   Source Database	Select Existing Connection	Se precisar usar uma instância de banco de dados já Manage database connections (criada ou salva), selecione a instância desejada na lista suspensa. As informações do banco de dados abaixo serão configuradas automaticamente. Nota No console do DMS, este parâmetro está rotulado como Select a DMS database instance. Se a instância não estiver registrada ou se preferir não usar uma instância registrada, configure manualmente as informações do banco de dados abaixo.
   	Database Type	Selecione PostgreSQL.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde a instância RDS PostgreSQL está localizada.
   	Replicate Data Across Alibaba Cloud Accounts	Para este tutorial, selecione No. Importante Se precisar acessar recursos do banco de dados de origem entre contas (selecionando Yes), configure a autorização RAM para a conta Alibaba Cloud usada na criação da tarefa DTS. Também será necessário inserir a Alibaba Cloud Account e o RAM Role Name. Para instruções, consulte Configure RAM authorization for cross-account tasks.
   	Instance ID	Selecione o ID da instância RDS PostgreSQL.
   	Database Name	Insira o nome do banco de dados cujas alterações de dados você deseja rastrear.
   	Database Account	Insira uma conta privilegiada para a instância RDS PostgreSQL. A conta deve ser proprietária do banco de dados selecionado. Para mais informações sobre como criar uma conta e conceder permissões, consulte Create an account e Create a database.
   	Database Password	Senha usada para acessar a instância do banco de dados.
   	Encryption	Define se a conexão com o banco de dados de origem será criptografada. Configure este parâmetro conforme os requisitos do seu negócio. Neste exemplo, Non-encrypted está selecionado. Para estabelecer uma conexão criptografada via SSL com o banco de dados de origem, siga estas etapas: Selecione SSL-encrypted, faça upload do CA Certificate, Client Certificate e Private Key of Client Certificate conforme necessário e especifique a Private Key Password of Client Certificate. Nota Se definir Encryption como SSL-encrypted para um banco de dados PostgreSQL autogerenciado, faça upload do CA Certificate. Para usar o certificado de cliente, faça upload do Client Certificate e da Private Key of Client Certificate e especifique a Private Key Password of Client Certificate. Para informações sobre como configurar criptografia SSL em uma instância ApsaraDB RDS for PostgreSQL, consulte SSL encryption.
   Consumer Network Type	Network Type	O valor do parâmetro Network Type é fixo em VPC. Selecione uma VPC e um vSwitch. Para mais informações, consulte VPCs. Nota Após configurar uma tarefa de change tracking, não é possível alterar as definições na seção Consumer Network Type. Se o seu cliente de change tracking estiver implantado em uma VPC, selecione a mesma VPC e o mesmo vSwitch conectados ao cliente. Ao rastrear alterações de dados por redes internas, a latência de rede é mínima.

4. Na parte inferior da página, clique em Test Connectivity and Proceed.

   Nota

   • Certifique-se de que os blocos CIDR dos servidores DTS possam ser adicionados automática ou manualmente às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores DTS. Para mais informações, consulte Whitelist DTS server IP addresses.

   • Se o banco de dados de origem for autogerenciado e seu Access Method não estiver definido como Alibaba Cloud Instance, clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

5. Configure os objetos para change tracking.

   1. Na página Configure Objects, configure os objetos para change tracking.

      Parâmetro	Descrição
      Data Change Types	Os Data Change Types vêm selecionados por padrão e não podem ser modificados. Data Update O DTS rastreia atualizações de dados dos objetos selecionados, incluindo as operações INSERT, DELETE e UPDATE. Schema Update O DTS rastreia as operações de criação, exclusão e modificação executadas em todos os esquemas de objetos da instância de origem. Use o cliente de change tracking para filtrar os dados a serem rastreados. Nota Para rastrear operações de Schema Update, crie triggers e funções no banco de dados de origem para capturar informações DDL. Para mais informações, consulte Implement incremental DDL migration for PostgreSQL by using triggers and functions.
      Source Objects	Selecione um ou mais objetos na seção Source Objects e clique no ícone para adicioná-los à seção Selected Objects. Nota É possível selecionar tabelas ou bancos de dados como objetos para change tracking. Ao selecionar um banco de dados como objeto, o DTS rastreia dados incrementais de todos os objetos, inclusive novos objetos no banco de dados. Ao selecionar uma tabela como objeto, o DTS rastreia apenas dados incrementais dessa tabela. Nesse caso, para rastrear alterações de dados de outra tabela, adicione-a à lista de objetos. Para mais informações, consulte Modify the objects for change tracking.

   2. Clique em Next: Advanced Settings para definir as configurações avançadas.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda a tarefa para um cluster compartilhado. Não é necessário configurar este parâmetro. Adquira clusters dedicados com especificações definidas para executar tarefas de change tracking do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Intervalo de tempo para novas tentativas de conexões com falha. Se a tarefa de change tracking falhar, o DTS tenta reconectar imediatamente dentro desse intervalo. Valores válidos: 10 a 1440. Unidade: minutos. Valor padrão: 720. Defina o parâmetro com um valor superior a 30. Se o DTS se reconectar à instância do banco de dados de origem dentro do intervalo especificado, ele retomará a tarefa de change tracking. Caso contrário, a tarefa falhará. Nota Quando múltiplas tarefas de change tracking estão configuradas para uma instância de banco de dados, o menor intervalo de nova tentativa tem precedência. Por exemplo, se a Tarefa A e a Tarefa B estiverem configuradas para a mesma instância, sendo a Tarefa A com intervalo de 30 minutos e a Tarefa B com 60 minutos, o intervalo de 30 minutos prevalecerá. Cobranças são aplicadas quando o DTS tenta uma nova conexão. Especifique o intervalo de nova tentativa conforme os requisitos do seu negócio ou libere a instância DTS o mais rápido possível após a liberação da instância do banco de dados de origem.
      Retry Time for Other Issues	Intervalo de tempo para novas tentativas devido a outros problemas. Por exemplo, se operações DDL ou DML falharem após o início da tarefa de change tracking, o DTS tentará executar novamente as operações imediatamente dentro deste intervalo. Valores válidos: 1 a 1440. Unidade: minutos. Valor padrão: 10. Defina o parâmetro com um valor superior a 10. Se as operações com falha forem executadas com sucesso dentro do intervalo especificado, o DTS retomará a tarefa de change tracking. Caso contrário, a tarefa falhará. Importante O valor do parâmetro Retry Time for Other Issues deve ser menor que o valor do parâmetro Retry Time for Failed Connections.
      Environment Tag	Selecione uma tag para identificar o ambiente da instância conforme os requisitos do seu negócio. Nenhuma tag está selecionada neste exemplo.
      Monitoring and Alerting	Define se o alerta para a tarefa de change tracking será ativado. Se o alerta estiver configurado e a tarefa falhar ou a latência exceder o limiar, notificações de alerta serão enviadas. Valores válidos: No: não ativa alertas. Yes: ativa alertas. Nesse caso, configure também o limiar de alerta e configurações de notificação de alerta. Para mais informações, consulte Configure alerts during instance configuration.

6. Na parte inferior da página, clique em Next: Save Task Settings and Precheck.

   • Para visualizar os parâmetros necessários ao chamar a operação de API relevante para configurar a tarefa DTS, passe o ponteiro do mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters.

   • Se não precisar visualizar os parâmetros ou já os tiver visualizado, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes de iniciar a tarefa de change tracking, o DTS executa uma pré-verificação. Só é possível iniciar a tarefa após ela ser aprovada na pré-verificação.

   • Se a tarefa não passar na pré-verificação, clique em View Details ao lado de cada item com falha. Após solucionar os problemas com base na mensagem de erro, execute a pré-verificação novamente.

   • Caso um alerta seja gerado para um item durante a pré-verificação, proceda conforme o cenário:

     • Se um item de alerta não puder ser ignorado, clique em View Details ao lado do item com falha e solucione os problemas. Em seguida, execute a pré-verificação novamente.

     • Se o item de alerta puder ser ignorado, clique em Confirm Alert Details. Na caixa de diálogo View Details, clique em Ignore. Na mensagem exibida, clique em OK. Depois, clique em Precheck Again para executar a pré-verificação novamente. Ignorar o item de alerta pode causar inconsistência de dados e expor seu negócio a riscos potenciais.

7. Adquira a instância.

   1. Aguarde até que Success Rate se torne 100%. Em seguida, clique em Next: Purchase Instance.

   2. Na página Purchase, especifique o método de faturamento da instância de change tracking. A tabela a seguir descreve os parâmetros.

      Parâmetro	Descrição
      Método de faturamento	Assinatura: O pagamento é feito no momento da criação da instância. O método de faturamento por assinatura é mais econômico que o pagamento conforme o uso para utilização de longo prazo. Descontos maiores são oferecidos para durações de assinatura mais longas. Pagamento conforme o uso: Uma instância com pagamento conforme o uso é faturada por hora. Selecione o pagamento conforme o uso para utilização de curto prazo. Se não precisar mais da instância, libere-a para reduzir custos.
      Resource Group Settings	Grupo de recursos ao qual a instância pertence. Valor padrão: default resource group. Para mais informações, consulte What is resource management?
      Subscription Duration	Se selecionar o método de faturamento por assinatura, defina a duração da assinatura e a quantidade de instâncias a serem criadas. A duração da assinatura pode ser de um a nove meses, um ano, dois anos, três anos ou cinco anos. Nota Este parâmetro está disponível apenas se você selecionar o método de faturamento por Subscription.

   3. Leia e selecione os Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start para iniciar a tarefa de change tracking. Acompanhe o progresso da tarefa na lista de tarefas.

Próximos passos

Após a tarefa entrar em execução, crie grupos de consumidores e conecte seus clientes downstream para consumir os dados rastreados.

1. Create consumer groups

2. Conecte um cliente para consumir os dados rastreados:

   • Use the SDK demo to consume tracked data

   • Use flink-dts-connector to consume tracked data

   • Use a Kafka client to consume tracked data