Data Transmission Service:crie uma tarefa de rastreamento de alterações do Oracle

Pré-requisitos

Antes de começar, certifique-se de que:

• A versão do banco de dados Oracle seja 9i, 10g ou 11g. Não há suporte para instâncias de Real Application Cluster (RAC) e pluggable database (PDB).

• O banco de dados esteja operando no modo ARCHIVELOG. Para verificar, execute:

  SELECT log_mode FROM v$database;

  Se o resultado for NOARCHIVELOG, ative o modo ARCHIVELOG antes de continuar.

• O log suplementar esteja ativado, com SUPPLEMENTAL_LOG_DATA_PK e SUPPLEMENTAL_LOG_DATA_UI definidos como Yes. Para confirmar, execute:

  SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_ui FROM v$database;

  Caso supplemental_log_data_min retorne NO, ative o log suplementar antes de prosseguir. Consulte Configurar a conta do banco de dados Oracle.

• Os arquivos de log arquivado estejam acessíveis com período de retenção superior a 24 horas. Se os logs de refazimento e os logs arquivados forem retidos por menos de 24 horas, o DTS poderá falhar ao recuperá-los, causando falha na tarefa ou perda de dados. Garanta que o período de retenção atenda a esse requisito; caso contrário, a confiabilidade e o desempenho do serviço declarados no Acordo de Nível de Serviço (SLA) do DTS poderão não ser garantidos.

• O servidor que executa o banco de dados Oracle tenha largura de banda de saída suficiente. A largura de banda insuficiente reduz a velocidade do rastreamento de alterações.

• Se a instância do ApsaraDB RDS for MySQL for do tipo de rede clássica, um endpoint interno esteja configurado para essa instância.

Limitações

• Uma única tarefa de rastreamento de alterações suporta até 500 tabelas. Para rastrear mais de 500 tabelas, configure várias tarefas em lotes ou selecione o banco de dados inteiro como objeto de rastreamento em vez de tabelas individuais.

• As tabelas de origem devem ter restrições PRIMARY KEY ou UNIQUE com todos os campos únicos. Sem essas restrições, algumas alterações rastreadas podem ser duplicadas.

• Tanto o log de refazimento quanto o log de arquivamento devem estar ativados.

Oracle RAC

• Se a origem for um banco de dados Oracle RAC conectado via Express Connect, especifique um endereço IP virtual (VIP) ao configurar a tarefa — não utilize um endereço IP Single Client Access Name (SCAN).

• Quando a origem for um banco de dados Oracle RAC hospedado no Elastic Compute Service (ECS) ou conectado via Express Connect, VPN Gateway, Smart Access Gateway, Database Gateway ou Cloud Enterprise Network (CEN), utilize um único VIP em vez de um IP SCAN. Após especificar um VIP, não há suporte para failover de nó no banco de dados Oracle RAC.

Tipos de dados

• Para colunas FLOAT e DOUBLE, o DTS utiliza ROUND(COLUMN, PRECISION) para recuperar valores. Se nenhuma precisão for especificada, o DTS usa como padrão 38 dígitos para FLOAT e 308 dígitos para DOUBLE. Verifique se esses padrões atendem aos seus requisitos antes de iniciar a tarefa.

• Confirme se a precisão das colunas dos tipos de dados FLOAT ou DOUBLE atende aos seus requisitos de negócios. O DTS usa a função ROUND(COLUMN,PRECISION) para ler valores desses tipos de coluna. Caso você não defina uma precisão, o DTS define a precisão para FLOAT como 38 dígitos e para DOUBLE como 308 dígitos.

• O DTS não rastreia operações DDL online executadas com ferramentas como gh-ost ou pt-online-schema-change. Consequentemente, o cliente pode falhar ao gravar os dados consumidos nas tabelas de destino devido a esquemas de tabela inconsistentes.

Configurar a conta do banco de dados Oracle

Crie uma conta de banco de dados e conceda as permissões necessárias. Escolha uma das opções a seguir.

shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

-- Enable minimal supplemental logging
alter database add supplemental log data;

-- Enable primary key and unique key supplemental logging
alter database add supplemental log data (primary key, unique index) columns;

-- Enable minimal supplemental logging (required for both methods below)
alter database add supplemental log data;

-- Method A: Enable primary key supplemental logging for a specific table
alter table table_name add supplemental log data (primary key) columns;

-- Method B: Enable supplemental logging for all columns of a specific table
alter table tb_name add supplemental log data (all) columns;

-- Create the account (example account name: rdsdt_dtsacct)
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on all_objects to rdsdt_dtsacct;
grant select on all_tab_cols to rdsdt_dtsacct;
grant select on dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- System tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;

Criar uma tarefa de rastreamento de alterações

1. Acesse a página Change Tracking Tasks.

   1. Faça login no console do Data Management (DMS).

   2. Na barra de navegação superior, clique em DTS.

   3. No painel de navegação à esquerda, escolha DTS (DTS) > Change Tracking.

   No Modo Simples, passe o ponteiro sobre o ícone no canto superior esquerdo e escolha All functions > DTS > Change Tracking . Como alternativa, abra diretamente o novo console do DTS .

2. À direita de Change Tracking Tasks, selecione a região da tarefa.

   No novo console do DTS, selecione a região na lista suspensa à direita de Workbench .

3. Clique em Create Task. Na página exibida, configure o banco de dados de origem e o tipo de rede do consumidor.

   Aviso

   Leia os Limits exibidos na parte superior da página antes de prosseguir. Ignorar esta etapa pode causar falha na tarefa ou impedir o consumo dos dados rastreados.

   Configurações do banco de dados de origem

   Parâmetro	Descrição
   Task Name	Nome descritivo para identificar a tarefa. Os nomes das tarefas não precisam ser exclusivos.
   Select an existing database connection	Indica se deve reutilizar uma conexão existente. Se selecionado, o DTS aplica automaticamente as configurações de parâmetros salvas.
   Database Type	Selecione Oracle.
   Access Method	Tipo de instância de origem. Selecione Self-managed Database on ECS para este exemplo. Para outros métodos de acesso, consulte Configurar a conta do banco de dados Oracle.
   Instance Region	Região onde o banco de dados Oracle está localizado.
   ECS Instance ID	ID da instância ECS que hospeda o banco de dados Oracle.
   Port Number	Porta de serviço do banco de dados Oracle. Padrão: 1521.
   Oracle Type	Non-RAC Instance: especifique um ID de sistema (SID). RAC or PDB Instance: especifique um Service Name. Não há suporte para instâncias RAC e PDB — selecione Non-RAC Instance para este exemplo.
   Database Account	Conta criada em Configurar a conta do banco de dados Oracle.
   Database Password	Senha da conta do banco de dados.

   Consumer Network Type

   Parâmetro	Descrição
   Network Type	Fixo como VPC. Selecione uma VPC e um vSwitch. Se o cliente de rastreamento de alterações estiver implantado em uma VPC, selecione a mesma VPC e vSwitch para minimizar a latência de rede. Essas configurações não podem ser alteradas após a configuração da tarefa. Para mais informações, consulte VPCs.

4. Clique em Test Connectivity and Proceed. O DTS adiciona automaticamente seus blocos CIDR de servidor às configurações de segurança do banco de dados de origem:

   • Banco de dados hospedado em ECS: os blocos CIDR são adicionados às regras do grupo de segurança da instância ECS.

   • Instância de banco de dados Alibaba Cloud (como ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB): os blocos CIDR são adicionados à lista de permissões da instância.

   • Banco de dados autogerenciado em data center ou nuvem de terceiros: adicione manualmente os blocos CIDR do servidor DTS às configurações de segurança do banco de dados. Para a lista completa de blocos CIDR, consulte Adicionar os blocos CIDR dos servidores DTS.

   Aviso

   Adicionar blocos CIDR do servidor DTS a uma lista de permissões ou grupo de segurança cria riscos potenciais de segurança. Antes de prosseguir, tome medidas preventivas, incluindo, mas não se limitando a: impor credenciais fortes, limitar portas expostas, autenticar chamadas de API, revisar regularmente as regras de lista de permissões e grupos de segurança e remover blocos CIDR não autorizados. Para uma conexão mais segura, use Express Connect, VPN Gateway ou Smart Access Gateway.

5. Configure os objetos para rastreamento de alterações e as configurações avançadas.

   Configurações básicas

   Parâmetro	Descrição
   Data Change Types	Data Update: rastreia operações INSERT, DELETE e UPDATE nos objetos selecionados. Schema Update: rastreia operações de criação, exclusão e modificação em todos os esquemas de objetos da instância de origem. Use o cliente de rastreamento de alterações para filtrar os dados a serem consumidos.
   Source Objects	Selecione objetos na seção Source Objects e clique no ícone para movê-los para a seção Selected Objects. Selecione um banco de dados para rastrear todos os seus objetos, incluindo os recém-adicionados. Selecione tabelas específicas para rastrear apenas essas tabelas — se precisar adicionar mais tabelas posteriormente, consulte Modificar os objetos para rastreamento de alterações.

   Configurações avançadas

   Parâmetro	Descrição
   Monitoring and Alerting	No: desativa alertas. Yes: ativa alertas. Especifique um limiar de alerta e contatos de alerta para receber notificações quando a tarefa falhar ou a latência exceder o limiar.
   Retry Time for Failed Connections	Janela de tempo durante a qual o DTS tenta reconectar após falhas. Valores válidos: 10–1440 minutos. Padrão: 120 minutos. Defina este valor como superior a 30 minutos. Se o DTS reconectar dentro da janela, a tarefa será retomada; caso contrário, a tarefa falhará. Se uma instância for usada por várias tarefas, a menor janela de nova tentativa terá precedência. Cobranças do DTS se aplicam durante as novas tentativas — defina este valor com base nas necessidades do seu negócio e libere a instância quando ela não for mais necessária.
   Configure ETL	Yes: ativa ETL. Insira sua política no editor de código. No: desativa ETL. Para mais informações, consulte O que é ETL?.

6. Clique em Next: Save Task Settings and Precheck. O DTS executa automaticamente uma pré-verificação antes que a tarefa possa ser iniciada.

   • Se um item de verificação falhar, clique em View Details ao lado do item, resolva o problema com base na mensagem de erro e clique em Precheck Again.

   • Se um alerta for gerado para um item que pode ser ignorado, clique em Confirm Alert Details e, em seguida, clique em Ignore na caixa de diálogo. Clique em OK para confirmar e depois clique em Precheck Again. Ignorar alertas pode resultar em inconsistência de dados.

   Para visualizar os parâmetros da OpenAPI para esta configuração, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

7. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

8. Na página Purchase, selecione um método de faturamento.

   Parâmetro	Descrição
   Billing method	Subscription: pagamento antecipado por uma duração fixa. Mais econômico para uso de longo prazo, com preços menores para durações maiores. Pay-as-you-go: faturamento horário. Adequado para uso de curto prazo — libere a instância quando não for mais necessária para interromper as cobranças.
   Resource Group Settings	Grupo de recursos da instância. Padrão: default resource group. Consulte O que é Resource Management?.
   Subscription Duration	Disponível apenas para o método de faturamento Subscription. Opções: 1–9 meses, 1 ano, 2 anos, 3 anos ou 5 anos.

9. Leia e selecione os Data Transmission Service (Pay-as-you-go) Service Terms.

10. Clique em Buy and Start. Acompanhe o progresso da tarefa na lista de tarefas.

Próximos passos

Quando a tarefa estiver em execução, crie grupos de consumidores para consumir os dados rastreados.

1. Criar grupos de consumidores

2. Escolha um método de consumo:

   • Usar a demonstração do SDK para consumir dados rastreados

   • Usar flink-dts-connector para consumir dados rastreados

   • Usar um cliente Kafka para consumir dados rastreados