Data Transmission Service:Configurar uma tarefa ETL no modo DAG

Informações básicas

• Antes de configurar uma tarefa ETL, revise as informações abaixo:

  • Input/Dimension Table refere-se ao banco de dados source da tarefa ETL.

  • Output indica o banco de dados de destino onde os dados processados são gravados após o processamento ETL.

• O DTS disponibiliza um recurso ETL em streaming para o processo de sincronização de dados. Adicione diversos componentes de transformação entre o banco de dados source e o banco de dados de destino para executar operações avançadas de transformação e gravar os dados processados no banco de dados de destino em tempo real. Por exemplo, una duas tabelas de stream para formar uma tabela maior e grave-a no banco de dados de destino, ou adicione um campo à tabela source, configure uma função para atribuir um valor a esse campo e grave o campo transformado no banco de dados de destino.

Pré-requisitos

• A criação de tarefas ETL é suportada apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Guangzhou) e China (Hong Kong).

• Os tipos de banco de dados source suportados incluem MySQL, PolarDB for MySQL, Oracle, PostgreSQL, DB2 for iSeries (AS/400), DB2 for LUW, PolarDB-X (Formerly DRDS) (PolarDB-X 1.0), PolarDB PostgreSQL, MariaDB, PolarDB for Oracle, SQL Server e PolarDB-X 2.0.

• Os tipos de banco de dados de destino suportados incluem MySQL, PolarDB for MySQL, Oracle, AnalyticDB for MySQL V3.0, PolarDB PostgreSQL, PostgreSQL, DB2 for LUW, DB2 for iSeries (AS/400), AnalyticDB for PostgreSQL, SQL Server, MariaDB, PolarDB-X (Formerly DRDS) (PolarDB-X 1.0), PolarDB for Oracle e Tablestore.

• O recurso ETL não suporta migração de schema. Crie previamente os schemas de tabela correspondentes no banco de dados de destino com base nas condições de transformação. Por exemplo, se a tabela A contém Campo 1, Campo 2 e Campo 3, e a tabela B contém Campo 2, Campo 3 e Campo 4, ao unir as duas tabelas para gerar apenas Campo 2 e Campo 3, crie a tabela C no banco de dados de destino contendo esses dois campos.

• Não há suporte para sincronização completa de dados no recurso ETL. Apenas transformações em tempo real sobre dados incrementais são permitidas.

Observações de uso

• Todos os bancos de dados source e de destino devem estar na mesma região.

• Toda Stream Table deve ter origem na mesma instância.

• Os nomes do banco de dados e da tabela precisam ser únicos.

• Os componentes de transformação possuem as seguintes limitações:

  • Table Join: Suporta apenas operações de junção entre duas tabelas.

  • Field Calculator e Table Record Filter: Aceitam somente estruturas de tabela única.

Fluxo de configuração

Procedimento

1. Acesse a página da lista de tarefas ETL.

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em ETL.

2. No canto superior esquerdo, clique em . Na caixa de diálogo Create Data Flow, insira um nome para a tarefa ETL no campo Data Flow Name e defina Development Method como DAG.

3. Clique em Confirm.

4. Configure a tarefa ETL seguindo as instruções na tela.

   1. Crie a tarefa ETL.

      Nota

      • Este exemplo demonstra o uso de um nó Input/Dimension Table (MySQL), um nó Field Calculator e um nó Output (MySQL).

      • Selecione um ou mais bancos de dados source. Bancos source do mesmo tipo podem ser adicionados múltiplas vezes.

      • Selecione um ou mais componentes de transformação. O mesmo componente pode ser utilizado repetidamente.

      • Selecione apenas um banco de dados de destino.

      1. No painel de componentes à esquerda, arraste um nó Input/Dimension Table (MySQL) para uma área em branco do canvas à direita.

      2. Clique em Input/Dimension Table MySQL-1 no canvas e configure, nesta ordem, as informações do nó, dos campos e o atributo de tempo. Para detalhes sobre essas configurações, consulte Configure a source database.

      3. Arraste um nó Field Calculator do painel de componentes à esquerda para uma área vazia do canvas à direita.

      4. Passe o mouse sobre o nó source Input/Dimension Table MySQL-1, clique no ponto e arraste uma linha de conexão para ligar o nó source Input/Dimension Table MySQL-1 ao Field Calculator-1.

      5. Clique em Field Calculator-1 no canvas e configure as informações do nó e dos campos sequencialmente. Consulte Configure transformation components para orientações detalhadas.

      6. Arraste um nó Output MySQL-1 do painel de componentes à esquerda para uma área em branco no canvas à direita.

      7. Passe o cursor sobre Field Calculator-1, clique no ponto e arraste uma linha para conectar Field Calculator-1 ao nó de destino Output MySQL-1.

      8. Na página Output MySQL-1, configure as informações do nó e o mapeamento de campos. Veja Configure destination database para mais instruções.

      9. Após concluir a configuração, clique em Generate Flink SQL Validation ou Publish conforme necessário.

         • Generate Flink SQL Validation: Se a mensagem Flink SQL validation succeeds. aparecer no topo da página, o Flink SQL foi gerado com sucesso. Em caso de falha na validação, clique em View ETL Validation Details ao lado de Generate Flink SQL Validation, corrija os problemas indicados nos detalhes e execute a validação do Flink SQL novamente.

         • Publish: O sistema executa primeiro a validação do Flink SQL. A pré-verificação só inicia após a aprovação dessa validação. Clique em View ETL Validation Details para consultar os detalhes da validação ETL.

   2. Concluída a validação do Flink SQL, execute a Precheck. O DTS só iniciará a tarefa ETL se a pré-verificação for aprovada. Se houver falhas, clique em View Details ao lado do item reprovado, resolva os problemas conforme os detalhes fornecidos e execute a pré-verificação novamente.

   3. Após a conclusão da pré-verificação, clique em Next: Purchase Instance na parte inferior da página.

   4. Na página Purchase, selecione a Instance Class e as Compute Units, e marque as caixas de seleção Data Transmission Service (Pay-as-you-go) Service Terms e Public Preview Agreement.

   5. Clique em Buy and Start. A tarefa ETL será iniciada.

      Retorne à página da lista de tarefas ETL para visualizar o Task Status da tarefa ETL.