DataWorks:Integração de dados

Contexto

Além dos nós de sincronização no DataStudio, o Data Integration oferece diversas soluções, como sincronização em tempo real para dados completos e incrementais e sincronização em lote para bancos de dados inteiros. Para saber mais sobre o Data Integration e suas soluções, consulte Fontes de dados e soluções de sincronização compatíveis.

Limitações

Você deve ter a função Development para criar tarefas de sincronização no DataStudio. Para saber como conceder permissões, consulte Adicionar membros ao workspace e gerencie funções.

Tarefas de sincronização em lote

• Casos de uso

  A sincronização em lote atende a dois cenários principais: sincronizar uma única tabela de origem para uma única tabela de destino e sincronizar dados de bancos de dados e tabelas com shards para uma única tabela de destino. Use os parâmetros de agendamento do DataWorks para gravar periodicamente dados incrementais e completos em partições específicas da tabela de destino. Além disso, o recurso de backfill de dados no Operation Center permite usar uma única configuração de tarefa para sincronizar dados históricos em lote para uma tabela ou partição específica no banco de dados de destino ou data warehouse.

• Fontes de dados compatíveis

  O Data Integration é compatível com mais de 40 tipos de fontes de dados, incluindo bancos de dados relacionais, armazenamento não estruturado, armazenamento de big data e filas de mensagens. Transfira dados entre quaisquer fontes estruturadas e semiestruturadas definindo as origens e os destinos e usando os plug-ins Reader e Writer do Data Integration.

• Recursos

  Descrição	Referências
  O Data Integration usa plug-ins Reader e Writer para sincronização em lote. Crie uma fonte de dados no DataWorks e use o nome dela para especifique a origem e o destino da transferência de dados.	Fontes de dados e plug-ins Reader/Writer compatíveis Visão geral da sincronização em lote
  Após criar uma fonte de dados no DataWorks, configure as tarefas de sincronização de dados pela interface visual sem código.	Configure uma tarefa de sincronização em lote usando a interface visual sem código
  Use o editor de código para configure a tarefa de sincronização nos seguintes cenários: Não é possível criar a fonte de dados diretamente no DataWorks. A fonte de dados não oferece suporte à configuração de tarefas pela interface visual sem código. É necessário configurar certos parâmetros de plug-in no editor de código.	Configure uma tarefa de sincronização em lote usando o editor de código

Tarefas de sincronização em tempo real

A sincronização em tempo real permite combinar várias fontes de dados em pipelines em formato de estrela. Configure diversas combinações de entradas e saídas para criar links flexíveis de sincronização de dados. Esse recurso viabiliza a sincronização de uma única tabela de origem para uma tabela de destino ou de um banco de dados de origem inteiro para um destino. Para obter detalhes, consulte Fontes de dados compatíveis com sincronização em tempo real e Visão geral da sincronização em tempo real.

Configuração de agendamento de tarefas

Dependências de nó

• Tarefa de sincronização em lote

  • Nós ancestrais de uma tarefa de sincronização em lote: As tarefas de sincronização podem usar a linhagem de dados da plataforma. Dependendo da complexidade da lógica de negócios do seu workspace, defina a dependência da tarefa como o nó raiz do workspace ou um nó de carga zero. Essa definição determina se o nó raiz ou o nó de carga zero agendará o nó atual.

  • Nós descendentes de uma tarefa de sincronização em lote: Para garantir que uma tarefa SQL downstream analise automaticamente e estabeleça uma dependência desta tarefa de sincronização ao processar dados de tabelas, adicione a tabela de saída da sincronização como output do nó. Use o formato projectname.tablename.

• Nós descendentes de uma tarefa de sincronização em tempo real

  O DataWorks oferece suporte apenas à definição de dependências em tabelas produzidas por nós agendados periodicamente. Portanto, não é possível usar a linhagem de dados para definir uma dependência quando uma tarefa downstream precisa processar dados de uma tarefa de sincronização em tempo real. Como alternativa, defina o ancestral da tarefa como o

  nó raiz

  do workspace ou um

  nó de carga zero

  . Assim, o nó raiz ou o nó de carga zero poderá agendar a tarefa, conforme seus requisitos de negócios.

  Nota

  Para garantir que sua tarefa de sincronização em tempo real seja executada conforme o esperado,

  configure uma regra de monitoramento

  .

Parâmetros de agendamento de nó