DataWorks:Batch synchronization features

Recurso

Descrição

Sincronização completa ou incremental

Tarefas de sincronização em lote suportam transferência completa ou incremental mediante a configuração de Data Filtering combinada com parâmetros de agendamento. Cada plugin possui configurações específicas para sincronização incremental. Para mais detalhes sobre sincronização incremental, consulte Configure incremental data synchronization.

Mapeamento de campos

Ao definir regras de mapeamento, os dados de origem são gravados nos campos de destino correspondentes conforme as relações especificadas. Garanta a compatibilidade dos tipos de campo em ambos os lados.

• Diversos métodos de mapeamento estão disponíveis:

  • O modo assistente suporta mapeamento por nome, por linha e relações personalizadas. Campos não mapeados são ignorados automaticamente. Assegure que os campos de destino correspondentes tenham valores padrão configurados ou aceitem valores nulos para evitar falhas de gravação.

  • O modo script realiza mapeamento estrito baseado na ordem da configuração de colunas. A quantidade de campos no leitor deve corresponder exatamente à do gravador; caso contrário, a tarefa falhará durante a execução.

• As tarefas também permitem atribuição dinâmica de valores aos campos de destino, incluindo constantes, parâmetros de agendamento e variáveis nativas como ${bizdate}. Os parâmetros recebem seus valores finais durante a fase de agendamento.

Limitação de taxa da tarefa

• O recurso de controle de concorrência da tarefa limita o número máximo de threads simultâneas para leitura e gravação nos bancos de dados.

• O recurso de velocidade de sincronização controla o tráfego para evitar pressão excessiva na origem ou no destino causada por altas velocidades de transferência. Se o throttling não estiver ativado, o sistema usará o desempenho máximo de transferência disponível no ambiente de hardware atual.

Execução distribuída de tarefas

Fontes de dados compatíveis com execução distribuída podem usar fragmentação de tarefas para distribuir a sincronização entre vários nós para execução concorrente. Isso permite que a velocidade de sincronização escale linearmente com o tamanho do cluster, superando gargalos de desempenho de nó único. Este modo é especialmente adequado para cenários de alto throughput e baixa latência, aproveitando recursos ociosos do cluster para melhorar significativamente a utilização do hardware.

Política de dados sujos

Dados sujos referem-se a registros que falham ao serem gravados no destino devido a exceções como conflitos de tipo ou violações de restrições. A sincronização em lote suporta políticas que definem a quantidade aceitável de registros inválidos e seu impacto nas tarefas.

• Ignorar dados sujos: Registros inválidos são filtrados automaticamente. Apenas dados válidos são gravados e a tarefa continua em execução.

• Tolerância limitada: Defina um limiar N. Se a quantidade de dados sujos for ≤ N, os registros anômalos são descartados e a tarefa prossegue. Se exceder N, a tarefa falha e encerra.

• Sem tolerância: A tarefa falha e encerra imediatamente ao encontrar qualquer dado sujo.

Fuso horário

Caso seja necessária sincronização entre fusos horários diferentes na origem e no destino, configure o fuso horário de origem para realizar a conversão adequada.

Processamento inteligente de dados

O DataWorks permite integrar capacidades de processamento durante a sincronização para transformar e tratar os dados de origem antes da gravação no destino:

Substituição de strings: O recurso nativo de substituição de strings nas tarefas de sincronização em lote permite realizar transformações leves diretamente durante a transferência, sem necessidade de armazenar dados intermediários ou etapas adicionais de ETL.

Processamento assistido por IA: Suporta a integração de modelos de linguagem de IA durante a sincronização para executar análise semântica, análise de sentimento e outros processamentos em dados de linguagem natural da origem, gravando os resultados processados diretamente na tabela de destino.

Vetorização de dados: Permite extrair e vetorizar (embedding) os dados de origem antes de gravá-los em um banco de dados vetorial.