DataWorks:Recursos de sincronização em lote

Recurso

Descrição

Sincronização de dados completa ou incremental

As tarefas de sincronização em lote suportam sincronização de dados completa ou incremental mediante a configuração de Data Filtering combinada com parâmetros de agendamento. Diferentes plugins possuem configurações distintas para sincronização incremental. Para obter mais informações sobre sincronização incremental de dados, consulte Configurar sincronização incremental de dados.

Mapeamento de campos

Ao definir regras de mapeamento de campos, os dados de origem são gravados nos campos de destino correspondentes com base nas relações especificadas. Garanta que os tipos de campo em ambos os lados sejam compatíveis.

• Estão disponíveis vários métodos de mapeamento de campos:

  • O Modo assistente suporta mapeamento por mesmo nome, mapeamento por mesma linha e relações de campos personalizadas. Dados em campos não mapeados são ignorados automaticamente. Certifique-se de que os campos de destino correspondentes tenham valores padrão configurados ou permitam valores nulos para evitar falhas de gravação.

  • O Modo script mapeia campos estritamente com base na ordem de configuração das colunas. O número de campos no lado do reader deve corresponder exatamente ao número no lado do writer. Caso contrário, a tarefa falhará durante a execução.

• As tarefas de sincronização também suportam atribuição dinâmica de valores para campos de destino, incluindo constantes, parâmetros de agendamento e variáveis integradas como ${bizdate}. Os parâmetros relevantes recebem seus valores finais durante a fase de agendamento.

Limite de taxa da tarefa

• O recurso de controle de concorrência de tarefas limita o número máximo de threads simultâneas para leitura e gravação em bancos de dados.

• O recurso de velocidade de sincronização controla o tráfego para evitar pressão excessiva na origem ou no destino causada por altas velocidades de sincronização. Se o limitador não estiver ativado, será fornecido o desempenho máximo de transferência disponível no ambiente de hardware atual.

Execução distribuída de tarefas

Fontes de dados que suportam execução distribuída podem usar fragmentação de tarefas para distribuir a sincronização entre vários nós para execução simultânea. Isso permite que a velocidade de sincronização escale linearmente com o tamanho do cluster, superando gargalos de desempenho de nó único. Este modo é especialmente adequado para cenários de sincronização de alto throughput e baixa latência, utilizando eficientemente recursos ociosos do cluster para melhorar significativamente a utilização do hardware.

Política de dados sujos

Dados sujos referem-se a registros de dados que falham ao serem gravados no destino devido a exceções como conflitos de tipo ou violações de restrições. A sincronização em lote suporta políticas de dados sujos que definem a quantidade aceitável de registros de dados sujos e seu impacto nas tarefas.

• Ignorar dados sujos: Dados sujos são filtrados automaticamente. Apenas dados válidos são gravados e a tarefa continua em execução.

• Tolerar quantidade limitada de dados sujos: Defina um limiar N. Se o número de registros de dados sujos for ≤ N, os dados anômalos são descartados e a tarefa continua. Se o número exceder N, a tarefa falha e encerra.

• Sem tolerância para dados sujos: A tarefa falha e encerra imediatamente ao encontrar dados sujos.

Fuso horário

Caso seja necessária sincronização entre fusos horários diferentes na origem e no destino, configure o fuso horário de origem para realizar a conversão.

Processamento inteligente de dados

O DataWorks suporta a integração de recursos de processamento de dados durante a sincronização para transformar e processar dados de origem antes de gravá-los no destino:

Substituição de strings: O recurso integrado de substituição de strings nas tarefas de sincronização em lote permite realizar transformações leves de dados diretamente durante a transferência, sem necessidade de armazenar dados intermediariamente ou etapas adicionais de ETL.

Processamento assistido por IA: Suporta a integração de modelos de linguagem grande de IA durante a sincronização de dados para realizar análise semântica, análise de sentimento e outros processamentos em dados de linguagem natural da origem, gravando os resultados processados diretamente na tabela de destino.

Vetorização de dados: Suporta a extração e vetorização (embedding) de dados de origem antes de gravá-los em um banco de dados vetorial.