DataWorks:Configurações do Data Integration

Como funciona

O recurso Processing Policy for DDL Messages in Real-time Sync permite predefinir uma política padrão de sincronização de DDL (Data Definition Language) para diferentes tipos de sources de dados de destino, como MaxCompute e Hologres. Após o salvamento, o sistema aplica automaticamente essa política quando você cria uma nova tarefa de sincronização em tempo real para um banco de dados inteiro.

1. Selecione um tipo de destino: Na lista suspensa Synchronize To, selecione um tipo de source de dados de destino.

2. Defina a política de sincronização: Para diferentes tipos de mensagens de alteração de DDL de source, como adicionar uma coluna ou limpar uma tabela, configure e salve o método de processamento correspondente.

   • Normal treatment: A alteração de DDL é aplicada ao schema de destino.

     Importante

     Ao adicionar uma nova coluna na source e sincronizá-la com o destino, o sistema não preenche os dados históricos na coluna recém-criada.

   • Ignore: O sistema descarta o evento DDL e o schema de destino permanece inalterado.

   • Error: A tarefa de sincronização em tempo real é interrompida e o sistema define seu status como Error.

3. Após o salvamento da política, o sistema a aplica automaticamente quando você cria outra tarefa de sincronização em tempo real para um banco de dados inteiro com o mesmo tipo de destino.

4. Para substituir a política de uma única tarefa, clique em Advanced Configuration > DDL Capability Configuration no canto superior direito da página de detalhes da tarefa e configure uma política de processamento de mensagens DDL específica para a tarefa.

Recomendações

Para sincronização em tempo real a partir de sources MySQL e PolarDB for MySQL, adicione novas colunas no final da tabela, e não no meio. Se precisar adicionar uma coluna no meio de uma tabela de source, siga estas restrições:

• Durante a fase de inicialização completa, não adicione colunas no meio de uma tabela. Essa ação causa anomalias de dados na fase subsequente de sincronização em tempo real.

• Durante a fase de sincronização em tempo real, redefina o offset de sincronização para um timestamp posterior à adição da coluna. Caso contrário, ocorrerão anomalias de dados na sincronização subsequente.

Se ocorrer uma anomalia de dados, edite a tarefa para remover a tabela com a coluna adicionada e, em seguida, salve a tarefa para restaurar os dados.

Casos de uso

• Padronize o desenvolvimento: Salve configurações comuns de tarefas como modelos para que os membros da equipe as reutilizem, garantindo práticas de desenvolvimento consistentes.

• Melhore a eficiência do desenvolvimento: Ao criar novas tarefas, use um modelo existente como ponto de partida para acelerar o desenvolvimento e reduzir o trabalho repetitivo.

• Preserve o conhecimento: Salve implementações de tarefas complexas ou de alta qualidade como modelos para facilitar o compartilhamento e a transferência de conhecimento.

Principais operações

• Por favor, visualize a lista de modelos: Essa lista exibe todos os modelos de tarefa disponíveis no projeto atual, incluindo o ID do modelo, o nome e a hora em que o atualize.

• Pesquise modelos: Use a caixa de pesquisa na parte superior para encontrar rapidamente um modelo pelo nome, ID ou informações da source de dados relacionada.

• Gerencie modelos: Na coluna Operation da lista, exclua os modelos.

Casos de uso

• Padronize o monitoramento: Defina padrões de alerta uniformes para diferentes tipos de tarefas (como tarefas críticas e de rotina) ou cenários de alerta (como erros, lentidão ou não execução).

• Melhore a eficiência da configuração: Ao configurar alertas para uma tarefa, referencie diretamente uma regra pública em vez de inserir repetidamente informações como métodos de notificação e contatos.

• Centralize o gerenciamento: Gerencie todas as regras de alerta em uma visualização unificada, o que facilita que você modifique os destinatários das notificações ou o ajuste em lote dos limiares de alerta.

Principais operações

• Crie uma nova regra: Clique em Create para criar uma Public Alert Rule. Defina o Alert Name, selecione um Alert Reason (como latência de negócios, dados inconsistentes ou failover), configure o Alert Notification Method (como ligação telefônica, SMS, e-mail, DingTalk, webhook ou Lark) e configure os Configure Advanced Parameters. Para obter mais informações sobre a configuração de alertas, consulte Best practices for configuring alerts for real-time synchronization tasks.

  Nota

  • Para anomalias relacionadas à latência de negócios, status da tarefa e utilização de recursos da tarefa, ative a recovery notification para informar os destinatários quando o status voltar ao normal.

  • Webhook e Lark estão disponíveis apenas na Enterprise Edition.

• Task Reference: Clique em Task Reference para aplicar ou remover a regra de alerta de várias tarefas de forma eficiente. Ative ou pause alertas para essas tarefas em lote para evitar operações repetitivas.

• Test: Envie um alerta de teste e verifique se a configuração do alerta está correta e se as notificações são entregues aos destinatários especificados.

  Nota

  Esse recurso envia uma notificação de alerta real. Use-o com cuidado para evitar interrupções desnecessárias para outras pessoas.