DataWorks:Configurações do Data Integration

Como funciona

O recurso Processing Policy for DDL Messages in Real-time Sync permite predefinir uma política padrão de sincronização de DDL (Data Definition Language) para diferentes tipos de fontes de dados de destino, como MaxCompute e Hologres. Após salvar, o sistema aplica essa política automaticamente quando você cria uma nova tarefa de sincronização em tempo real para um banco de dados inteiro.

1. Selecione um tipo de destino: No menu suspenso Synchronize To, escolha o tipo de fonte de dados de destino.

2. Defina a política de sincronização: Para cada tipo de mensagem de alteração DDL na origem, como adição de coluna ou limpeza de tabela, configure e salve o método de processamento correspondente.

   • Normal treatment: A alteração DDL é aplicada ao schema de destino.

     Importante

     Quando uma nova coluna é adicionada na origem e sincronizada com o destino, o sistema não preenche dados históricos na coluna recém-criada.

   • Ignore: O sistema descarta o evento DDL e o schema de destino permanece inalterado.

   • Error: A tarefa de sincronização em tempo real é interrompida e o sistema define seu status como Error.

3. Após salvar a política, o sistema a aplica automaticamente sempre que você criar outra tarefa de sincronização em tempo real para um banco de dados inteiro com o mesmo tipo de destino.

4. Para substituir a política em uma única tarefa, clique em Advanced Configuration > DDL Capability Configuration no canto superior direito da página de detalhes da tarefa e configure uma política específica de processamento de mensagens DDL para essa tarefa.

Recomendações

Em sincronizações em tempo real com origens MySQL e PolarDB for MySQL, adicione novas colunas ao final da tabela, nunca no meio. Caso seja indispensável inserir uma coluna no meio da tabela de origem, respeite as seguintes restrições:

• Durante a fase de inicialização completa, evite adicionar colunas no meio da tabela. Essa ação provoca anomalias de dados na fase subsequente de sincronização em tempo real.

• Na fase de sincronização em tempo real, redefina o offset de sincronização para um timestamp posterior à adição da coluna. Caso contrário, ocorrerão anomalias de dados nas sincronizações seguintes.

Se houver anomalia de dados, edite a tarefa para remover a tabela com a coluna adicionada e salve-a para restaurar os dados.

Casos de uso

• Padronização do desenvolvimento: Salve configurações comuns de tarefas como modelos para reuso pela equipe, garantindo práticas de desenvolvimento consistentes.

• Aumento da eficiência: Ao criar novas tarefas, utilize um modelo existente para acelerar o desenvolvimento e reduzir trabalho repetitivo.

• Preservação de conhecimento: Armazene implementações complexas ou de alta qualidade como modelos para facilitar o compartilhamento e a transferência de conhecimento.

Principais operações

• Visualize a lista de modelos: Esta lista exibe todos os Task Templates disponíveis no projeto atual, incluindo ID do modelo, nome e data da última atualização.

• Pesquisar modelos: Utilize a caixa de pesquisa no topo para localizar rapidamente um modelo por nome, ID ou informações relacionadas à fonte de dados.

• Gerencie modelos: Na coluna Operation da lista, exclua os modelos conforme necessário.

Casos de uso

• Padronizar monitoramento: Estabeleça padrões uniformes de alerta para diferentes tipos de tarefas (como críticas e rotineiras) ou cenários de alerta (como erros, lentidão ou não execução).

• Aumentar eficiência de configuração: Ao configurar alertas para uma tarefa, referencie diretamente uma regra pública em vez de inserir repetidamente informações como métodos de notificação e contatos.

• Centralizar gerenciamento: Administre todas as regras de alerta em uma visualização unificada, facilitando a modificação em lote de destinatários de notificações ou o ajuste de limiares de alerta.

Principais operações

• Crie nova regra: Clique em Create para criar uma Public Alert Rule. Defina o Alert Rule Name, selecione um Alert Reason (como latência de negócio, dirty data ou failover), configure o Alert Notification Method (como ligação telefônica, SMS, e-mail, DingTalk, webhook ou Lark) e defina os Configure Advanced Parameters. Para mais informações sobre configuração de alertas, consulte Best practices for configuring alerts for real-time synchronization tasks.

  Nota

  • Para anomalias relacionadas a latência de negócio, status da tarefa e utilização de recursos da tarefa, ative também a recovery notification para informar os destinatários quando o status retornar ao normal.

  • Webhook e Lark estão disponíveis apenas na Enterprise Edition.

• Task Reference: Clique em Task Reference para aplicar ou remover eficientemente a regra de alerta de múltiplas tarefas. Ative ou pause alertas para essas tarefas em lote para evitar operações repetitivas.

• Test: Envie um alerta de teste para verificar se a configuração está correta e se as notificações são entregues aos destinatários especificados.

  Nota

  Este recurso envia uma notificação de alerta real. Utilize-o com cuidado para evitar interrupções desnecessárias a outras pessoas.