O Data Integration oferece quatro recursos de configuração centralizada: Authentication File Management, políticas de processamento de mensagens DDL, Task Templates e Public Alert Rules. Com eles, você define as configurações uma única vez e as reutiliza em diversas tarefas e workspaces, o que reduz o trabalho repetitivo de setup e facilita a padronização dos fluxos de trabalho da equipe.
Acesse a página de configuração
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região desejada. No painel de navegação à esquerda, escolha Data Integration > Data Integration. Selecione o workspace alvo na lista suspensa e clique em Go to Data Integration.
No painel de navegação, em Configuration Options, clique em o módulo que deseja configurar: Authentication File Management, Processing Policy for DDL Messages in Real-time Sync, Task Template ou Public Alert Rule.
Gerenciamento de arquivos de autenticação
O recurso Authentication File Management oferece uma interface unificada para gerenciar os arquivos de configuração do Kerberos enviados durante a configuração de uma source de dados. Envie o arquivo apenas uma vez e reutilize-o em várias sources de dados, sem precisar fazer novo upload.
Para mais informações, consulte Gerenciamento de arquivos de autenticação de terceiros.
Políticas de processamento de mensagens DDL para sincronização em tempo real
Como funciona
Durante a sincronização em tempo real, alterações de schema — eventos de Data Definition Language (DDL), como adicionar uma coluna ou limpar uma tabela — na source precisam ser tratadas no destino. Cada evento DDL exige uma decisão: aplicar a alteração, ignorá-la ou interromper a tarefa. Sem uma política predefinida, é necessário configurar o tratamento de DDL individualmente para cada nova tarefa.
A opção Processing Policy for DDL Messages in Real-time Sync permite definir uma política padrão de DDL por tipo de destino. Ao criar uma nova tarefa de sincronização em tempo real para um banco de dados inteiro, a política salva é carregada automaticamente.
Defina uma política de processamento de DDL
Na lista suspensa Synchronize To, selecione o tipo de source de dados de destino, como MaxCompute ou Hologres.
-
Para cada tipo de mensagem de alteração DDL, escolha um método de processamento:
Política
O que acontece
Normal treatment
A alteração DDL é aplicada ao schema de destino. Dados históricos não são retroalimentados nas novas colunas criadas dessa forma.
Ignore
O evento DDL é descartado e o schema de destino permanece inalterado.
Error
A tarefa de sincronização em tempo real é interrompida imediatamente e seu status passa para Error.
Salve a política. Ela será aplicada automaticamente quando você criar novas tarefas de sincronização em tempo real para um banco de dados inteiro com esse tipo de destino.
Para substituir a política em uma tarefa específica, clique em Advanced Configuration > DDL Capability Configuration no canto superior direito da página de detalhes da tarefa.
Observações de uso
As restrições a seguir se aplicam à sincronização em tempo real a partir de sources MySQL e PolarDB for MySQL.
Adicione novas colunas ao final da tabela, nunca no meio. Caso seja indispensável inserir uma coluna no meio de uma tabela de origem, respeite estas condições:
Durante a inicialização completa: Não adicione colunas no meio da tabela, pois isso causa anomalias de dados na fase subsequente de sincronização em tempo real.
Durante a sincronização em tempo real: Redefina o offset de sincronização para um momento posterior ao evento DDL que adicionou a coluna. Caso contrário, ocorrerão anomalias de dados nas sincronizações seguintes.
Se houver anomalia de dados, edite a tarefa para remover a tabela afetada e reaplique a atualização para recuperar os dados corretos.
Modelos de tarefa
Alguns canais não suportam Task Templates. Nesse caso, utilize o recurso Clone.
Os Task Templates permitem salvar uma tarefa configurada como um modelo reutilizável. Ao criar uma nova tarefa, importe um modelo para evitar configurações repetitivas.
O que é possível fazer
Padronizar o desenvolvimento: Salve configurações comuns de tarefas como modelos compartilhados para reutilização pela equipe.
Acelerar o desenvolvimento: Modifique um modelo existente para concluir rapidamente uma nova tarefa.
Preservar conhecimento: Guarde implementações de tarefas complexas ou de alta qualidade para que a equipe possa usá-las como base.
Gerencie os modelos
Na página Task Template, você pode:
Visualize modelos: Consulte todos os modelos disponíveis no projeto atual, incluindo IDs, nomes e horários da última atualização.
Localizar um modelo: Utilize a caixa de pesquisa para filtrar por nome da tarefa, ID do modelo ou informações da source de dados.
Exclua um modelo: Clique em a ação de exclusão na coluna Operation.
Regras de alerta públicas
O recurso Public Alert Rule permite definir uma regra de alerta reutilizável uma única vez e aplicá-la em várias tarefas. Quando os contatos mudarem ou os limiares precisarem de ajuste, atualize a regra apenas uma vez e todas as tarefas referenciadas serão atualizadas automaticamente.
Crie uma regra de alerta
Clique em Create.
Insira um Alert Rule Name e selecione um Alert Reason, como latência de negócio, dados incorretos ou failover.
Configure o Alert Notification Method: chamada telefônica, mensagem de texto, e-mail, DingTalk, webhook ou Lark.
(Opcional) Defina Configure Advanced Parameters para acessar opções adicionais.
Notificações de recuperação são suportadas para anomalias de latência de negócio, status da tarefa e utilização de recursos da tarefa. Ative as notificações de recuperação nas configurações da regra de alerta.
Webhook e Lark estão disponíveis apenas no DataWorks Enterprise Edition.
Para orientações de configuração, consulte Melhores práticas para configurar alertas em tarefas de sincronização em tempo real.
Aplique e gerencie regras de alerta
Aplicar a várias tarefas: Clique em Task Reference para adicionar a regra a múltiplas tarefas ou removê-las. É possível ativar ou pausar alertas em diversas tarefas com uma única ação.
Testar uma regra de alerta: Clique em Test para enviar uma notificação de alerta real e verifique a entrega aos destinatários especificados.
A ação Test envia uma notificação de alerta real. Utilize-a com cuidado para evitar interrupções inesperadas para sua equipe.