DataWorks:Configuração de tarefa de sincronização em tempo real de tabela única

1. Configurar a origem

1. Na aba Configuration, selecione o tópico do Kafka a ser sincronizado.

   Use os valores padrão para outras configurações ou modifique-os conforme necessário. Para mais informações, consulte a documentação oficial do Kafka.

2. No canto superior direito, clique em Data Sampling.

   Na caixa de diálogo exibida, defina o Start time e os Sampled Data Records e clique em Start Collection. Essa ação amostra dados do tópico Kafka especificado. Visualize os dados amostrados, que servem como entrada para as configurações de visualização e preview dos nós subsequentes de processamento de dados.

3. Na aba Configure Output Field, selecione os campos a serem sincronizados.

   Por padrão, o Kafka fornece seis campos.

   Nome do campo	Descrição
   __key__	A chave do registro do Kafka.
   __value__	O valor do registro do Kafka.
   __partition__	O número da partição onde o registro do Kafka está localizado. O número da partição é um inteiro que começa em 0.
   __headers__	Os cabeçalhos do registro do Kafka.
   __offset__	O offset do registro do Kafka em sua partição. O offset é um inteiro que começa em 0.
   __timestamp__	O timestamp UNIX de 13 dígitos em milissegundos para o registro do Kafka.

   Também é possível transformar campos adicionalmente nos nós subsequentes de processamento de dados.

2. Processamento de dados

Ative a opção Data Processing. Cinco métodos de processamento de dados estão disponíveis: data masking, string replace, data filtering, JSON parsing e edit and assign fields. Organize esses métodos em qualquer ordem. Durante a execução, eles são processados sequencialmente.

Após configurar um nó de processamento de dados, clique em Preview Data Output no canto superior direito:

1. A tabela abaixo dos dados de entrada mostra os resultados da etapa anterior de Data Sampling. Clique em Re-obtain Output of Ancestor Node para atualizar os resultados.

2. Se não houver saída upstream, use Manually Construct Data para simular a saída anterior.

3. Clique em Preview para visualizar a saída processada pelo componente de processamento de dados.

A tabela Input Data exibe campos de mensagens do Kafka como key, value, partition, offset e timestamp. A seção Preview Result mostra os campos analisados após o processamento de dados, como pares chave-valor resultantes da análise de JSON. Ela também indica o número de registros de dados sujos e inclui um aviso: "O preview mostrado aqui é apenas para referência. Os resultados da execução real da tarefa são os que valem."

3. Configurar o destino

1. Na seção Destination, selecione um grupo de recursos Tunnel. A seleção padrão é "Public Transport Resources", que corresponde à cota gratuita do MaxCompute.

2. Especifique se deseja gravar em uma nova tabela ou usar uma tabela existente.

   1. Ao criar uma nova tabela, selecione Create na lista suspensa. Por padrão, o sistema cria automaticamente uma tabela com a mesma estrutura da origem. Altere manualmente o nome e o schema da tabela de destino, se necessário.

   2. Caso opte por usar uma tabela existente, selecione a tabela de destino na lista suspensa.

3. (Opcional) Edite o schema da tabela.

   Clique no ícone de edição ao lado do nome da tabela para modificar seu schema. Clique em Re-generate Table Schema Based on Output Column of Ancestor Node para gerar automaticamente o schema com base nas colunas de saída do nó upstream. Em seguida, selecione uma coluna no schema gerado automaticamente para ser a chave primária.

A tarefa de sincronização oferece parâmetros avançados para configuração detalhada. Valores padrão são fornecidos e, na maioria dos casos, não precisam ser alterados. Para modificá-los:

1. No canto superior direito da página, clique em Advanced Settings para acessar a página de configuração de Advanced Parameters.

   Nota

   No Data Development, a configuração avançada encontra-se em uma aba no lado direito da página de configuração da tarefa.

2. Defina parâmetros separadamente para as extremidades de leitura e gravação da tarefa de sincronização. Defina Automatically set runtime configuration como false para personalizar a Runtime Configuration.

3. Modifique os valores dos parâmetros com base nas dicas de ferramenta. A descrição de cada parâmetro é exibida ao lado de seu nome. Para sugestões de configuração de alguns parâmetros, consulte Parâmetros avançados para sincronização em tempo real.

1. Adicionar um alerta

Selecione Use custom rules e insira um Alert Name e uma Description. Os métodos de notificação suportados incluem Email, SMS, Phone, DingTalk, webhook e Feishu. Configure esses métodos independentemente para os níveis WARNING e CRITICAL. Especifique os destinatários por meio de um on-call schedule ou adicione-os manualmente.

(1) Clique em Create Rule para configurar uma regra de alerta.

Defina o Alert Reason para monitorar métricas como Business delay, failover, Task status, DDL Notification e Task Resource Utilization. Em seguida, defina níveis de alerta CRITICAL ou WARNING com base em limiares especificados.

• Após definir o método de alerta, use Configure Advanced Parameters para controlar o intervalo de envio de notificações de alerta e evitar sobrecarga de mensagens.

• Se selecionar Business delay, Task status ou Task Resource Utilization como causa do alerta, ative também as notificações de recuperação para informar aos destinatários quando a tarefa retornar ao estado normal.

(2) Gerenciar regras de alerta.

Para regras de alerta existentes, use a opção alternar para ativá-las ou desativá-las. Também é possível enviar alertas para diferentes pessoas com base no nível do alerta.

2. Visualizar alertas

Na lista de tarefas, expanda More > Configure Alert Rule para acessar a página de eventos de alerta e visualizar alertas históricos.