DataWorks:Sincronização em tempo real do LogHub (SLS) para o MaxCompute

1. Em Source Information, selecione a fonte de dados LogHub adicionada. Em Destination, selecione a fonte de dados MaxCompute adicionada.

2. Na seção Running Resources, selecione um Resource Group para a tarefa de sincronização e aloque Resource Group CUs para a tarefa. Para controlar precisamente o uso de recursos e evitar desperdícios, defina CUs separadamente para sincronização completa e incremental. Se a tarefa de sincronização falhar devido a um erro de falta de memória (OOM), aumente a alocação de CU para o grupo de recursos.

   Nota

   Uma CU é uma unidade de faturamento para um grupo de recursos, onde uma CU equivale aproximadamente a 1 vCPU e 4 GB de memória. Recomendamos estimar o throughput necessário para a configuração inicial e ajustar o valor com base nos dados de monitoramento.

3. Certifique-se de que tanto a fonte de dados de origem quanto a de destino passem na Connectivity Check.

1. Configurar a fonte de dados

Na seção Source, configure a fonte de dados do LogHub (SLS).

1. Na seção Source Information, selecione o logstore que deseja sincronizar.

   • Logstore: Selecione um logstore existente na lista suspensa.

2. Clique em Data Sampling para amostrar e visualizar os dados do LogHub.

   Na caixa de diálogo exibida, defina Start From e Sampled Data Records e, em seguida, clique em Start Collection. Use o resultado da amostragem como entrada de pré-visualização para nós subsequentes de processamento de dados.

3. Na seção Configure Output Field, o sistema carrega automaticamente a lista de campos do logstore. Altere o Data Type, Delete campos ou Add Output Field.

2. Processamento de dados

Ative a chave Data Processing. Cinco métodos de processamento de dados estão disponíveis: Data Masking, String Replace, Data Filtering, JSON Parsing e Field Editing and Assignment. Organize esses métodos na ordem desejada. A tarefa processará os dados na ordem especificada.

Após configurar um nó de processamento de dados, clique no botão Preview Data Output no canto superior direito.

1. Na tabela abaixo dos dados de entrada, visualize os resultados da Data Sampling da etapa anterior. Clique em Re-obtain Output of Ancestor Node para atualizar os resultados.

2. Caso nenhum output seja gerado pelo nó upstream, utilize a opção Manually Construct Data para simular o output upstream.

3. Clique em Preview para visualizar o output processado do nó upstream.

4. Esta pré-visualização mostra o output final.

   Na página de pré-visualização de processamento de dados, a seção Input Data exibe os logs brutos, que incluem campos como _source_, _time_, _topic_ e check_rows. A seção Preview Result exibe os dados processados com novos campos analisados, como client_ip e db. A página indica que 0 registros de dados incorretos foram encontrados.

3. Configurar o destino de dados

1. Na seção Destination, selecione um grupo de recursos Tunnel. Por padrão, Public transport resources (a cota gratuita do MaxCompute) está selecionado.

2. Escolha se deseja gravar dados em uma New table ou em uma Existing table.

   1. Para gravar dados em uma nova tabela, selecione Create na lista suspensa. Isso cria, por padrão, uma tabela com o mesmo schema da origem. Modifique manualmente o nome e o schema da tabela de destino conforme necessário.

   2. Para usar uma tabela existente, selecione a tabela de destino na lista suspensa.

3. (Opcional) Edite o schema da tabela.

   Clique no ícone de edição ao lado do nome da tabela para editar o schema da tabela. Para gerar automaticamente um schema com base no output do nó upstream, clique em Re-generate Table Schema Based on Output Column of Ancestor Node. Selecione uma coluna no schema gerado automaticamente como chave primária.

4. Configurar mapeamento de campos

1. O sistema mapeia automaticamente as colunas de origem para as colunas da tabela de destino com base na regra Map Fields with the Same Name. Ajuste os mapeamentos conforme necessário. Mapeie uma única coluna de origem para várias colunas da tabela de destino, mas não mapeie várias colunas de origem para uma única coluna da tabela de destino. Se uma coluna de origem não for mapeada, seus dados não serão gravados na tabela de destino.

2. (Opcional) Configure o particionamento.

   1. Automatic Time-based Partitioning: Particiona dados com base em um campo de tempo de negócio, que é _timestamp neste exemplo. A partição de primeiro nível é ano, a de segundo nível é mês, e assim por diante.

   2. Dynamic Partitioning By Field Value: Mapeia um campo de origem para um campo de partição na tabela MaxCompute de destino. Isso garante que as linhas sejam gravadas na partição correta da tabela MaxCompute com base no valor do campo de origem.

1. Adicionar regra de alerta

Na caixa de diálogo Add Alert, selecione Use Custom Rule ou Use Public Alert Rule. Especifique Alert Name e Description. Os métodos de notificação suportados incluem Mail, SMS, Phone, DingTalk, webhook e Lark. Selecione destinatários de um On-call Schedule ou especifique Others.

(1) Clique em Create Rule para configurar uma regra de alerta.

Ao definir Alert Reason, monitore métricas como Business delay, Failover, Task status, DDL Notification e Task Resource Utilization. Defina alertas CRITICAL ou WARNING com base em limiares especificados.

• Após definir o método de alerta, use Configure Advanced Parameters para controlar o intervalo de notificação e evitar alertas excessivos.

• Se selecionar Business delay, Task status ou Task Resource Utilization como motivo do alerta, ative também as notificações de recuperação para informar os destinatários quando a tarefa retornar ao estado normal.

(2) Gerenciar regras de alerta.

Para regras de alerta criadas, use a chave para ativá-las ou desativá-las. Envie alertas para diferentes pessoas com base no nível do alerta.

2. Visualizar alertas

Localize a tarefa desejada na lista de tarefas e escolha More > Configure Alert Rule. Em seguida, acesse a página Alert Events para visualizar informações históricas de alertas.