DataWorks:Gerenciamento de baselines

Contexto

O Smart Baseline detecta exceções que podem impedir a conclusão das tarefas no prazo e envia alertas antecipados, garantindo que dados importantes sejam produzidos dentro do cronograma, mesmo em cenários de dependência complexos. Para mais informações, consulte Smart Baseline overview.

Após a criação e ativação de uma baseline, ela entra em vigor no dia seguinte. Em seguida, acesse a página Auto Triggered Instances para visualizar o status de execução da baseline.

Limitações

• Requisitos de versão:

  O gerenciamento de baselines está disponível apenas no DataWorks Standard Edition e versões posteriores. Se você estiver usando uma versão anterior, atualize sua instância do DataWorks primeiro. Para mais informações, consulte Features of DataWorks editions.

• Controle de permissão:

  • Apenas uma conta Alibaba Cloud ou um usuário RAM com a função de administrador do workspace ou administrador do tenant pode criar baselines.

  • Apenas o administrador do tenant e o proprietário da baseline podem ativar, desativar, excluir ou modificar uma baseline.

  Para conceder essas permissões a um usuário, atribua as funções necessárias a ele. Para mais informações, consulte Add workspace members and assign roles.

• Métodos de notificação de alerta:

  O DataWorks oferece suporte a vários métodos de notificação de alerta, incluindo Email, SMS, phone calls, DingTalk Chatbot e Webhook. A tabela a seguir descreve as limitações de cada método.

  Método de notificação	Regiões disponíveis	Edições disponíveis	Descrição
  SMS	Todas as regiões	Standard Edition e versões posteriores.	Para receber alertas por mensagem de texto em outras regiões, clique no link do aplicativo para participar do grupo de chat "Alibaba Cloud Big Data AI Platform". Em seguida, escaneie o código QR abaixo para participar do grupo do DingTalk do product DataWorks para obter suporte. Lá, você pode pedir ajuda ao chatbot ou entrar em contato com um engenheiro de plantão durante o horário comercial.
  Telephone	Todas as regiões	Todas as edições	Os alertas por chamada telefônica são suportados apenas para números de celular na China continental.
  Webhook	Todas as regiões	Basic Edition	Oferece suporte ao envio de alertas para grupos do DingTalk, Lark e WeCom por meio de webhooks de grupo.
  		Enterprise Edition	Além dos recursos da Basic Edition, a Enterprise Edition oferece suporte a webhooks personalizados para o recebimento de alertas. Nota Se você precisar usar um webhook personalizado, consulte Custom webhooks for smart monitoring para obter detalhes de configuração.

  Nota

  Para permitir que um usuário RAM receba alertas por mensagem de texto ou chamada telefônica, adicione o usuário como um contato de alerta na página Alert Contacts. Quando uma tarefa falha, o DataWorks notifica os contatos associados. Para mais informações, consulte View and manage alert contacts.

Crie uma baseline

1. Acesse a página Operation Center.

Faça login no console DataWorks. Após selecionar uma região, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Na lista suspensa, selecione o workspace desejado e clique em Operation Center.

2. No painel de navegação à esquerda, clique em Task Monitoring > Intelligent Baselines.

3. Crie a baseline.

   1. Na aba Baselines, clique em Create Baseline.

   2. Configure as propriedades básicas da baseline.

      A tabela a seguir descreve os parâmetros.

      Parâmetro	Descrição
      Baseline Name	Um nome personalizado para a baseline.
      Belongs work space	Selecione o workspace que contém os nós que você deseja monitorar. Nota Ao configurar o parâmetro Nodes, você pode selecionar apenas nós e workflows dentro deste Belongs work space.
      Owner	O proprietário da baseline.
      Baseline Type	O ciclo de monitoramento da baseline: diário ou por hora. Day-level Baseline: Monitora tarefas diariamente. Adequado para tarefas agendadas diariamente. Hour-level Baseline: Monitora tarefas por hora. Adequado para tarefas agendadas por hora.
      Nodes	Selecione as tarefas que deseja monitorar para conclusão no prazo. Adicionar um nó a uma baseline o move de sua baseline atual para a nova. Node: Insira o nome ou ID de um nó e clique no botão Add. Você pode adicionar vários nós à baseline. Workflow: Insira o nome ou ID de um workflow e clique no botão Add. Por padrão, todos os nós no workflow são adicionados à baseline. Nota Após selecionar um workflow, recomendamos adicionar apenas seus nós mais downstream. Depois de adicionados, a baseline inclui automaticamente em seu escopo de monitoramento todos os nós upstream que afetam a saída de dados deles. Não é recomendável adicionar todos os nós de um workflow a uma baseline.
      Priority	A prioridade da baseline. Um valor maior indica maior prioridade. Quando os recursos de agendamento são limitados, as tarefas em baselines de maior prioridade são agendadas primeiro. Essa configuração se aplica a instâncias com gatilho automático geradas no dia seguinte. Nota Nós do MaxCompute: A prioridade da baseline é mapeada para a prioridade dos jobs de computação do MaxCompute sob as seguintes condições: O recurso de prioridade está ativado para o projeto MaxCompute. O projeto MaxCompute usa recursos de computação por assinatura. Prioridade do job do MaxCompute = 9 - Prioridade da baseline do DataWorks. Nós do EMR: Você pode mapear as prioridades da baseline para as prioridades da fila YARN para ajustar a prioridade final da fila YARN de um nó. Isso determina se o nó pode ser agendado e executado preferencialmente. Para mais informações, consulte Configure mappings between baseline priorities and YARN queue priorities. Para tarefas do EMR Serverless Spark, a prioridade da baseline é mapeada para a prioridade do Spark conforme mostrado na tabela a seguir. Prioridade da baseline Prioridade do Spark 8 9 7 7 5 5 3 3 1 0 Se a prioridade de uma tarefa do EMR Serverless Spark for especificada explicitamente no Spark Config, a configuração do Spark Config terá precedência. Depois que um nó é adicionado a uma baseline, sua prioridade é definida por essa baseline. Essa prioridade é então propagada para todas as dependências upstream do nó. Se um nó afeta a saída de dados de várias baselines com prioridades diferentes, a prioridade do nó é determinada pela prioridade mais alta entre essas baselines. A prioridade da baseline não afeta os nós upstream com dependências entre ciclos.
      Estimated Completion Time	O DataWorks calcula o horário estimado de conclusão com base no tempo médio de conclusão das tarefas da baseline ao longo de um período histórico (geralmente os últimos 10 dias). Se o horário estimado de conclusão for posterior ao horário do alerta, um alerta de baseline será acionado. Para detalhes sobre o mecanismo de alerta, consulte Appendix: Baseline alerting mechanism. Nota Se não houver dados históricos suficientes, o sistema exibe uma mensagem: The completion time cannot be estimated due to the lack of historical data.
      Committed Completion Time	O prazo pelo qual as tarefas na baseline devem ser concluídas. Este também é o prazo para a produção de dados. A baseline usa esse horário para calcular o horário do alerta. Configure o horário de conclusão comprometido com base no horário estimado de conclusão. O horário do alerta (calculado como committed finish time - alert margin threshold) deve ser posterior ao horário estimado de conclusão das tarefas. Nota A fórmula para o horário do alerta é alert time = committed finish time - alert margin threshold. Um alerta é acionado se o sistema prever que uma tarefa não será concluída até o alert time. Por exemplo, se o horário de conclusão comprometido estiver definido como 3:30 e o limiar de margem de alerta for de 10 minutos, o horário do alerta será 3:20. Um alerta de baseline é enviado se o sistema prever que a tarefa não terminará até esse horário. Para uma baseline de nível de hora, especifique qual instância por hora (ou seja, qual ciclo de execução específico) requer monitoramento e defina seu horário de conclusão mais recente. Como as tarefas em uma baseline podem ser executadas por mais de 24 horas, você pode definir o horário de conclusão comprometido dentro de uma janela de dois dias, de 00:00 a 47:59. Por exemplo, se uma tarefa for executada por mais de um dia, você pode definir o horário como 36:00.
      Alert Margin Threshold	Determina com que antecedência um alerta é acionado antes do horário de conclusão comprometido. O horário de alerta resultante deve ser posterior ao horário estimado de conclusão para evitar alertas frequentes e desnecessários. Configure esse limiar com base no tempo de execução das tarefas na baseline. Para mais informações, consulte Configure an appropriate committed finish time and alert margin threshold.

4. Configure os alertas para a baseline.

   As políticas de alerta incluem alertas de baseline, acionados quando há previsão de atraso nos dados, e alertas de evento, acionados por erros ou lentidão que afetam as tarefas da baseline ou suas dependências. Antes de configurar essas definições, recomendamos revisar o mecanismo de alerta. Para mais informações, consulte Appendix: Baseline alerting mechanism.

   1. Ative os alertas.

      Depois de ativar os alertas, o DataWorks verifica condições que correspondem às regras de alerta e envia notificações de acordo.

      • Se o sistema prever que as tarefas na baseline não serão concluídas dentro do tempo comprometido, ele enviará um alerta de baseline com base no método de notificação configurado. Para mais informações, consulte Key logic: baseline alerts.

      • Se uma tarefa da baseline ou suas dependências upstream encontrarem um erro, ou se uma tarefa no caminho crítico desacelerar, o sistema enviará um alerta de evento com base no método de notificação configurado. Você pode visualizar a lista de eventos existentes na página Events no DataWorks. Para mais informações, consulte Manage events.

   Nota

   Se você desativar os alertas, a baseline não gerará nenhum alerta. No entanto, se a baseline estiver ativada, as instâncias da baseline ainda serão geradas e a configuração de prioridade permanecerá em vigor.

   2. Selecione os métodos de notificação.

      Após ativar os alertas, selecione os métodos de notificação conforme necessário. Recomendamos configurar tanto os alertas de baseline quanto os alertas de evento para tarefas críticas.

      Importante

      • Os alertas de baseline e de evento são acionados apenas para instâncias com gatilho automático com data de negócio de ontem ou anteontem. Instâncias fora desse intervalo não são monitoradas para alertas.

      • Se você não conseguir receber alertas, consulte What do I do if I cannot receive alerts after I configure alert settings in Operation Center?

      Alerta de baseline

      Parâmetro	Descrição
      Enable Alerting	Ativa ou desativa os alertas para esta baseline. Nota Se você desativar os alertas, a baseline não gerará nenhum alerta. No entanto, se a baseline estiver ativada, as instâncias da baseline ainda serão geradas e a configuração de prioridade permanecerá em vigor.
      Alert Notification Method	Oferece suporte ao envio de alertas por Email, SMS, or Phone call para o proprietário da baseline, o engenheiro de plantão na escala de plantão ou destinatários especificados. Para configurar uma escala de plantão, consulte Shift schedule. Oferece suporte ao envio de alertas para outros aplicativos, como DingTalk, WeCom e Lark, usando um DingTalk Chatbot ou um Webhook. Para configurar um chatbot do DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Use Check Contact Information ou Send Test Message para verificar se os alertas estão sendo enviados corretamente. Os alertas por chamada telefônica estão disponíveis apenas no DataWorks Professional Edition e versões posteriores. Se você selecionar alertas por chamada telefônica, o DataWorks limitará a taxa de chamadas para evitar uma explosão de chamadas em um curto período. Um usuário recebe no máximo uma chamada de alerta dentro do intervalo de recebimento especificado, e chamadas adicionais são rebaixadas para mensagens de texto. O intervalo de recebimento tem como padrão 20 minutos e pode ser modificado nas configurações de política de alerta do tenant em Rule management.
      Maximum Alerts	O número máximo de alertas que podem ser enviados. Após esse limite ser atingido, nenhum outro alerta é gerado.
      Minimum Alert Interval	O intervalo de tempo mínimo entre dois alertas consecutivos.
      Alerting Do-Not-Disturb Period	Ao definir um período de não perturbe, o sistema não envia alertas durante esse tempo. Por exemplo, se o período de não perturbe para uma tarefa estiver definido de 00:00 a 08:00, os alertas de baseline e de evento não serão acionados durante esse período. Se o evento ainda estiver em um estado anormal às 08:00, um alerta será enviado.

      Alerta de evento

      Parâmetro	Descrição
      Event Type	Os tipos de evento que acionam um alerta: Error: Uma tarefa dentro do escopo de monitoramento da baseline falha. Slow: Uma tarefa dentro do escopo de monitoramento da baseline está sendo executada por um tempo significativamente maior do que seu tempo médio de execução em um período passado.
      Alert Notification Method	Oferece suporte ao envio de alertas por Email, SMS, or Phone call para o proprietário da tarefa, o engenheiro de plantão na escala de plantão ou destinatários especificados. Para configurar uma escala de plantão, consulte Shift schedule. Oferece suporte ao envio de alertas para outros aplicativos, como DingTalk, WeCom e Lark, usando um DingTalk Chatbot ou um Webhook. Para configurar um chatbot do DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Use Check Contact Information ou Send Test Message para verificar se os alertas estão sendo enviados corretamente. Os alertas por chamada telefônica estão disponíveis apenas no DataWorks Professional Edition e versões posteriores. Se você selecionar alertas por chamada telefônica, o DataWorks limitará a taxa de chamadas para evitar uma explosão de chamadas em um curto período. Um usuário recebe no máximo uma chamada de alerta dentro do intervalo de recebimento especificado, e chamadas adicionais são rebaixadas para mensagens de texto. O intervalo de recebimento tem como padrão 20 minutos e pode ser modificado nas configurações de política de alerta do tenant em Rule management.
      Maximum Alerts	O número máximo de alertas que podem ser enviados. Após esse limite ser atingido, nenhum outro alerta é gerado.
      Minimum Alert Interval	O intervalo de tempo mínimo entre dois alertas consecutivos.
      Alerting Do-Not-Disturb Period	Ao definir um período de não perturbe, o sistema não envia alertas durante esse tempo. Por exemplo, se o período de não perturbe para uma tarefa estiver definido de 00:00 a 08:00, os alertas de baseline e de evento não serão acionados durante esse período. Se o evento ainda estiver em um estado anormal às 08:00, um alerta será enviado.

   3. Clique em OK para criar a baseline.

Adicionar nós a uma baseline

Um nó pode pertencer a apenas uma baseline por vez. Adicionar um nó que já está na Baseline A à Baseline B o moverá para a Baseline B.

Você pode adicionar nós a uma baseline de uma das duas maneiras a seguir:

• Acesse a página Baselines e clique em Create Baseline para adicionar nós.

• Acesse a página Auto Triggered Node e escolha More > Add Baseline para uma tarefa específica.

  Nota

  Este método permite criar apenas uma nova baseline para as tarefas selecionadas. Você não pode usá-lo para adicionar tarefas a uma baseline existente.

  • Adicionar um único nó a uma baseline

    Na coluna Actions da tarefa com gatilho automático de destino, clique em More > Add Baseline.

  • Adicionar vários nós a uma baseline

    Selecione várias tarefas com gatilho automático e, na barra de menus na parte inferior, clique em Actions > Add Baseline.

Gerencie baselines

Na página Baselines, filtre as baselines por critérios como Owner, Workspace, Baseline Name e Priority, e execute as seguintes operações:

• Visualize View Details: Visualize as informações básicas sobre as tarefas da baseline.

• Modify Baseline: Modifique as configurações da baseline conforme necessário.

• Visualize View Change Records: Visualize o histórico de alterações da baseline.

• Enable ou Disable Baseline: Controla se a baseline está ativa. Uma baseline ativada gera uma nova instância de baseline diariamente. Você pode visualizar os detalhes diários da baseline no painel Baseline Instances.

• Delete Baseline: Exclua a baseline conforme necessário.

Apêndice: mecanismo de alerta de baseline

O alerta de baseline é um service de notificação para baselines que estão ativadas e com alertas ativados. Configure o Alert Margin Threshold e o Committed Completion Time para uma baseline com base em seu Estimated Completion Time. O DataWorks calcula o horário estimado de conclusão com base no tempo médio histórico de execução (geralmente os últimos 10 dias) das tarefas monitoradas. O sistema então monitora as tarefas com base em seu status de execução real. Se houver a previsão de que uma tarefa na baseline perderá o horário do alerta (committed finish time - alert margin threshold), um alerta de baseline será enviado para os destinatários configurados.

• Política de alerta de baseline antes da execução de uma tarefa:

  Nota

  Antes da execução de uma tarefa diária, o sistema de baseline calcula o tempo médio de conclusão das tarefas dentro de seu escopo de monitoramento nos últimos 10 dias. Se houver a previsão de que uma tarefa perderá o horário do alerta, um alerta de baseline será enviado imediatamente. Em cenários com dependências de tarefas complexas e em constante mudança, as baselines ajudam você a detectar problemas e receber avisos antecipados.

  • Se o horário estimado de conclusão de uma tarefa da baseline, calculado a partir de seu tempo médio de conclusão nos últimos 10 dias, for posterior ao horário do alerta da baseline, a plataforma acionará um aviso de baseline. Você pode visualizar o horário estimado de conclusão calculado na página Baselines. Para mais informações, consulte Create a baseline.

  • Se o horário estimado de conclusão de uma tarefa upstream, calculado a partir de seu tempo médio de conclusão nos últimos 10 dias, for posterior ao horário do alerta da baseline, a plataforma acionará um aviso de baseline.

• Política de alerta de baseline durante a execução de uma tarefa:

  Um aviso de baseline é acionado se uma tarefa na baseline terminar após o horário do alerta da baseline.

Próximos passos

Após criar uma baseline, você pode:

• View baseline instances: Uma baseline ativada gera uma instância diária. Visualize os detalhes de execução da baseline na página Baseline Instances.

• EMR node: Mapeie as prioridades da baseline para as prioridades da fila YARN para ajustar a prioridade final da fila YARN de um nó EMR, controlando se ele é priorizado para agendamento e execução.

• View baseline operation records: Visualize um histórico de todas as operações executadas em suas baselines no Operation Center.