DataWorks:Gerenciamento de baselines

Contexto

O Smart Baseline detecta exceções que podem impedir a conclusão pontual das tarefas e envia alertas antecipados. Isso garante a produção de dados importantes dentro do cronograma, mesmo em cenários complexos de dependências. Para mais informações, consulte Smart Baseline overview.

Após criar e ativar uma baseline, ela entra em vigor no dia seguinte. Em seguida, acesse a página Auto Triggered Instances para visualizar o status de execução da baseline.

Limitações

• Requisitos de versão:

  O gerenciamento de baselines está disponível apenas no DataWorks Standard Edition e versões posteriores. Caso utilize uma versão anterior, atualize sua instância do DataWorks primeiro. Para mais informações, consulte Features of DataWorks editions.

• Controle de permissões:

  • Apenas uma conta Alibaba Cloud ou um usuário RAM com a função de administrador de workspace ou administrador de tenant pode criar baselines.

  • Somente o administrador do tenant e o proprietário da baseline podem ativar, desativar, excluir ou modificar uma baseline.

  Para conceder essas permissões a um usuário, atribua as funções necessárias a ele. Para mais informações, consulte Add workspace members and assign roles.

• Métodos de notificação de alerta:

  O DataWorks oferece suporte a diversos métodos de notificação de alerta, incluindo Email, SMS, phone calls, DingTalk Chatbot e Webhook. A tabela a seguir descreve as limitações de cada método.

  Método de notificação	Regiões disponíveis	Edições disponíveis	Descrição
  SMS	Todas as regiões	Standard Edition e posteriores.	Para receber alertas por mensagem de texto em outras regiões, clique no link do aplicativo para entrar no grupo de chat "Alibaba Cloud Big Data AI Platform". Em seguida, escaneie o código QR abaixo para participar do grupo DingTalk do product DataWorks e obter suporte. Lá, você pode solicitar ajuda ao chatbot ou entrar em contato com um engenheiro de plantão durante o horário comercial.
  Telephone	Todas as regiões	Todas as edições	Alertas por chamada telefônica são suportados apenas para números de celular na China continental.
  Webhook	Todas as regiões	Basic Edition	Permite enviar alertas para grupos do DingTalk, Lark e WeCom por meio de webhooks de grupo.
  		Enterprise Edition	Além dos recursos da Basic Edition, a Enterprise Edition suporta webhooks personalizados para recebimento de alertas. Nota Caso precise utilizar um webhook personalizado, consulte Custom webhooks for smart monitoring para detalhes de configuração. Após concluir a configuração, entre em contato conosco para obter assistência adicional.

  Nota

  Para permitir que um usuário RAM receba alertas por mensagem de texto ou chamada telefônica, adicione-o como contato de alerta na página Alert Contacts. Quando uma tarefa falhar, o DataWorks notificará os contatos associados. Para mais informações, consulte View and manage alert contacts.

Criar uma baseline

1. Acesse a página Operation Center.

Faça login no console do DataWorks. Após selecionar uma região, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Na lista suspensa, selecione o workspace desejado e clique em Operation Center.

2. No painel de navegação à esquerda, clique em Task Monitoring > Intelligent Baselines.

3. Crie a baseline.

   1. Na aba Baselines, clique em Create Baseline.

   2. Configure as propriedades básicas da baseline.

      A tabela a seguir descreve os parâmetros.

      Parâmetro	Descrição
      Baseline Name	Nome personalizado para a baseline.
      Belongs work space	Selecione o workspace que contém os nós que você deseja monitorar. Nota Ao configurar o parâmetro Nodes, é possível selecionar apenas nós e workflows dentro deste Belongs work space.
      Owner	Proprietário da baseline.
      Baseline Type	Ciclo de monitoramento da baseline: diário ou horário. Day-level Baseline: Monitora tarefas diariamente. Adequado para tarefas agendadas diariamente. Hour-level Baseline: Monitora tarefas a cada hora. Ideal para tarefas agendadas por hora.
      Nodes	Selecione as tarefas que deseja monitorar quanto à conclusão pontual. Adicionar um nó a uma baseline o move da baseline atual para a nova. Node: Insira o nome ou ID de um nó e clique no botão Add. É possível adicionar vários nós à baseline. Workflow: Insira o nome ou ID de um workflow e clique no botão Add. Por padrão, todos os nós do workflow são adicionados à baseline. Nota Após selecionar um workflow, recomendamos adicionar apenas seus nós mais downstream. Uma vez adicionados, a baseline inclui automaticamente em seu escopo de monitoramento todos os nós upstream que afetam a saída de dados desses nós. Não é recomendável adicionar todos os nós de um workflow a uma baseline.
      Priority	Prioridade da baseline. Um valor maior indica prioridade mais alta. Quando os recursos de agendamento estiverem limitados, as tarefas em baselines de maior prioridade serão agendadas primeiro. Esta configuração aplica-se a instâncias acionadas automaticamente geradas no dia seguinte. Nota Nós MaxCompute: A prioridade da baseline é mapeada para a prioridade dos jobs de computação do MaxCompute sob as seguintes condições: O recurso de prioridade está ativado para o projeto MaxCompute. O projeto MaxCompute utiliza recursos de computação por assinatura. Prioridade do job MaxCompute = 9 - Prioridade da baseline do DataWorks. Nós EMR: É possível mapear prioridades de baseline para prioridades de fila YARN para ajustar a prioridade final da fila YARN de um nó. Isso determina se o nó pode ser agendado e executado preferencialmente. Para mais informações, consulte Configure mappings between baseline priorities and YARN queue priorities. Quando um nó é adicionado a uma baseline, sua prioridade é definida por essa baseline. Essa prioridade então se propaga para todas as dependências upstream do nó. Se um nó afeta a saída de dados de múltiplas baselines com prioridades diferentes, a prioridade do nó é determinada pela maior prioridade entre essas baselines. A prioridade da baseline não afeta nós upstream com dependências entre ciclos.
      Estimated Completion Time	O DataWorks calcula o horário estimado de conclusão com base no tempo médio de conclusão das tarefas da baseline durante um período histórico (geralmente os últimos 10 dias). Se o horário estimado de conclusão for posterior ao horário de alerta, um alerta de baseline será disparado. Para detalhes sobre o mecanismo de alerta, consulte Appendix: Baseline alerting mechanism. Nota Se não houver dados históricos suficientes, o sistema exibirá uma mensagem: The completion time cannot be estimated due to the lack of historical data.
      Committed Completion Time	Prazo limite pelo qual as tarefas na baseline devem ser concluídas. Este também é o prazo para produção de dados. A baseline usa esse horário para calcular o horário de alerta. Configure o horário de conclusão comprometido com base no horário estimado de conclusão. O horário de alerta (calculado como committed finish time - alert margin threshold) deve ser posterior ao horário estimado de conclusão das tarefas. Nota A fórmula para o horário de alerta é alert time = committed finish time - alert margin threshold. Um alerta é disparado se o sistema prever que uma tarefa não será concluída até o alert time. Por exemplo, se o horário de conclusão comprometido estiver definido como 3:30 e o limiar de margem de alerta for de 10 minutos, o horário de alerta será 3:20. Um alerta de baseline será enviado se o sistema prever que a tarefa não terminará até esse horário. Para uma baseline de nível horário, você deve especificar qual instância horária (ou seja, qual ciclo de execução específico) requer monitoramento e definir seu horário máximo de conclusão. Como as tarefas em uma baseline podem durar mais de 24 horas, é possível definir o horário de conclusão comprometido dentro de uma janela de dois dias, de 00:00 a 47:59. Por exemplo, se uma tarefa executar por mais de um dia, você pode definir o horário como 36:00.
      Alert Margin Threshold	Determina quão antecipadamente um alerta é disparado antes do horário de conclusão comprometido. O horário de alerta resultante deve ser posterior ao horário estimado de conclusão para evitar alertas frequentes e desnecessários. Configure este limiar com base no tempo de execução das tarefas na baseline. Para mais informações, consulte Configure an appropriate committed finish time and alert margin threshold.

4. Configure os alertas para a baseline.

   As políticas de alerta incluem alertas de baseline, disparados quando há previsão de atraso nos dados, e alertas de evento, disparados por erros ou lentidão que afetam as tarefas da baseline ou suas dependências. Antes de configurar esses ajustes, recomendamos revisar o mecanismo de alerta. Para mais informações, consulte Appendix: Baseline alerting mechanism.

   1. Ative os alertas.

      Após ativar os alertas, o DataWorks verifica condições correspondentes às regras de alerta e envia notificações conforme apropriado.

      • Se o sistema prever que as tarefas na baseline não serão concluídas dentro do tempo comprometido, ele enviará um alerta de baseline com base no método de notificação configurado. Para mais informações, consulte Key logic: baseline alerts.

      • Caso uma tarefa da baseline ou suas dependências upstream encontrem um erro, ou se uma tarefa no caminho crítico apresentar lentidão, o sistema enviará um alerta de evento com base no método de notificação configurado. Visualize a lista de eventos existentes na página Events no DataWorks. Para mais informações, consulte Manage events.

   Nota

   Se você desativar os alertas, a baseline não gerará nenhum alerta. No entanto, se a baseline estiver ativada, as instâncias de baseline ainda serão geradas e a configuração de prioridade permanecerá em vigor.

   2. Selecione os métodos de notificação.

      Após ativar os alertas, selecione os métodos de notificação conforme necessário. Recomendamos configurar tanto alertas de baseline quanto alertas de evento para tarefas críticas.

      Importante

      • Alertas de baseline e de evento são disparados apenas para instâncias acionadas automaticamente com data de negócio referente a ontem ou anteontem. Instâncias fora desse intervalo não são monitoradas para alertas.

      • Se não estiver recebendo alertas, consulte What do I do if I cannot receive alerts after I configure alert settings in Operation Center?

      Alerta de baseline

      Parâmetro	Descrição
      Enable Alerting	Ativa ou desativa alertas para esta baseline. Nota Se você desativar os alertas, a baseline não gerará nenhum alerta. No entanto, se a baseline estiver ativada, as instâncias de baseline ainda serão geradas e a configuração de prioridade permanecerá em vigor.
      Alert Notification Method	Suporta envio de alertas por Email, SMS, or Phone call para o proprietário da baseline, o engenheiro de plantão na escala de turnos ou destinatários especificados. Para configurar uma escala de turnos, consulte Shift schedule. Permite enviar alertas para outros aplicativos, como DingTalk, WeCom e Lark, usando um DingTalk Chatbot ou um Webhook. Para configurar um chatbot do DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Utilize Check Contact Information ou Send Test Message para verificar se os alertas podem ser enviados corretamente. Alertas por chamada telefônica estão disponíveis apenas no DataWorks Professional Edition e versões posteriores. Se você selecionar alertas por chamada telefônica, o DataWorks limita a taxa de chamadas para evitar um excesso em curto período. Um usuário recebe no máximo uma chamada de alerta a cada 20 minutos. Alertas adicionais são rebaixados para mensagens de texto.
      Maximum Alerts	Número máximo de alertas que podem ser enviados. Após atingir esse limite, nenhum outro alerta será gerado.
      Minimum Alert Interval	Intervalo mínimo de tempo entre dois alertas consecutivos.
      Alerting Do-Not-Disturb Period	Se você definir um período de não perturbe, o sistema não enviará alertas durante esse intervalo. Por exemplo, se o período de não perturbe para uma tarefa estiver definido de 00:00 a 08:00, os alertas de baseline e de evento não serão disparados nesse período. Se o evento ainda estiver em estado anormal às 08:00, um alerta será enviado.

      Alerta de evento

      Parâmetro	Descrição
      Event Type	Tipos de evento que disparam um alerta: Error: Uma tarefa dentro do escopo de monitoramento da baseline falha. Slow: Uma tarefa dentro do escopo de monitoramento da baseline está executando significativamente mais devagar do que sua média de tempo de execução em um período passado.
      Alert Notification Method	Suporta envio de alertas por Email, SMS, or Phone call para o proprietário da tarefa, o engenheiro de plantão na escala de turnos ou destinatários especificados. Para configurar uma escala de turnos, consulte Shift schedule. Permite enviar alertas para outros aplicativos, como DingTalk, WeCom e Lark, usando um DingTalk Chatbot ou um Webhook. Para configurar um chatbot do DingTalk, consulte Scenario: Send alert notifications to a DingTalk group. Nota Utilize Check Contact Information ou Send Test Message para verificar se os alertas podem ser enviados corretamente. Alertas por chamada telefônica estão disponíveis apenas no DataWorks Professional Edition e versões posteriores. Se você selecionar alertas por chamada telefônica, o DataWorks limita a taxa de chamadas para evitar um excesso em curto período. Um usuário recebe no máximo uma chamada de alerta a cada 20 minutos. Alertas adicionais são rebaixados para mensagens de texto.
      Maximum Alerts	Número máximo de alertas que podem ser enviados. Após atingir esse limite, nenhum outro alerta será gerado.
      Minimum Alert Interval	Intervalo mínimo de tempo entre dois alertas consecutivos.
      Alerting Do-Not-Disturb Period	Se você definir um período de não perturbe, o sistema não enviará alertas durante esse intervalo. Por exemplo, se o período de não perturbe para uma tarefa estiver definido de 00:00 a 08:00, os alertas de baseline e de evento não serão disparados nesse período. Se o evento ainda estiver em estado anormal às 08:00, um alerta será enviado.

   3. Clique em OK para criar a baseline.

Adicionar nós a uma baseline

Um nó pode pertencer a apenas uma baseline por vez. Adicionar um nó que já está na Baseline A à Baseline B o moverá para a Baseline B.

Adicione nós a uma baseline de uma das duas maneiras a seguir:

• Acesse a página Baselines e clique em Create Baseline para adicionar nós.

• Acesse a página Auto Triggered Node e escolha More > Add Baseline para uma tarefa específica.

  Nota

  Este método permite apenas criar uma nova baseline para as tarefas selecionadas. Não é possível usá-lo para adicionar tarefas a uma baseline existente.

  • Adicionar um único nó a uma baseline

    Na coluna Actions da tarefa acionada automaticamente alvo, clique em More > Add Baseline.

  • Adicionar múltiplos nós a uma baseline

    Selecione várias tarefas acionadas automaticamente e, na barra de menu inferior, clique em Actions > Add Baseline.

Gerenciar baselines

Na página Baselines, filtre as baselines por critérios como Owner, Workspace, Baseline Name e Priority, e realize as seguintes operações:

• Visualizar View Details: Consulte informações básicas sobre as tarefas da baseline.

• Modify Baseline: Modifique as configurações da baseline conforme necessário.

• Visualizar View Change Records: Consulte o histórico de alterações da baseline.

• Enable ou Disable Baseline: Controla se a baseline está ativa. Uma baseline ativada gera uma nova instância de baseline diariamente. Visualize os detalhes diários da baseline no painel Baseline Instances.

• Delete Baseline: Exclua a baseline conforme necessário.

Apêndice: mecanismo de alerta de baseline

O alerta de baseline é um service de notificação para baselines que estão ativadas e com alertas ligados. Configure o Alert Margin Threshold e o Committed Completion Time para uma baseline com base em seu Estimated Completion Time. O DataWorks calcula o horário estimado de conclusão com base na média histórica de tempo de execução (geralmente os últimos 10 dias) das tarefas monitoradas. O sistema então monitora as tarefas com base em seu status real de execução. Se houver previsão de que uma tarefa na baseline perderá o horário de alerta (horário de conclusão comprometido - limiar de margem de alerta), um alerta de baseline será enviado aos destinatários configurados.

• Política de alerta de baseline antes da execução de uma tarefa:

  Nota

  Antes de uma tarefa diária ser executada, o sistema de baseline calcula o tempo médio de conclusão das tarefas dentro de seu escopo de monitoramento nos últimos 10 dias. Se houver previsão de que uma tarefa perderá o horário de alerta, um alerta de baseline será enviado imediatamente. Em cenários com dependências de tarefas complexas e frequentemente alteradas, as baselines ajudam a detectar problemas e receber avisos antecipados.

  • Se o horário estimado de conclusão de uma tarefa da baseline, calculado com base em seu tempo médio de conclusão nos últimos 10 dias, for posterior ao horário de alerta da baseline, a plataforma dispara um aviso de baseline. Visualize o horário estimado de conclusão calculado na página Baselines. Para mais informações, consulte Create a baseline.

  • Caso o horário estimado de conclusão de uma tarefa upstream, calculado com base em seu tempo médio de conclusão nos últimos 10 dias, seja posterior ao horário de alerta da baseline, a plataforma dispara um aviso de baseline.

• Política de alerta de baseline durante a execução de uma tarefa:

  Um aviso de baseline é disparado se uma tarefa na baseline for concluída após o horário de alerta da baseline.

Próximos passos

Após criar uma baseline, você pode:

• View baseline instances: Uma baseline ativada gera uma instância diária. Visualize os detalhes de execução da baseline na página Baseline Instances.

• EMR node: Mapeie prioridades de baseline para prioridades de fila YARN para ajustar a prioridade final da fila YARN de um nó EMR, controlando se ele tem prioridade para agendamento e execução.

• View baseline operation records: Visualize um histórico de todas as operações realizadas em suas baselines no Operation Center.