DataWorks:Primeiros passos com o Operation Center

Pré-requisitos

Crie e publique um nó result_table seguindo o Data development workflow guide.

Contexto

O Operation Center do DataWorks oferece suporte a O&M para vários tipos de tarefas, como nós acionados automaticamente, tarefas manuais e tarefas de sincronização em tempo real. Ele também fornece diversos métodos de monitoramento para tarefas e os recursos usados para executá-las. Isso permite usar alertas para detectar e tratar exceções rapidamente, o que garante uma produção de dados eficiente e estável.

Acesse o Operation Center

Faça logon no console do Operation Center. Alterne para a região de destino, selecione o workspace desejado na lista suspensa e clique em Operation Center.

Procedimento

Fase 1: Verifique um nó acionado automaticamente

1. Step 1: View the configuration of the auto triggered node

   Para evitar a execução inesperada de um nó acionado automaticamente, verifique as configurações dele, como os parâmetros de agendamento e o grupo de recursos de agendamento, após publicá-lo. Se a configuração estiver incorreta, modifique-a e republicue o nó.

2. Step 2: Test the auto triggered node

   Use o recurso de smoke test e verifique se o nó acionado automaticamente executa conforme o esperado no ambiente de produção. Se ocorrer um erro, trate-o prontamente para garantir a execução adequada do nó.

3. Step 3: Backfill historical data for the auto triggered node

   Use o recurso de backfill de dados para reprocessar dados históricos.

4. Step 4: View recurring instances

   Após publicar um nó acionado automaticamente, o sistema gera instâncias recorrentes com base no ciclo de agendamento dele. Se o Instance generation method estiver definido como T +1 generated next day no DataStudio, a tarefa será agendada para execução a partir do dia seguinte. Se o parâmetro estiver definido como Instant generation after publishing, a tarefa será agendada para execução no mesmo dia. Agora, verifique o status de geração e execução das instâncias recorrentes para confirmar se a tarefa foi agendada corretamente.

5. Step 5: View execution results

   Após executar um smoke test ou um backfill de dados para um nó, verifique se os dados foram gravados corretamente.

Fase 2: Monitorar um nó acionado automaticamente

1. Step 6: Create a custom monitoring rule

   De acordo com as necessidades do seu negócio, configure regras de monitoramento inteligente para um nó acionado automaticamente a fim de monitorar o status de agendamento e execução, para garantir que ele continue executando conforme o agendamento.

2. Step 7: Create an intelligent baseline (advanced)

   Para garantir que tarefas de alta prioridade gerem dados até um horário específico, configure o monitoramento de baseline inteligente para essas tarefas. Se o sistema prever que uma tarefa não poderá ser concluída no horário comprometido, a baseline enviará proativamente um alerta de exceção de tarefa. Isso permite receber e tratar exceções de forma eficiente.

3. Step 8: Create an automatic O&M rule for a resource group

   Em seguida, crie regras de monitoramento personalizadas para um grupo de recursos exclusivo para monitorar o uso dele e o número de instâncias aguardando no grupo de recursos, além de executar operações de O&M relacionadas.

Etapa 1: Visualize a configuração do nó

Para evitar a execução inesperada de um nó acionado automaticamente, verifique as configurações dele, como os parâmetros de agendamento e as dependências do nó, após publicá-lo.

1. Enter Operation Center.

2. Encontre o nó de destino.

   1. No painel de navegação à esquerda, escolha Auto Triggered Task O&M > Auto Triggered Node.

   2. Na página Auto Triggered Node, insira o nome e pesquise o nó de destino.

3. Agora, visualize os detalhes do nó.

   1. Clique no nó de destino para abrir o grafo acíclico direcionado (DAG) dele.

   2. Clique em Show Details e visualize informações detalhadas sobre o nó.

Este exemplo mostra como encontrar o nó result_table publicado na lista de nós acionados automaticamente e verificar se os Scheduling Parameters e o Scheduling Resource Group estão configurados corretamente.

Etapa 2: Testar um nó acionado automaticamente

Agora, execute um smoke test no nó acionado automaticamente e verifique se ele executa conforme o esperado no ambiente de produção. Essa operação executa a lógica real do código.

1. Em seguida, acesse a página de smoke test.

   Use um dos seguintes métodos:

   • Método 1: Na lista de nós acionados automaticamente, encontre a tarefa de destino e clique em Test na coluna Actions.

   • Método 2: No DAG do nó de destino, clique com o botão direito no nó e selecione Test.

2. Agora, configure a data de referência e o tempo de execução para o teste e clique em OK.

   Quando o smoke test é executado, o sistema gera uma instância de teste. A página Auto Triggered Task O&M > Test Instance mostra os detalhes e o status da instância.

   Nota

   • Para mais informações sobre smoke tests, consulte Perform a smoke test.

   • Para mais informações sobre como visualizar uma instância de teste, consulte Run a test and view test instances.

Este exemplo mostra como testar o nó result_table para verificar se ele executa com sucesso. Siga as etapas na figura e execute o teste e visualizar o status de execução da instância de teste gerada.

Etapa 3: Fazer backfill de dados históricos

Após o desenvolvimento e a publicação de um nó acionado automaticamente, ele executa em intervalos agendados com base na sua configuração. Se precisar reprocessar dados históricos, use o recurso de backfill de dados.

1. Em seguida, acesse a página de backfill de dados.

   Use um dos seguintes métodos:

   • Método 1: Na lista de nós acionados automaticamente, encontre a tarefa de destino e clique em Run na coluna Actions.

   • Método 2: No DAG do nó de destino, clique com o botão direito no nó e selecione Run.

2. Agora, selecione um modo de backfill de dados.

   Agora, selecione um modo de acordo com suas necessidades:

   Modo	Descrição	Casos de uso
   Manual selection	Selecione um ou mais nós como nós raiz. Em seguida, selecione manualmente os nós descendentes para o backfill de dados. Para isso, especifique um subconjunto de nós descendentes. Nota Este modo é compatível com planos anteriores de backfill de dados, como Backfill Data for Current Node, Current and Descendant Nodes Retroactively e Advanced Mode. É possível fazer backfill de no máximo 500 nós raiz e 2.000 nós no total (nós raiz e descendentes) em uma única operação.	Backfill de dados em lote para o nó atual e seus nós descendentes. Agora, selecione um lote de nós de forma flexível para o backfill de dados. Os nós não precisam ter dependências entre si.
   Select by link	Agora, selecione um nó inicial como nó raiz e um ou mais nós finais. O sistema analisa e inclui automaticamente todos os nós entre os nós inicial e final no escopo do backfill de dados, incluindo os próprios nós inicial e final.	Backfill de dados de ponta a ponta para tarefas com dependências complexas.
   Select by workspace	Agora, selecione um nó raiz e determine o escopo do backfill de dados com base nos workspaces dos nós descendentes. Nota Este modo é compatível com o plano anterior de backfill de dados Massive Node Mode. É possível fazer backfill de no máximo 20,000 nós em uma única operação. Não há suporte para listas de bloqueio de tarefas.	Use este modo se os nós descendentes do nó atual existirem em vários workspaces e você precisar fazer backfill de dados para nós nesses workspaces.
   Specified node and all descendants	Após selecionar um nó raiz, o sistema analisa e inclui automaticamente o nó e todos os seus nós descendentes no escopo do backfill de dados. Importante Os nós acionados ficam visíveis apenas quando a tarefa de backfill de dados está em execução. Use este modo com cautela.	Faça backfill de dados para um nó raiz e todos os seus nós descendentes.

3. Agora, configure os parâmetros de backfill de dados.

   Configure parâmetros como a data de referência e os nós para backfill de acordo com os requisitos de negócio. Os parâmetros variam de acordo com o modo selecionado. Para mais informações, consulte Manage data backfill instances.

Este exemplo usa o modo Backfill Data for Current Node para fazer backfill de dados do nó result_table no intervalo de data de referência de 2024-09-17 a 2024-09-19, para o período entre 00:00 e 01:00 todos os dias. Para as etapas de configuração, consulte a figura a seguir.

Etapa 4: Visualizar instâncias recorrentes

Após publicar um nó acionado automaticamente, o sistema gera instâncias recorrentes com base no ciclo de agendamento dele. Se o Instance generation method estiver definido como T +1 generated next day no DataStudio, a tarefa será agendada para execução a partir do dia seguinte. Se o parâmetro estiver definido como Instant generation after publishing, a tarefa será agendada para execução no mesmo dia. Agora, verifique as instâncias recorrentes geradas para determinar se a tarefa foi agendada e está sendo executada corretamente.

1. Em seguida, acesse a página de instâncias recorrentes.

   No painel de navegação à esquerda do Operation Center, escolha Auto Triggered Task O&M > Scheduled Instance.

2. Agora, visualize as instâncias recorrentes.

   Com base na configuração de agendamento do nó acionado automaticamente, verifique se as instâncias recorrentes correspondentes foram geradas e estão sendo executadas conforme o esperado. Para mais informações sobre instâncias recorrentes, consulte View recurring instances.

   Se uma instância estiver no estado Not Run, execute as seguintes operações:

   1. Use o recurso Upstream Analysis no painel DAG para identificar rapidamente a tarefa upstream principal que está bloqueando a tarefa atual.

   2. Use o recurso AI Diagnostics para diagnosticar por que uma tarefa upstream principal falhou na execução ou para identificar outros problemas. Para tarefas com cadeias de dependência profundas, esse recurso permite localizar problemas rapidamente e melhorar a eficiência de O&M.

Este exemplo mostra as instâncias recorrentes geradas pelo nó com agendamento horário result_table em 2024.09.19.

Etapa 5: Visualizar resultados de execução

Etapa 6: Criar uma regra de monitoramento personalizada

Após verificar se o nó funciona conforme o esperado, crie uma regra de monitoramento personalizada para monitorar o status de execução dele. Quando ocorrer um erro no nó, o DataWorks envia um alerta com base na sua configuração. Isso permite detectar e tratar a exceção em tempo hábil para garantir que o nó possa ser agendado conforme o esperado.

1. Enter Operation Center.

2. No painel de navegação à esquerda, escolha Monitoring and Alerting > Rule Management.

3. Em seguida, crie uma regra personalizada.

   1. Clique em Create Custom Rule.

   2. Agora, configure a regra.

      Crie uma regra personalizada de acordo com os requisitos de negócio. Para mais informações sobre a configuração, consulte Create a custom monitoring rule.

      Neste exemplo, configure uma regra de monitoramento para enviar um alerta quando o nó result_table falhar na execução. A figura a seguir mostra a configuração. Quando o nó result_table falha na execução, o sistema aciona a regra Test rules e envia um alerta por mensagem de texto ao proprietário do nó. É possível enviar no máximo três alertas em intervalos de 30 minutos.

      Nota

      Agora, configure os contatos de alerta com antecedência. Para mais informações, consulte View and configure alert contacts.

Etapa 7: Criar uma baseline inteligente (avançado)

Para garantir que uma tarefa gere dados dentro de um tempo especificado, configure o monitoramento de baseline para a tarefa. Adicione a tarefa a uma baseline e defina uma prioridade e um horário comprometido. O DataWorks calcula o tempo estimado de conclusão da tarefa da baseline com base no status de execução dela e permite que tarefas de alta prioridade obtenham recursos de agendamento preferencialmente. Se o sistema prever que a tarefa da baseline perderá o horário comprometido, o DataWorks envia um alerta. Em seguida, trate a exceção prontamente com base no alerta.

1. Enter Operation Center.

2. No painel de navegação à esquerda, clique em Intelligent Baselines.

3. Em seguida, crie uma baseline inteligente.

   1. Na guia Baselines, clique em Create Baseline.

   2. Agora, configure a baseline.

      Configure a baseline de acordo com os requisitos de negócio. Para mais informações sobre a configuração, consulte Create a baseline.

      Este exemplo mostra como configurar uma baseline por hora para o nó result_table para monitorar a saída de dados do nó a cada hora. A figura a seguir mostra a configuração. A seguir, estão descritos alguns dos parâmetros:

      • Priority: Quanto maior o valor, maior a prioridade. Tarefas de alta prioridade recebem recursos de agendamento preferencialmente em caso de contenção de recursos.

      • Estimated Completion Time: O tempo estimado para conclusão é calculado com base no histórico de conclusão do nó ao longo de um período.

      • Committed Completion Time: O horário comprometido em que o nó deve gerar dados. Agora, configure este parâmetro com base nos requisitos de negócio e no histórico de conclusão do nó ao longo de um período.

      • Alert Margin Threshold: Uma margem antes do Committed Completion Time usada para tratar exceções de tarefas. Isso garante que a tarefa possa ser concluída até o horário comprometido.

        Nota

        O intervalo entre a margem de alerta e o horário comprometido deve ser de pelo menos 5 minutos.

      Se uma instância horária do nó result_table não for concluída nos primeiros 30 minutos de cada hora, o sistema aciona a baseline Test Baselines e envia um alerta por mensagem de texto ao proprietário do nó. É possível enviar no máximo três alertas em um intervalo de 30 minutos.

Etapa 8: Criar uma regra de O&M automática de grupo de recursos

Se usar um grupo de recursos exclusivo para executar tarefas, crie uma regra de O&M automática para o grupo de recursos exclusivo de acordo com os requisitos de negócio. Isso permite que você defina alertas de monitoramento para o uso do grupo de recursos e o número de instâncias aguardando no grupo de recursos, além de executar operações de O&M relacionadas.

O recurso de O&M automática funciona associando regras de monitoramento para um grupo de recursos exclusivo, personalizando métricas de monitoramento para instâncias em execução no grupo de recursos de destino e defina regras de O&M com lógica de negócio. Quando uma instância atende às condições de filtro, o sistema aciona a ação de O&M especificada automaticamente.

1. Enter Operation Center.

2. Em seguida, crie e configure uma regra de monitoramento para o grupo de recursos.

   1. No painel de navegação à esquerda, escolha Monitoring and Alerting > Rule Management.

   2. Em seguida, crie e configure uma regra de monitoramento para o grupo de recursos.

      O procedimento para configurar uma regra de monitoramento para um grupo de recursos é semelhante ao de um nó. Basta defina Object Type como Exclusive Resource Group for Scheduling. Para mais informações sobre a configuração, consulte Create a custom monitoring rule.

      Neste exemplo, monitoramos a utilização de recursos do grupo de recursos Exclusive_Scheduling_Resource. A figura a seguir mostra a configuração.

      Nota

      Este tópico fornece um exemplo de configuração apenas para fins de demonstração. Ao realizar a configuração, crie uma regra de monitoramento para o grupo de recursos que você usa.

      Se a utilização de recursos do grupo de recursos Exclusive_Scheduling_Resource exceder 90% por 10 minutos consecutivos, o sistema aciona a regra Resource group monitoring rules e envia um alerta por mensagem de texto ao destinatário. É possível enviar no máximo três alertas.

3. Em seguida, crie uma regra de O&M automática com base na regra de monitoramento do grupo de recursos.

   1. No painel de navegação à esquerda, escolha O&M Assistant > Automatic O&M.

   2. Na guia Rule Management, clique em Create Rule.

   3. Agora, configure a regra.

      Configure a regra de acordo com os requisitos de negócio. Para mais informações sobre a configuração, consulte Create an automatic O&M rule for a resource group.

      Neste exemplo, crie e associe uma regra chamada Automatic_test à regra de monitoramento Resource group monitoring rules para o grupo de recursos exclusivos de agendamento. Ao acionar a regra Resource group monitoring rules, o DataWorks executa automaticamente uma operação de O&M nas instâncias na regra Automatic_test que atendem às condições de filtro. A figura a seguir mostra a configuração. A seguir, estão descritos alguns dos parâmetros:

      • Associated Monitoring Rule: Atualmente, é possível associar apenas uma regra de monitoramento para um grupo de recursos exclusivo para agendamento. Em seguida, crie a regra de monitoramento necessária para o grupo de recursos com antecedência.

      • O&M Operation: Atualmente, há suporte apenas para Terminate Running Instance. Após o acionamento da regra de O&M, o DataWorks interrompe as instâncias que atendem às condições de filtro.

      Se a utilização de recursos do grupo de recursos exclusivos de agendamento Exclusive_Scheduling_Resource exceder 90% por 10 minutos consecutivos, o DataWorks interrompe as tarefas horárias e de minutos que têm prioridade 1 e estão em execução no grupo de recursos Exclusive_Scheduling_Resource no workspace especificado. Essas tarefas podem ser instâncias recorrentes, instâncias de teste ou instâncias de backfill de dados.

Controle de operações de O&M (avançado)

O Operation Center fornece pontos de extensão para operações como congelar um nó, descongelar um nó, fazer backfill de dados e colocar um nó offline. Use esses pontos de extensão junto com uma extensão para personalizar a lógica da tarefa e as operações de O&M. Para mais informações, consulte Extensions overview e Example: Check events that are triggered in Operation Center.

Próximos passos

Configure regras de monitoramento do Data Quality para os dados gerados pelos nós a fim de garantir que a saída atenda às suas expectativas. Para mais informações, consulte Data Quality.