Uma tarefa agendada é executada automaticamente com base nas configurações de agendamento. Na página de tarefas agendadas do Operation Center, visualize a lista de tarefas do seu workspace, inspecione as configurações no ambiente de produção e gerencie as operações.
Contexto
No DataWorks, uma tarefa agendada executa automaticamente conforme seu cronograma. A página de gerenciamento de tarefas agendadas exibe todas essas tarefas, que podem rodar de forma automática ou manual sob demanda. Para execução manual, utilize os recursos de backfill data e teste para gerar uma instância de backfill ou de teste, destinada a processamento de dados específico ou depuração. Nas tarefas com agendamento automático, o sistema cria e executa uma nova instância agendada assim que as condições de gatilho são atendidas. Por exemplo, diariamente às 22:00, o sistema gera as instâncias agendadas para o dia seguinte.
Alterações em uma tarefa agendada no ambiente de produção geralmente afetam apenas as instâncias geradas após a modificação. Como a instância agendada do dia corrente é criada às 22:00 do dia anterior, a maioria das alterações entra em vigor na próxima execução programada. Por outro lado, uma instância de backfill de dados é gerada imediatamente com base na configuração atual da tarefa e executa assim que acionada manualmente. Para obter detalhes sobre operações de O&M, como criar, implantar, executar, pausar o agendamento e desimplantar tarefas, consulte Operações básicas de O&M para uma tarefa agendada.
Limitação
Somente usuários do DataWorks Professional Edition ou de edições superiores têm acesso aos recursos de agregação de nós, análise upstream e análise downstream na visualização DAG. Para mais informações sobre como atualizar sua edição, consulte Selecionar uma edição e método de faturamento.
Observações
Evite operar no nó
workspace-name_root. Este é o nó raiz do workspace e todas as instâncias agendadas dependem dele. Congelar este nó impede a execução das instâncias agendadas.-
Todas as alterações em uma tarefa precisam ser implantadas para terem efeito no ambiente de produção. Uma implantação pode falhar, ser bloqueada ou resultar em uma versão inesperada. Portanto, após implantar uma tarefa, acesse a página para verificar as mudanças:
Utilize o DAG para validar se as dependências upstream e downstream da tarefa estão corretas.
Verifique nos detalhes do nó se as configurações de parâmetros da tarefa no ambiente de produção correspondem ao esperado.
Acessar a página de tarefas agendadas
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
Após acessar o Operation Center, clique em no painel de navegação à esquerda. Na página Auto Triggered Node, visualize a lista de tarefas agendadas ou o DAG.
Visualizar tarefas agendadas
A lista de tarefas agendadas exibe as tarefas enviadas ao sistema de agendamento. Utilize a Smart Search ou o Filter para localizar as tarefas desejadas.
Modo de pesquisa inteligente
O recurso de pesquisa inteligente para tarefas agendadas permite inserir o conteúdo de busca diretamente; o sistema interpreta a entrada e filtra rapidamente a lista de tarefas que você deseja visualizar.
-
Realize uma pesquisa inteligente.
Clique em Smart Search na barra de filtros de tarefas agendadas. Na caixa de diálogo exibida, insira o termo de busca, como
Sort by task type, e pressione Enter para confirmar. O sistema encontra e exibe automaticamente as tarefas relevantes. -
Salve uma nova visualização.
Para reutilizar posteriormente os critérios de uma pesquisa inteligente, clique em na barra de pesquisa. Na caixa de diálogo Save View, especifique um View Name personalizado e clique em Save. A nova visualização ficará disponível na barra de pesquisa de visualizações para buscas futuras.
NotaCaso não queira mais utilizar a visualização criada, localize-a na barra de pesquisa de visualizações. Passe o mouse sobre o nome da visualização, clique em ... à direita e selecione Modify ou Delete para editar ou excluir a visualização.
-
Feche a pesquisa inteligente.
Se precisar realizar uma busca precisa usando condições de filtro, pressione Esc ou clique em Close Smart Search na barra de ferramentas de tarefas para sair do modo de pesquisa inteligente.
Modo de filtro
O recurso de filtro para tarefas agendadas permite aplicar condições específicas para refinar com precisão a lista de tarefas necessária.
-
Filtragem simples.
Na barra de ferramentas, selecione sucessivamente condições de filtro como Task Name/Task ID, Task type, Expired Within Last 180 Days, Referenced, entre outros critérios, para filtrar as tarefas que deseja visualizar.
-
Filtragem avançada.
Clique em Filter na barra de filtros de tarefas agendadas. Combine múltiplas condições, como Task Name/Task ID, Compute Engine Type, Baseline e Priority, para localizar com exatidão as tarefas necessárias.
Nós pausados (congelados): Uma tarefa congelada não é agendada automaticamente e bloqueia a execução de suas tarefas downstream. Especificamente, uma tarefa agendada pausada (congelada) gera instâncias congeladas, que não são executadas e impedem a execução das tarefas subsequentes.
Nós órfãos: Um nó órfão é uma tarefa sem dependência de nenhum nó pai, portanto não é agendada automaticamente. Se possuir muitas dependências downstream, isso pode impactar a execução das tarefas subsequentes. Para mais detalhes, consulte Lidar com nós órfãos.
Nós expirados: Nós fora do período de validade não geram instâncias e não executam.
Gerenciar tarefas agendadas
Gerenciar tarefas individuais
Para gerenciar uma tarefa agendada específica, localize-a na lista de tarefas agendadas e utilize os recursos correspondentes na coluna Actions. A tabela abaixo descreve os recursos disponíveis:
|
Recurso |
Descrição |
|
|
DAG |
O DAG exibe as dependências upstream e downstream de uma tarefa agendada. É possível realizar operações relacionadas nas tarefas dentro do DAG. Para mais informações, consulte Visualizar o DAG de uma tarefa agendada. |
|
|
Test |
Testa se uma tarefa agendada executa conforme o esperado. Após o teste, uma instância de teste é gerada. Acompanhe o status de execução da tarefa de teste na página Test Instance. Para mais informações, consulte Instâncias de teste. Nota
Execuções de teste também geram dados de negócios. Proceda com cautela. |
|
|
Run |
Repõe dados históricos ou de períodos futuros. Após realizar uma operação de backfill de dados, uma instância de backfill é gerada. Acompanhe o status de execução da tarefa de backfill na página Data Backfill Instance. Para mais informações, consulte Instâncias de backfill de dados. |
|
|
More |
Freeze |
Quando uma tarefa e seus dependentes downstream não precisarem executar por um período, pause (congele) a tarefa. Uma tarefa agendada congelada gera instâncias congeladas. Essas instâncias não são executadas e bloqueiam a execução das tarefas downstream. Nota
Não opere no nó |
|
Unfreeze |
Reverte o congelamento de uma tarefa agendada. |
|
|
Change Owner |
Altera o proprietário da tarefa atual. |
|
|
Modify Scheduling Resource Group |
Modifica o grupo de recursos de agendamento utilizado pela tarefa agendada. |
|
|
Modify label |
Permite modificar, adicionar ou desassociar tags do ativo da tarefa agendada. Para gerenciar tags centralmente, acesse Gerenciamento de tags. |
|
|
Configure Data Quality Rules |
Configura regras de monitoramento de qualidade de dados para a tarefa atual. Durante a execução, os dados são validados conforme essas regras. Para mais informações, consulte Visão geral do Data Quality. |
|
|
View Instances |
Leva à página Scheduled Instance, que exibe as instâncias geradas pela tarefa atual. |
|
|
View Lineage |
Exibe as informações de linhagem da tarefa atual. |
|
|
View cycle task details |
Mostra as propriedades básicas da tarefa. Para detalhes sobre os parâmetros relacionados, consulte Visualizar detalhes do nó. |
|
|
Add Alert Rule |
Permite configurar regras de alerta personalizadas para monitorar o status diário de execução das tarefas agendadas. Após a configuração, visualize as regras de monitoramento adicionadas na página . Para mais informações, consulte Configurar regras de monitoramento. |
|
|
Add to Baseline Monitoring |
Adiciona a tarefa atual a uma baseline. Para mais informações sobre baselines, consulte Visão geral da baseline inteligente. |
|
Operações em lote de tarefas
Para realizar operações em lote nas tarefas agendadas, selecione as tarefas desejadas na lista e utilize as opções abaixo da lista, como Freeze e Unfreeze.
Visualizar o DAG de uma tarefa agendada
Clique em DAG na coluna Actions de uma tarefa agendada para acessar a página de detalhes do DAG dessa tarefa.
Recursos do painel DAG
Na página de detalhes do DAG da tarefa agendada, utilize os seguintes recursos para agregar nós, analisar tarefas downstream e ajustar o estilo de exibição do DAG no painel.
|
Recurso |
Descrição |
|
|
|
Clique em ícones de recurso no canto superior esquerdo conforme necessário para agregar informações dos nós pelas seguintes dimensões:
|
|
|
|
Quando houver excesso de tarefas agendadas ou muitos níveis hierárquicos, utilize o recurso Downstream Analysis para contabilizar a quantidade de tarefas downstream afetadas pela tarefa atual. |
|
|
|
Os ícones de recurso no canto superior direito permitem ajustar o estilo de exibição do DAG conforme necessário. |
|
Operações no DAG
Na página de detalhes do DAG da tarefa agendada, clique com o botão direito em um nó do workflow para visualizar suas dependências upstream e downstream, detalhes do código e outras informações relacionadas. As operações disponíveis são:
Show Ancestor Nodes: Expande as tarefas upstream da tarefa atual por nível, até o limite de 6 níveis. Este recurso ajuda a identificar quais tarefas impactam a saída de dados da tarefa atual.
Show Descendent Nodes: Expande as tarefas downstream da tarefa atual por nível, até o limite de 6 níveis. Útil para identificar quais tarefas sofrem impacto da saída de dados da tarefa atual.
View Code: Verifica os detalhes do código da tarefa atual no ambiente de produção. Caso o código não esteja conforme o esperado, confirme se a versão mais recente da tarefa foi implantada com sucesso. Para informações sobre a implantação de tarefas de produção, consulte Implantar tarefas.
Edit Node: Leva à página do Data Studio e abre a tarefa atual.
Para outras operações, consulte Gerenciar tarefas agendadas.
Visualizar detalhes do nó
Visualize as propriedades da tarefa e expanda os detalhes para examinar atributos específicos, parâmetros de contexto, logs de operação e código. Isso permite validar se os parâmetros de agendamento, grupos de recursos e o código no ambiente de produção estão conforme o esperado. O procedimento é o seguinte:
Na página de detalhes do DAG da tarefa agendada, clique em um nó do workflow. Nas informações do nó exibidas, clique para expandir os detalhes e visualize as informações relacionadas nas abas abaixo.
|
Recurso |
Descrição |
|
Property |
Exibe as configurações de agendamento da tarefa no ambiente de produção. Para mais informações sobre os parâmetros, consulte Configurações de agendamento. Nota
Se as configurações de parâmetros na página do Data Studio e na página de tarefas agendadas do Operation Center estiverem inconsistentes, verifique se as alterações da tarefa foram implantadas com sucesso.
|
|
Operation Log |
Registra o histórico de operações da tarefa, incluindo horário, operador e ações específicas realizadas. |
|
Code |
Exibe o código mais recente da tarefa atual no ambiente de produção. Se o código não estiver conforme o esperado, verifique se a versão mais recente da tarefa foi implantada com sucesso. Para mais informações, consulte Implantar tarefas. |