Uma tarefa agendada é executada automaticamente com base nas configurações de agendamento definidas. Na página de tarefas agendadas do Operation Center, visualize a lista de tarefas agendadas do seu workspace, inspecione as configurações delas no ambiente de produção e execute operações de gerenciamento.
Contexto
No DataWorks, uma tarefa agendada é executada automaticamente conforme seu cronograma. Visualize todas as tarefas agendadas na página de gerenciamento correspondente. Essas tarefas podem ser executadas automaticamente conforme o agendamento ou manualmente sob demanda. Para executar uma tarefa manualmente, utilize os recursos backfill data e test para gerar uma instância de backfill ou uma instância de teste, destinadas a processamento de dados específicos ou depuração. No caso de tarefas com agendamento automático, o sistema cria e executa uma nova scheduled instance quando as condições de gatilho são atendidas. Por exemplo, todos os dias às 22:00, o sistema gera as instâncias agendadas para o dia seguinte.
Alterações em uma tarefa agendada no ambiente de produção geralmente afetam apenas as instâncias geradas após a modificação. A maioria das alterações entra em vigor na próxima execução agendada, pois a instância do dia atual é gerada às 22:00 do dia anterior. Já uma instância de backfill de dados é gerada imediatamente com base na configuração atual da tarefa e executada assim que acionada manualmente. Para obter detalhes sobre operações de O&M, como criar, implantar, executar, pausar o agendamento e desimplantar tarefas, consulte Basic O&M operations for a scheduled task.
Limitação
Somente usuários do DataWorks Professional Edition ou de edições superiores podem utilizar os recursos de agregação de nós, análise de upstream e análise de downstream na visualização DAG. Para mais informações sobre como atualizar sua edição, consulte Select an edition and billing method.
Observações
Não opere no nó
workspace-name_root. Este é o nó raiz do workspace e todas as instâncias agendadas dependem dele. Se você congelar este nó, as instâncias agendadas não poderão ser executadas.-
Todas as alterações em uma tarefa devem ser implantadas para terem efeito no ambiente de produção. Uma implantação pode falhar, ser bloqueada ou resultar em uma versão inesperada. Portanto, após implantar uma tarefa, acesse a página para verificar as alterações:
Utilize o DAG para confirmar se as dependências upstream e downstream da tarefa estão corretas.
Use os node details para validar se as configurações de parâmetros da tarefa no ambiente de produção correspondem ao esperado.
Acessar a página de tarefas agendadas
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
Após acessar o Operation Center, clique em no painel de navegação à esquerda. Na página Auto Triggered Nodes, visualize a lista de tarefas agendadas ou o DAG.
Visualizar tarefas agendadas
A lista de tarefas agendadas exibe as tarefas enviadas ao sistema de agendamento. Utilize a Intelligent Search ou o Filter para localizar as tarefas que deseja visualizar.
Modo de pesquisa inteligente
Com o recurso de pesquisa inteligente para tarefas agendadas, basta inserir o conteúdo desejado e o sistema o interpreta automaticamente, filtrando rapidamente a lista de tarefas que você precisa visualizar.
-
Realize uma pesquisa inteligente.
Clique no botão Intelligent Search na barra de filtros de tarefas agendadas. Na caixa de diálogo exibida, insira o termo de busca, como
Sort by task type, e pressione Enter para confirmar. O sistema encontra e exibe automaticamente as tarefas relevantes. -
Salve uma nova visualização.
Para reutilizar posteriormente os critérios de uma pesquisa inteligente, clique em na barra de pesquisa. Na caixa de diálogo Save View, especifique um View Name personalizado e clique em Save. Depois disso, encontre e use a nova visualização na barra de pesquisa de visualizações para buscas futuras.
NotaCaso não queira mais utilizar a visualização criada, localize o nome dela na barra de pesquisa de visualizações. Passe o mouse sobre o nome da visualização, clique no botão ... à direita e selecione Modify ou Delete.
-
Feche a pesquisa inteligente.
Se precisar realizar uma busca precisa usando condições de filtro, pressione Esc ou clique no botão Close Intelligent Search na barra de ferramentas de tarefas para sair do modo de pesquisa inteligente.
Modo de filtro
O recurso de filtro para tarefas agendadas permite utilizar condições específicas para refinar com precisão a lista de tarefas necessária.
-
Filtragem simples.
Na barra de ferramentas, selecione múltiplas condições de filtro individualmente com base em Task Name/Task ID, Task type, Expired Within Last 180 Days, Referenced e outros critérios para filtrar as tarefas desejadas.
-
Filtragem avançada.
Clique no botão Filter na barra de filtros de tarefas agendadas. Combine diversas condições, como Task Name/Task ID, Compute Engine Type, Baseline e Priority, para localizar exatamente as tarefas necessárias.
Nós pausados (congelados): Uma tarefa congelada não é agendada automaticamente e impede a execução de suas tarefas downstream. Especificamente, uma tarefa agendada pausada (congelada) gera instâncias congeladas, que não são executadas e bloqueiam a execução das tarefas downstream dependentes.
Nós órfãos: Um nó órfão é uma tarefa sem dependência de nenhum nó pai. Esse tipo de tarefa não é agendado automaticamente. Caso um nó órfão possua muitas dependências downstream, isso afetará a execução das tarefas subsequentes. Para mais informações, consulte Handle orphan nodes.
Nós expirados: Nós fora do período de validade não geram instâncias e não são executados.
Gerenciar tarefas agendadas
Gerenciar tarefas individuais
Para gerenciar uma tarefa agendada específica, localize-a na lista de tarefas agendadas e utilize os recursos correspondentes na coluna Actions. A tabela a seguir descreve os recursos disponíveis:
|
Recurso |
Descrição |
|
|
DAG |
O DAG exibe as dependências upstream e downstream de uma tarefa agendada. É possível realizar operações relacionadas nas tarefas dentro do DAG. Para mais informações, consulte View the DAG of a scheduled task. |
|
|
Test |
Testa se uma tarefa agendada é executada conforme o esperado. Após o teste, uma instância de teste é gerada. Visualize o status de execução da tarefa de teste na página Test Instance. Para mais informações, consulte Test instances. Nota
Execuções de teste também geram dados de negócios. Proceda com cautela. |
|
|
Run |
Faz backfill de dados históricos ou de períodos futuros. Após realizar uma operação de backfill de dados, uma instância de backfill é gerada. Visualize o status de execução da tarefa de backfill na página Data Backfill Instance. Para mais informações, consulte Backfill data instances. |
|
|
More |
Freeze |
Quando uma tarefa e suas dependentes downstream não precisarem ser executadas por um período, pause (congele) a tarefa. Uma tarefa agendada congelada gera instâncias congeladas. Instâncias congeladas não são executadas e bloqueiam a execução de suas tarefas downstream. Nota
Não opere no nó |
|
Unfreeze |
Descongela uma tarefa agendada congelada. |
|
|
Change Owner |
Altera o proprietário da tarefa atual. |
|
|
Modify Scheduling Resource Group |
Altera o grupo de recursos de agendamento utilizado pela tarefa agendada. |
|
|
Modify label |
Modifica, adiciona ou desassocia tags do ativo da tarefa agendada. Para gerenciar tags centralizadamente, acesse Tag management. |
|
|
Configure Data Quality Rules |
Configura regras de monitoramento de qualidade de dados para a tarefa atual. Durante a execução da tarefa, os dados são validados conforme essas regras. Para mais informações, consulte Data Quality overview. |
|
|
View Instances |
Acessa a página Scheduled Instance, que mostra as instâncias geradas pela tarefa atual. |
|
|
View Lineage |
Visualiza as informações de linhagem da tarefa atual. |
|
|
View cycle task details |
Visualiza as propriedades básicas da tarefa. Para mais informações sobre os parâmetros relacionados, consulte View node details. |
|
|
Add Alert Rule |
Configura regras de alerta personalizadas para ajudar a monitorar o status diário de execução das tarefas agendadas. Após concluir a configuração, visualize as regras de monitoramento adicionadas na página . Para mais informações, consulte Configure monitoring rules. |
|
|
Add Baseline |
Adiciona a tarefa atual a uma baseline. Para mais informações sobre baselines, consulte Intelligent baseline overview. |
|
Operações em lote de tarefas
Para realizar operações em lote nas tarefas agendadas, selecione as tarefas desejadas na lista e utilize as opções abaixo da lista, como Freeze e Unfreeze.
Visualizar o DAG de uma tarefa agendada
Clique no botão DAG na coluna Actions de uma tarefa agendada para acessar a página de detalhes do DAG dessa tarefa.
Recursos do painel DAG
Na página de detalhes do DAG da tarefa agendada, utilize os seguintes recursos para agregar nós, analisar tarefas downstream e ajustar o estilo de exibição do DAG no painel.
|
Recurso |
Descrição |
|
|
|
Clique nos ícones de recurso no canto superior esquerdo conforme necessário para agregar informações dos nós pelas seguintes dimensões:
|
|
|
|
Quando houver muitas tarefas agendadas ou muitos níveis hierárquicos, utilize o recurso Downstream Analysis para contar o número de tarefas downstream afetadas pela tarefa atual. |
|
|
|
Clique nos ícones de recurso no canto superior direito conforme necessário para ajustar o estilo de exibição do DAG. |
|
Operações no DAG
Na página de detalhes do DAG da tarefa agendada, clique com o botão direito em um nó do workflow para visualizar suas dependências upstream e downstream, detalhes do código e outras informações relacionadas. As operações disponíveis são:
Show Ancestor Nodes: Expande as tarefas upstream da tarefa atual por nível. É possível expandir até 6 níveis. Utilize este recurso para identificar quais tarefas afetam a saída de dados da tarefa atual.
Show Descendent Nodes: Expande as tarefas downstream da tarefa atual por nível. É possível expandir até 6 níveis. Utilize este recurso para identificar quais tarefas são afetadas pela saída de dados da tarefa atual.
View Code: Verifica os detalhes do código da tarefa atual no ambiente de produção. Se o código não estiver conforme o esperado, verifique se a versão mais recente da tarefa foi implantada com sucesso. Para informações sobre como implantar uma tarefa de produção, consulte Deploy tasks.
Edit Node: Acesse a página do Data Studio e abra a tarefa atual.
Para outras operações, consulte Manage scheduled tasks.
Visualizar detalhes do nó
Você pode visualizar as propriedades da tarefa e expandir os detalhes para ver atributos detalhados, parâmetros de contexto, logs de operação e código, a fim de verificar se os parâmetros de agendamento, grupos de recursos e o código no ambiente de produção estão conforme o esperado. O procedimento é o seguinte:
Na página de detalhes do DAG da tarefa agendada, clique em um nó do workflow. Nas informações do nó exibidas, clique para expandir os detalhes e visualize as informações relacionadas nas abas abaixo.
|
Recurso |
Descrição |
|
Property |
Exibe as configurações de agendamento da tarefa no ambiente de produção. Para mais informações sobre os parâmetros, consulte Schedule settings. Nota
Se as configurações de parâmetros na página do Data Studio e na página de tarefas agendadas do Operation Center estiverem inconsistentes, verifique se as alterações da tarefa foram implantadas com sucesso.
|
|
Operation Log |
Exibe os registros de operação da tarefa, incluindo horário da operação, operador e ações específicas realizadas. |
|
Code |
Exibe o código mais recente da tarefa atual no ambiente de produção. Se o código não estiver conforme o esperado, verifique se a versão mais recente da tarefa foi implantada com sucesso. Para mais informações, consulte Deploy tasks. |