DataWorks:Executar testes e visualizar instâncias de teste

Operação

Descrição

Filter

Filtre as instâncias a serem consultadas por Node Name, Node ID, Task type, Run At, Data Timestamp, Scheduling Resource Group, My Node, The node I tested today e Pause (freeze) a node.

Tasks

As instâncias de teste que atendem às condições de filtro são exibidas em lista.

Actions

Execute as seguintes operações nas instâncias de teste:

• DAG: O DAG exibe as dependências de upstream e downstream de uma instância de teste. Execute operações relacionadas no DAG. Para mais informações, consulte gerencie DAGs.

• AI Diagnostics: Abre o painel do Data O&M Agent no lado direito da página e envia automaticamente a instrução de diagnóstico da instância atual para analisar a tarefa. Quando uma tarefa não for executada conforme o esperado, use este recurso para localizar o problema. Para mais informações, consulte Data O&M Agent.

• Rerun: Execute novamente uma tarefa bem-sucedida ou que falhou. Após a execução bem-sucedida, a tarefa pode acionar o agendamento de tarefas de downstream no estado não executado. Esse recurso é comumente usado para lidar com nós que falharam ou foram omitidos.

  Nota

  É possível executar novamente apenas tarefas no estado Successful ou Failed.

• More:

  • Rerun Descendent Nodes: Execute novamente nós de downstream de uma tarefa bem-sucedida ou que falhou. Selecione as tarefas de downstream a serem executadas novamente. Após a execução bem-sucedida, a tarefa pode acionar o agendamento de tarefas de downstream no estado não executado. Esse recurso é comumente usado para reparo de dados.

    Nota

    É possível executar novamente apenas tarefas no estado Successful ou Failed. Se selecionar tarefas em outros estados, a página exibirá a mensagem The Selected Nodes Include Nodes That Do Not Meet the Run Conditions e o envio da execução será bloqueado.

  • Set to Successful: Defina uma tarefa que falhou para o estado de sucesso. Quando uma tarefa falha, mas não deve bloquear as tarefas de downstream, use este recurso. É comumente usado para lidar com nós que falharam.

  • Terminate: Encerre uma tarefa que não precisa mais ser executada. Após o encerramento, a tarefa sai com status de falha.

    Nota

    É possível encerrar apenas instâncias no estado Waiting time, Waiting for resources ou Running.

  • Freeze: Use este recurso quando uma tarefa e suas tarefas de downstream não precisarem ser executadas por um período. Para mais informações, consulte Freeze and unfreeze instances.

    Nota

    Não execute operações no nó projectname_root. Este é o nó raiz do workspace e todas as instâncias de tarefas agendadas dependem dele. Se congelar este nó, as instâncias de tarefas agendadas não poderão ser executadas.

  • Unfreeze: Descongele uma instância que está no estado congelado.

    • Se a instância ainda não foi executada, ela será executada automaticamente após a conclusão das tarefas de upstream.

    • Se todas as tarefas de upstream tiverem terminado a execução, a instância será definida diretamente para o estado de falha. Execute-a novamente de forma manual para que a instância seja executada normalmente.

    Nota

    A operação de descongelamento aplica-se apenas à instância específica. Se a tarefa agendada ainda estiver no estado congelado, as instâncias geradas no dia seguinte permanecerão nesse estado.

  • View Lineage: Visualize as informações de linhagem da instância atual.

  • View cycle task details: Visualize as informações básicas da instância atual.

  • View Runtime Log: Após o início da execução de uma tarefa, visualize o processo de execução detalhado no log de execução. Para descrições dos parâmetros principais nos logs, consulte Runtime log parameters.

Operações em lote

Selecione várias tarefas em lotes e execute operações como Terminate, Rerun, Set to Successful, Change Resource Group, Freeze, Unfreeze e Export Query Results.

Itens por página

Altere o número de itens exibidos por página. O limite é de 200 itens por página.

Recurso

Descrição

Recursos do painel de DAG

Clique em DAG ao lado de uma tarefa para abrir seu DAG. Execute as seguintes operações no DAG:

• Search: Filtre instâncias por Node Name, Node ID, Instance ID, Instance Name, entre outros.

• Select DAG Display Style: Clique nos ícones de recursos no canto superior direito da visualização em DAG para ajustar o estilo de exibição conforme necessário. Da esquerda para a direita: Open Map/Close Map, Show Alert Status/Hide Alert Status, Update Node Status, Zoom In DAG canvas, Zoom Out DAG canvas, proporção de layout 1:1 entre nós e canvas, Automático Fit Screen com base no tamanho atual da janela e Toggle Full Screen View alternar.

Operações de instância única

Clique com o botão direito do mouse no nó de destino para executar operações relacionadas.

• Terminate: Encerre uma tarefa que não precisa mais ser executada. Após o encerramento, a tarefa sai com status de falha.

• Rerun: Execute novamente uma tarefa bem-sucedida ou que falhou.

  Na caixa de diálogo de confirmação, a opção Rerun With Latest Configuration vem desativada por padrão. Se ativada, as seguintes propriedades da instância de teste serão atualizadas para as configurações mais recentes da tarefa: recurso de computação, grupo de recursos, CUs, prioridade, imagem, tipo de agendamento, política de nova execução, definição de tempo limite, proprietário, tags e configurações de DQC. Se a configuração do nó foi modificada após a geração da instância de teste, ative essa opção para executar a instância novamente com a configuração mais recente. Independentemente de essa opção estar ativada, o código do nó sempre usa a versão mais recente em cada nova execução.

  Importante

  Se as propriedades da instância foram modificadas manualmente, não ative essa opção. As alterações nas propriedades da instância podem ser redefinidas.

• More: Expande o menu para incluir operações como Set to Successful e Freeze.

Detalhes de instância única

Execute as seguintes operações:

• View Log Data: Após o início da execução de uma tarefa, visualize o processo de execução detalhado no log de execução. Para descrições dos parâmetros principais nos logs, consulte Runtime log parameters.

• Show Details: Visualize informações sobre a tarefa atual, incluindo propriedades, contexto, log de execução, log de operações e código. Para mais informações, consulte View instance details.

Recurso

Descrição

General

General: Nesta guia, visualize as propriedades de agendamento da tarefa no ambiente de produção. Para descrições dos parâmetros na página, consulte configure schedule settings.

• Interpretação do status da tarefa: O status está relacionado à execução da tarefa. Se uma tarefa estiver no estado não executado, aguardando horário, aguardando recursos ou congelada, consulte Troubleshoot task status issues para solução de problemas.

• Tempo gasto aguardando recursos: Se uma tarefa aguardar recursos por muito tempo, use o recurso run diagnostics para identificar quais tarefas estão ocupando recursos durante a execução da tarefa atual e localizar rapidamente tarefas anômalas para solução de problemas.

• Duração excessiva: Se a duração da tarefa for significativamente maior em comparação com execuções anteriores, consulte os seguintes cenários para solução de problemas.

  • Tarefas de não sincronização: Entre em contato com o responsável pelo mecanismo de computação correspondente.

  • Tarefas de sincronização em lote: Uma fase específica da tarefa pode estar sendo executada lentamente, ou a tarefa pode estar travada em um estado prolongado de espera por recursos. Para mais informações, consulte Troubleshoot batch synchronization tasks.

• Regras de monitoramento: Visualize as regras de monitoramento associadas à instância atual. Clique em Create no lado direito para criar rapidamente uma regra de monitoramento para o status de execução da tarefa. Para mais informações, consulte Create a monitoring rule.

  Nota

  Apenas as regras de monitoramento para o status de execução da tarefa podem ser visualizadas aqui. Regras de monitoramento de Data Quality não são suportadas.

• Monitoramento de linha de base: Visualize as linhas de base associadas à instância atual. Clique em Create no lado direito para criar rapidamente uma linha de base. Para mais informações, consulte gerencie baselines.

• Número máximo de instâncias simultâneas: Exibe o número máximo de instâncias simultâneas configuradas para a tarefa. O valor é Unlimited ou um número específico (1 a 10000). Essa configuração limita o número máximo de instâncias da mesma tarefa que podem ser executadas simultaneamente. O limite aplica-se a instâncias agendadas, instâncias de backfill e instâncias de teste.

Runtime Log

Runtime Log: Após o início da execução de uma tarefa, visualize o processo de execução detalhado no log de execução. Para descrições dos parâmetros principais nos logs, consulte Runtime log parameters.

Operation Log

Operation Log: Visualize os registros de operação de uma tarefa ou instância, incluindo o horário, o operador e a operação específica.

Code

Code: Visualize o código mais recente da tarefa atual no ambiente de produção. Se o código não atender às expectativas, verifique se a versão mais recente da tarefa foi implantada com sucesso. Para mais informações, consulte Deploy nodes.