DataWorks:Depurar nós e workflows

Pré-requisito

Um nó foi desenvolvido. Para mais informações, consulte Data Studio.

Contexto

É possível debug a single node ou debug a workflow. Após a conclusão de uma execução, visualize os resultados em Operating history, use um ad hoc query para inspecionar dados e process the query results.

• Ao depurar um único nó ou um workflow, não há cobrança por recursos de agendamento do DataWorks, mas os mecanismos de computação utilizados são cobrados. Para mais detalhes sobre as taxas dos mecanismos de computação, consulte a documentação de faturamento do respectivo mecanismo.

• Consultas que utilizam aceleração de consulta possuem um tempo máximo de execução de 1 hora.

Depurar um único nó

1. Acesse a página Data Studio. No painel de navegação à esquerda, em Data Development ou Manually Triggered Workflow, localize o workflow desejado e clique duas vezes no nó que você deseja editar.

2. Execute o nó para depurá-lo.

   Na aba do editor do nó, utilize Run ou Run with Parameters na barra de ferramentas para depurar a lógica do código. Também é possível usar Quick run para depurar um trecho específico de código. A tabela a seguir descreve cada opção.

   Nota

   Caso não tenha permissões para os dados que deseja consultar ao executar um nó, consulte Overview of permission management for compute engines and data para entender o controle de permissões dos diferentes mecanismos de computação no DataWorks.

   Opção de execução	Descrição	Caso de uso
   Run (ícone )	Esta opção permite atribuir valores a variáveis e especificar um grupo de recursos para testes. Essas configurações são salvas para execuções futuras. Nota Ao executar um nó recém-criado pela primeira vez, uma caixa de diálogo de configuração é exibida. É necessário atribuir manualmente valores constantes às variáveis no código. O DataWorks salva os valores atribuídos. Na próxima execução do nó, a configuração salva será usada por padrão.	Recomendada quando for necessário depurar o código com frequência.
   Run with Parameters (ícone )	A cada execução do nó, é preciso atribuir valores constantes às variáveis do cenário de teste e especificar um grupo de recursos.	Indicada para modificar os valores atribuídos às variáveis no código ou alterar o grupo de recursos utilizado pela tarefa.
   Quick run (ícone )	Permite depurar um trecho de código diretamente na área de código da aba do editor do nó.	Ideal para depurar apenas um trecho específico de código dentro de um nó. Nota Este recurso serve exclusivamente para validar a correção de um trecho de código. Para depurar toda a lógica do código, utilize Run ou Run with Parameters.

Depurar um workflow

1. Acesse a página Data Studio. No painel de navegação à esquerda, em Data Development ou Manually Triggered Workflow, clique duas vezes no workflow desejado para abrir seu painel.

2. Depure o workflow.

   Clique em no botão Run ( icon) na barra de ferramentas do painel do workflow para executar todas as tarefas sequencialmente, respeitando suas dependências.

   Também é possível clicar com o botão direito em um nó no painel do workflow e selecione Run Node and Downstream Nodes para executar esse nó e todos os seus nós downstream conforme suas dependências.

   As opções de execução pela barra de ferramentas e pelo menu de contexto funcionam de maneiras distintas:

   • Execução pela barra de ferramentas: Executa todos os nós sequencialmente, de upstream para downstream, com base no DAG completo do workflow. Cada nó é submetido para execução de forma independente, o que equivale a executar cada nó individualmente em sua aba de edição.

   • Clique direito em Run Node and Downstream Nodes: Inicia a partir do nó selecionado e executa tanto ele quanto seus nós downstream aplicando a lógica de agendamento de dependências. Esta opção valida o status de execução e a saída dos nós upstream, diferentemente da execução direta na aba do editor (modo de depuração isolada).

   Se ocorrer um erro ao usar Run Node and Downstream Nodes, mas o mesmo SQL for executado com sucesso na aba do editor do nó, isso acontece porque a execução via clique direito aplica a lógica de agendamento de dependências para validar o status e os dados de saída dos nós upstream, enquanto a execução direta processa apenas o código SQL do nó atual. Siga os passos abaixo para solucionar o problema:

   • Verifique o status de execução dos nós upstream. A execução via clique direito valida as dependências anteriores; se um nó upstream não tiver sido executado ou tiver falhado, o nó atual apresentará erro. Confira os ícones de status dos nós upstream no painel do workflow para garantir que todos foram executados com sucesso.

   • Revise as configurações de dependência entre os nós. Certifique-se de que a passagem de parâmetros de entrada e saída está correta e que as atribuições de parâmetros de agendamento correspondem ao esperado. Na página de configurações de agendamento do nó, confirme se as tabelas de saída upstream correspondem às tabelas de entrada do nó atual.

   • Clique em com o botão direito no nó que apresentou erro, selecione a opção para visualizar os logs de execução e localize a mensagem de erro específica. Geralmente, o log detalha a causa raiz, como tabela inexistente, permissões insuficientes ou erros de sintaxe.

   • Analise possíveis problemas de sintaxe nos comentários do código SQL. Alguns mecanismos interpretam comentários de forma diferente no modo de agendamento em comparação à execução direta, o que pode gerar erros de sintaxe. Para resolver, tente remover comentários de bloco (/* */) do código SQL mantendo apenas comentários de linha (--) e verifique se o erro persiste.

   • Confirme se os dados de saída dos nós upstream estão prontos. A execução via clique direito depende das tabelas de dados geradas pelos nós upstream como entrada. Caso um nó upstream tenha sido executado com sucesso, mas seus dados de saída ainda não estejam disponíveis ou tenham sido limpos, o nó atual falhará por não conseguir ler a tabela de entrada.

   Nota

   • Se os nós em um workflow acionado manualmente possuírem variáveis com o mesmo nome e estas puderem receber valores uniformemente, defina workflow parameters no painel do workflow e atribua valores aos parâmetros. Em seguida, execute o workflow para verificar os resultados da atribuição e o status de execução das tarefas manuais.

   • Apenas alguns tipos de nó suportam parâmetros de workflow. Consulte a interface para obter detalhes.

   • Após a conclusão da execução, clique em com o botão direito em um nó no painel do workflow para visualizar seus logs de execução.

Visualizar histórico de operações

Na página Operating history do Data Studio, é possível visualizar todas as tarefas executadas pela conta atual nos últimos três dias.

Quando uma tarefa é executada no Data Studio, ela é submetida ao mecanismo correspondente para processamento. Mesmo que você feche acidentalmente a tarefa durante a execução, ela continuará em andamento. Utilize a página Operating history para consultar logs de execução ou interromper tarefas já submetidas.

Criar um arquivo de consulta ad hoc

Processar resultados de consultas