DataWorks:Apêndice: Recursos do DAG

Clique em DAG ao lado de um nó para abrir sua visualização de DAG. A interface do DAG possui uma tela central que exibe o grafo de nós, uma lista de nós à esquerda para seleção e controles para recursos como agregação de nós, análise upstream e análise downstream na parte superior. É possível realizar as seguintes operações na visualização de DAG. Este tópico usa uma instância acionada automaticamente como exemplo.

• Agregação de nós

  Se uma instância acionada automaticamente tiver muitos nós ou níveis de dependência, agrupe os nós por dimensões como status do nó, workspace, proprietário ou prioridade para visualizar a contagem de nós de uma dimensão específica. Isso ajuda a entender a distribuição dos nós e gerencie a execução com mais eficácia. Os exemplos a seguir mostram a exibição quando os nós estão como Not Aggregate e quando estão aggregated by priority.

  Nota

  A agregação de nós por status só é possível no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • Sem agregação, cada nó aparece individualmente no DAG. Cada nó exibe seu nome e tipo, como virtual node, ODPS SQL ou batch synchronization. As linhas entre os nós indicam dependências. Uma mensagem na parte inferior indica que a visualização atual contém 10 nós em 8 níveis de dependência.

  • Com os nós agregados por prioridade, a exibição é a seguinte. É possível ver rapidamente que o nó atual possui 6 nós filhos com prioridade 1. O DAG agregado mostra o caminho de dependência, começando por fanyi_test_root (nó virtual) no topo, passando por User Behavior Analysis Case Description (nó virtual), table_ddl_ods_raw_log_d (ODPS SQL), dois grupos agregados contendo dois nós cada, depois dws_user_info_all_di (ODPS SQL), ads_user_info_1d (ODPS SQL) e finalmente User Behavior Analysis Result Query (ODPS SQL). Setas entre os nós indicam dependências de agendamento. O painel esquerdo lista todos os nomes das tarefas, permitindo selecione nós por meio de caixas de seleção.

• Análise upstream

  Caso um nó esteja pendente por muito tempo, execute uma análise upstream. Essa funcionalidade revela os nós upstream bloqueadores, permitindo localizar e resolver erros de execução rapidamente para melhorar a eficiência.

  Nota

  • O recurso de análise upstream está disponível apenas no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • A Upstream Analysis aplica-se somente a nós que não estão em execução. São exibidos no máximo seis níveis. Para visualizar mais níveis, clique em Continue Analysis no canto superior esquerdo.

  • Essa análise ajuda a encontrar rapidamente os nós ancestrais dos quais o nó atual depende, mas que não foram executados com êxito. Esses nós podem estar nos estados Running, Failed, Pending (Time), Pending (Resource) ou Frozen. Nós ancestrais nesses estados bloqueiam a execução downstream.

  Se um nó de exemplo não for executado por um longo período, selecione-o e clique em Upstream Analysis no canto superior esquerdo. O resultado da análise mostra que o nó upstream bloqueador é o nó old_work_root. Com esse resultado, localize rapidamente o nó bloqueador e trate quaisquer erros relacionados.

  Nota

  Próximas etapas:

  • Após localizar a instância chave, filtre por uma dimensão de agregação para visualizar o workspace ou o proprietário da instância chave que afeta a saída de dados do nó atual. Isso melhora a eficiência operacional.

  • Depois de identificar a instância bloqueadora, clique com o botão direito nela e selecione Run Diagnostics para analisar rapidamente o motivo da falha na execução. Para obter mais informações, consulte Diagnóstico inteligente.

  Nos resultados da análise upstream, old_work_root é um nó virtual, e seu nó dependente downstream é o nó sd do tipo ODPS SQL.

• Análise downstream

  Por padrão, a visualização de DAG exibe três níveis: o nó atual, seus nós ancestrais imediatos (um nível acima) e seus nós descendentes imediatos (um nível abaixo). Quando uma instância acionada automaticamente possui muitos nós ou níveis, pode ser difícil visualizar todo o escopo de impacto. Utilize o recurso de análise downstream para filtrar por critérios como status do nó, workspace, proprietário ou prioridade. Isso facilita a contagem do número de nós em diferentes níveis ou o total de nós em todos os níveis para uma dimensão específica.

  Nota

  • Visualização mesclada ou em camadas no estado agregado: Ao clique em Downstream Analysis, os nós são agregados por proprietário por padrão, e o sistema calcula o número total de nós para essa dimensão em todos os níveis.

  • Visualização agrupada sem agregação: Se houver mais de 10 nós downstream, eles serão exibidos em grupos por padrão. Essa visualização proporciona uma compreensão mais intuitiva do impacto comercial dos nós.

  • Visualização desagrupada: Na visualização não agregada, clique em Ungroup para expandir os nós agrupados. Isso permite visualizar as relações upstream e downstream de todos os nós.

  • A visualização Layer para uma Downstream Analysis mostra no máximo seis níveis. Para visualizar mais níveis, clique em Continue Analysis no canto superior esquerdo.

  O exemplo a seguir mostra os resultados da execução de uma Downstream Analysis no nó tag:

  • Visualização mesclada: Mescla os nós downstream analisados com base na dimensão de agregação atual. Em um estado não agregado, os nós downstream são exibidos em grupos. Neste exemplo, o método Merge é utilizado e os nós estão aggregated by workspace. Todos os nós downstream são mesclados em uma única camada, mostrando o número de nós pertencentes a diferentes workspaces. Após clique em no botão Merged na visualização de DAG, o resultado da análise downstream para o nó tag é exibido no modo mesclado. Os sete nós downstream aparecem em grupos agregados, com cada grupo contendo um número diferente de nós descendentes. A barra de status na parte inferior indica que 42 nós e 5 níveis estão sendo exibidos atualmente.

  • Visualização em camadas: Exibe os nós downstream analisados por nível de dependência com base na dimensão de agregação atual. Neste exemplo, o método Layer é usado e os nós estão aggregated by workspace, mostrando o número de nós em diferentes workspaces em diferentes níveis. Após selecione a visualização DAG e clique em no botão Layered, os nós downstream são organizados de cima para baixo por nível. Cada nível mostra o número de nós que contém, e a parte inferior da página exibe o número total de nós e níveis mostrados (por exemplo, "42 nodes and 5 levels are displayed").

• Estilos de exibição do DAG

  Clique em nos ícones de função no canto superior direito da visualização de DAG para ajustar seu estilo de exibição. Por exemplo, utilize Toggle Full Screen View ou Fit Screen.

  Os exemplos a seguir mostram o DAG para os nós downstream de um nó nas visualizações Ungroup e Group.

  • DAG Ungroup: Esta visualização ajuda a compreender claramente as relações upstream e downstream de todos os nós. No modo desagrupado, cada nó downstream é exibido como um cartão individual organizado por nível de dependência, mostrando um total de 15 nós e 2 níveis. Clique em no ícone Snapshot na barra de ferramentas lateral direita para salve o DAG atual como uma imagem.

  • DAG Group: Esta visualização exibe os nós downstream de maneira ordenada, com cinco nós por linha, facilitando a visualização rápida do número total de nós downstream.

  • DAG Ungroup: Esta visualização ajuda a compreender claramente as relações upstream e downstream de todos os nós. No modo desagrupado, cada nó downstream é exibido como um cartão individual organizado por nível de dependência, mostrando um total de 15 nós e 2 níveis. Clique em no ícone Snapshot na barra de ferramentas lateral direita para salve o DAG atual como uma imagem.

  • DAG Group: Esta visualização exibe os nós downstream de maneira ordenada, com cinco nós por linha, facilitando a visualização rápida do número total de nós downstream.