DataWorks:Apêndice: Recursos do DAG

Clique em DAG ao lado de um nó para abrir sua visualização de DAG. A interface do DAG possui uma tela central que exibe o grafo de nós, uma lista de nós à esquerda para seleção e controles para recursos como agregação de nós, análise upstream e análise downstream na parte superior. Você pode executar as seguintes operações na visualização do DAG. Este tópico usa uma instância acionada automaticamente como exemplo.

• Agregação de nós

  Se uma instância acionada automaticamente tiver muitos nós ou níveis de dependência, agrupe os nós por dimensões como status do nó, workspace, proprietário ou prioridade para visualizar a contagem de nós de uma dimensão específica. Isso ajuda a entender a distribuição dos nós e a gerenciar a execução com mais eficácia. Os exemplos a seguir mostram a exibição quando os nós estão definidos como Not Aggregate e quando estão aggregated by priority.

  Nota

  A agregação de nós por status só é possível no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • Sem agregação, cada nó aparece individualmente no DAG. Cada nó exibe seu nome e tipo, como virtual node, ODPS SQL ou batch synchronization. As linhas entre os nós indicam dependências. Uma mensagem na parte inferior indica que a visualização atual contém 10 nós em 8 níveis de dependência.

  • Com a agregação por prioridade, a exibição é a seguinte. Identifique rapidamente que o nó atual possui 6 nós filhos com prioridade 1. O DAG agregado mostra o caminho de dependência, começando por fanyi_test_root (nó virtual) no topo, passando por User Behavior Analysis Case Description (nó virtual), table_ddl_ods_raw_log_d (ODPS SQL), dois grupos agregados contendo dois nós cada, depois dws_user_info_all_di (ODPS SQL), ads_user_info_1d (ODPS SQL) e finalmente User Behavior Analysis Result Query (ODPS SQL). Setas entre os nós indicam dependências de agendamento. O painel esquerdo lista todos os nomes das tarefas e permite selecionar nós usando caixas de seleção.

• Análise upstream

  Quando um nó fica pendente por muito tempo, realize uma análise upstream. Essa funcionalidade revela os nós upstream bloqueadores, permitindo localizar e resolver erros de execução rapidamente para melhorar a eficiência.

  Nota

  • O recurso de análise upstream está disponível apenas no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • Execute a Upstream Analysis apenas em nós que não estão em execução. São exibidos no máximo seis níveis. Para visualizar mais níveis, clique em Continue Analysis no canto superior esquerdo.

  • Essa análise ajuda a encontrar rapidamente os nós ancestrais dos quais o nó atual depende, mas que não foram executados com êxito. Esses nós podem estar nos estados Running, Failed, Pending (Time), Pending (Resource) ou Frozen. Nós ancestrais nesses estados bloqueiam a execução downstream.

  Se um nó de exemplo não for executado por um longo período, selecione-o e clique em Upstream Analysis no canto superior esquerdo. O resultado da análise mostra que o nó upstream bloqueador é o nó old_work_root. Com esse resultado, localize o nó bloqueador e trate quaisquer erros relacionados.

  Nota

  Próximas etapas:

  • Após localizar a instância principal, filtre por uma dimensão de agregação para visualizar o workspace ou o proprietário da instância crítica que afeta a saída de dados do nó atual. Isso melhora a eficiência operacional.

  • Depois de identificar a instância bloqueadora, clique com o botão direito nela e selecione Run Diagnostics para analisar rapidamente o motivo da falha na execução. Para mais informações, consulte Intelligent diagnosis.

  Nos resultados da análise upstream, old_work_root é um nó virtual, e seu nó dependente downstream é o nó sd do tipo ODPS SQL.

• Análise downstream

  Por padrão, a visualização do DAG exibe três níveis: o nó atual, seus nós ancestrais imediatos (um nível acima) e seus nós descendentes imediatos (um nível abaixo). Quando uma instância acionada automaticamente possui muitos nós ou níveis, torna-se difícil visualizar todo o escopo de impacto. Utilize o recurso de análise downstream para filtrar por critérios como status do nó, workspace, proprietário ou prioridade. Isso facilita a contagem de nós em diferentes níveis ou o total de nós em todos os níveis para uma dimensão específica.

  Nota

  • Visualização mesclada ou em camadas no estado agregado: Ao clicar em Downstream Analysis, os nós são agregados por proprietário por padrão, e o sistema calcula o número total de nós dessa dimensão em todos os níveis.

  • Visualização agrupada sem agregação: Se houver mais de 10 nós downstream, eles serão exibidos em grupos por padrão. Essa visualização proporciona uma compreensão mais intuitiva do impacto comercial dos nós.

  • Visualização desagrupada: Na visualização não agregada, clique em Ungroup para expandir os nós agrupados. Isso permite ver as relações upstream e downstream de todos os nós.

  • A visualização Layer para uma Downstream Analysis mostra no máximo seis níveis. Para ver mais níveis, clique em Continue Analysis no canto superior esquerdo.

  O exemplo a seguir mostra os resultados da execução de uma Downstream Analysis no nó tag:

  • Visualização mesclada: Mescla os nós downstream analisados com base na dimensão de agregação atual. No estado não agregado, os nós downstream aparecem em grupos. Neste exemplo, utiliza-se o método Merge e os nós estão aggregated by workspace. Todos os nós downstream são mesclados em uma única camada, mostrando o número de nós pertencentes a diferentes workspaces. Ao clicar no botão Merged na visualização do DAG, o resultado da análise downstream para o nó tag é exibido no modo mesclado. Os sete nós downstream aparecem em grupos agregados, com cada grupo contendo um número diferente de nós descendentes. A barra de status na parte inferior indica que 42 nós e 5 níveis estão sendo exibidos atualmente.

  • Visualização em camadas: Exibe os nós downstream analisados por nível de dependência com base na dimensão de agregação atual. Neste exemplo, emprega-se o método Layer e os nós estão aggregated by workspace, mostrando o número de nós em diferentes workspaces em vários níveis. Após selecionar a visualização DAG e clicar no botão Layered, os nós downstream são organizados de cima para baixo por nível. Cada nível mostra a quantidade de nós que contém, e a parte inferior da página exibe o total de nós e níveis mostrados (por exemplo, "42 nodes and 5 levels are displayed").

• Estilos de exibição do DAG

  Clique nos ícones de função no canto superior direito da visualização do DAG para ajustar seu estilo de exibição. Por exemplo, use Toggle Full Screen View ou Fit Screen.

  Os exemplos a seguir mostram o DAG para os nós downstream de um nó nas visualizações Ungroup e Group.

  • DAG Ungroup: Esta visualização ajuda a compreender claramente as relações upstream e downstream de todos os nós. No modo desagrupado, cada nó downstream é exibido como um cartão individual organizado por nível de dependência, mostrando um total de 15 nós e 2 níveis. Clique no ícone Snapshot na barra de ferramentas lateral direita para salvar o DAG atual como uma imagem.

  • DAG Group: Esta visualização exibe os nós downstream de maneira ordenada, com cinco nós por linha, facilitando a visualização rápida do número total de nós downstream.