DataWorks:Apêndice: Recursos do DAG

Clique em DAG ao lado de um nó para abrir sua visualização de DAG. A interface do DAG possui uma tela central que exibe o grafo de nós, uma lista de nós à esquerda para seleção e controles para recursos como agregação de nós, análise upstream e análise downstream na parte superior. É possível realizar as seguintes operações na visualização do DAG. Este tópico usa uma instância acionada automaticamente como exemplo.

• Agregação de nós

  Se uma instância acionada automaticamente tiver muitos nós ou níveis de dependência, agregue os nós por dimensões como status do nó, workspace, proprietário ou prioridade para visualizar a contagem de nós de uma dimensão específica. Isso ajuda a entender a distribuição dos nós e gerencie a execução com mais eficácia. Os exemplos a seguir mostram a exibição quando os nós estão definidos como Not Aggregate e quando estão aggregated by priority.

  Nota

  A agregação de nós por status só é permitida no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • Sem agregação, cada nó aparece individualmente no DAG. Cada nó exibe seu nome e tipo, como virtual node, ODPS SQL ou batch synchronization. As linhas entre os nós indicam dependências. Uma mensagem na parte inferior indica que a visualização atual contém 10 nós em 8 níveis de dependência.

  • Com os nós agregados por prioridade, a exibição é a seguinte. Identifique rapidamente que o nó atual possui 6 nós filhos com prioridade 1. O DAG agregado mostra o caminho de dependência, começando por fanyi_test_root (nó virtual) no topo, passando por User Behavior Analysis Case Description (nó virtual), table_ddl_ods_raw_log_d (ODPS SQL), dois grupos agregados contendo dois nós cada, depois para dws_user_info_all_di (ODPS SQL), ads_user_info_1d (ODPS SQL) e finalmente User Behavior Analysis Result Query (ODPS SQL). Setas entre os nós indicam dependências de agendamento. O painel esquerdo lista todos os nomes das tarefas, permitindo selecione nós por meio de caixas de seleção.

• Análise upstream

  Caso um nó fique pendente por muito tempo, realize uma análise upstream. Esse recurso revela os nós upstream bloqueadores, permitindo localizar e resolver erros de execução rapidamente para aumentar a eficiência.

  Nota

  • O recurso de análise upstream está disponível apenas no DAG de uma instância. Uma instância pode ser acionada automaticamente, de backfill de dados ou de teste.

  • A Upstream Analysis aplica-se somente a nós que não estão em execução. São exibidos no máximo seis níveis. Para visualizar mais níveis, clique em Continue Analysis no canto superior esquerdo.

  • Essa análise ajuda a encontrar rapidamente os nós ancestrais dos quais o nó atual depende, mas que não foram executados com êxito. Esses nós podem estar nos estados Running, Failed, Pending (Time), Pending (Resource) ou Frozen. Nós ancestrais nesses estados bloqueiam a execução downstream.

  Se um nó de exemplo não for executado por um longo período, selecione-o e clique em Upstream Analysis no canto superior esquerdo. O resultado da análise mostra que o nó upstream bloqueador é o nó old_work_root. Com esse resultado, localize rapidamente o nó bloqueador e trate quaisquer erros relacionados.

  Nota

  Próximas etapas:

  • Após localizar a instância principal, filtre por uma dimensão de agregação para visualizar o workspace ou o proprietário da instância crítica que afeta a saída de dados do nó atual. Essa prática melhora a eficiência operacional.

  • Depois de identificar a instância bloqueadora, clique com o botão direito nela e selecione AI Diagnostics para analisar rapidamente o motivo da falha na execução. Para mais informações, consulte Data O&M Agent.

  Nos resultados da análise upstream, old_work_root é um nó virtual, e seu nó dependente downstream é o nó sd do tipo ODPS SQL.

• Análise downstream

  Por padrão, a visualização do DAG exibe três níveis: o nó atual, seus nós ancestrais imediatos (um nível acima) e seus nós descendentes imediatos (um nível abaixo). Quando uma instância acionada automaticamente possui muitos nós ou níveis, torna-se difícil visualizar todo o escopo de impacto. Utilize o recurso de análise downstream para filtrar por critérios como status do nó, workspace, proprietário ou prioridade. Isso facilita a contagem de nós em diferentes níveis ou o total de nós em todos os níveis para uma dimensão específica.

  Nota

  • Visualização mesclada ou em camadas no estado agregado: Ao clicar em Downstream Analysis, os nós são agregados por proprietário por padrão, calculando-se o número total de nós dessa dimensão em todos os níveis.

  • Visualização agrupada sem agregação: Se houver mais de 10 nós downstream, eles serão exibidos em grupos por padrão. Essa visualização proporciona uma compreensão mais intuitiva do impacto empresarial dos nós.

  • Visualização desagrupada: Na visualização não agregada, clique em Ungroup para expandir os nós agrupados. Assim, é possível ver as relações upstream e downstream de todos os nós.

  • A visualização em Layer de uma Downstream Analysis mostra no máximo seis níveis. Para ver mais níveis, clique em Continue Analysis no canto superior esquerdo.

  O exemplo a seguir mostra os resultados da execução de uma Downstream Analysis no nó tag:

  • Visualização mesclada: Mescla os nós downstream analisados com base na dimensão de agregação atual. No estado não agregado, os nós downstream aparecem em grupos. Neste exemplo, utiliza-se o método Merge e os nós estão aggregated by workspace. Todos os nós downstream são combinados em uma única camada, mostrando a quantidade de nós pertencentes a diferentes workspaces. Ao clicar no botão Merged na visualização do DAG, o resultado da análise downstream para o nó tag aparece no modo mesclado. Os sete nós downstream são mostrados em grupos agregados, com cada grupo contendo um número diferente de nós descendentes. A barra de status na parte inferior indica que 42 nós e 5 níveis estão sendo exibidos atualmente.

  • Visualização em camadas: Exibe os nós downstream analisados por nível de dependência com base na dimensão de agregação atual. Neste exemplo, emprega-se o método Layer com nós aggregated by workspace, apresentando a quantidade de nós em diferentes workspaces em cada nível. Após selecione a visualização DAG e clique em no botão Layered, os nós downstream são organizados de cima para baixo por nível. Cada nível mostra a quantidade de nós que contém, e a parte inferior da página exibe o total de nós e níveis apresentados (por exemplo, "42 nodes and 5 levels are displayed").

• Estilos de exibição do DAG

  Utilize os ícones de função no canto superior direito da visualização do DAG para ajustar seu estilo de exibição. Por exemplo, use Toggle Full Screen View ou Fit Screen.

  Os exemplos a seguir mostram o DAG para os nós downstream de um nó nas visualizações Ungroup e Group.

  • DAG Ungroup: Esta visualização permite compreender claramente as relações upstream e downstream de todos os nós. No modo desagrupado, cada nó downstream aparece como um cartão individual organizado por nível de dependência, totalizando 15 nós e 2 níveis. Clique em no ícone Snapshot na barra de ferramentas lateral direita para salve o DAG atual como imagem.

  • DAG Group: Esta visualização organiza os nós downstream de maneira ordenada, com cinco nós por linha, facilitando a identificação rápida do total de nós downstream.