DataWorks:Como funcionam os nós do-while

Visão geral

Limitações

• O nó do-while está disponível apenas no DataWorks Standard Edition e versões posteriores. Para mais informações, consulte Edições e recursos do DataWorks.

• Um nó do-while pode executar no máximo 1.024 iterações.

• Não há suporte para execução paralela. Um novo loop só inicia após a conclusão do anterior.

Precauções

Componentes e orquestração de fluxo de trabalho

Variáveis integradas

Um nó do-while utiliza o formato ${dag.variable_name} para recuperar variáveis. O DataWorks disponibiliza duas variáveis de sistema integradas: ${dag.loopTimes} e ${dag.offset}. Combine o nó do-while com um nó assignment e use o formato ${dag.variable_name} para obter valores dos parâmetros da atribuição.

• Variáveis de sistema integradas

  Em cada iteração do loop, utilize as variáveis integradas para obter o número atual do loop e o deslocamento (offset).

  Variável integrada	Descrição	Valor
  ${dag.loopTimes}	Número atual do loop.	O valor é 1 para o primeiro loop, 2 para o segundo, 3 para o terceiro, e assim sucessivamente, até n para o enésimo loop.
  ${dag.offset}	Deslocamento (offset).	O valor é 0 para o primeiro loop, 1 para o segundo, 2 para o terceiro, e assim sucessivamente, até n-1 para o enésimo loop.

• Recuperar resultados de um nó assignment

  Se utilizar um nó do-while juntamente com um nó assignment, recupere também os valores dos parâmetros da atribuição.

  Nota

  Quando um nó do-while depende de um nó assignment, defina os parâmetros de saída do nó assignment como os Input Parameters do nó do-while. Isso permite que o nó do-while recupere o conjunto de resultados do nó assignment e uma linha específica desse conjunto. O formato é ${dag.variable_name}, onde variable_name deve estar configurado nos Input Parameters do nó do-while. O exemplo neste tópico define o parâmetro input (um dos Input Parameters) no nó do-while para receber o conjunto de resultados do nó assignment. Na prática, substitua este nome pelo seu parâmetro real.

  Variável integrada	Descrição
  ${dag.input}	Conjunto de dados transmitido pelo nó assignment upstream.
  ${dag.input[${dag.offset}]}	Recupera a linha de dados correspondente à iteração atual do loop.
  ${dag.input.length}	Recupera o tamanho do conjunto de dados.

Exemplos de recuperação de valores

O formato do conjunto de resultados de um nó assignment varia conforme a linguagem utilizada. Para recuperar resultados de um nó assignment baseado em Shell, utilize um array unidimensional. Já para um nó assignment baseado em ODPS SQL, use um array bidimensional. Para mais informações, consulte nó assignment.

Exemplo 1: Nó assignment em Shell

• Saída do nó

  O nó assignment upstream utiliza sintaxe Shell e sua última saída é 2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01.

• Valores das variáveis

  Variável integrada	Valor no Loop 1	Valor no Loop 2
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Exemplo 2: Nó assignment em ODPS SQL

• Saída do nó

  O nó assignment upstream usa sintaxe ODPS SQL e a última instrução SELECT retorna duas linhas:

  +----------------------------------------------+
  | uid            | region         | age_range      | zodiac |
  +----------------------------------------------+
  | 0016359810821  | Hubei Province | 30-40 years old| Cancer |
  | 0016359814159  | Unknown        | 30-40 years old| Cancer |
  +----------------------------------------------+

• Valores das variáveis

  Variável integrada	Valor no Loop 1	Valor no Loop 2
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | Hubei Province | 30-40 years old| Cancer | | 0016359814159 | Unknown | 30-40 years old| Cancer | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821,Hubei Province,30-40 years old,Cancer	0016359814159,Unknown,30-40 years old,Cancer
  ${dag.input.length}	2 Nota O tamanho do conjunto de dados corresponde ao número de linhas no array bidimensional.
  ${dag.input[0][1]} Nota Valor localizado na primeira linha e segunda coluna do array bidimensional.	Hubei Province
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Amostras de código do nó end

Escreva o código do nó end em ODPS SQL, Shell ou Python 2. Esta seção apresenta exemplos de código para cada linguagem.

ODPS SQL

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';

Neste exemplo, o código do nó end limita o número total de iterações comparando a contagem de linhas da tabela e o offset do loop com valores fixos.

Shell

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi

Este código compara o número atual do loop, ${dag.loopTimes}, com 5 para limitar o total de iterações.

Por exemplo, ${dag.loopTimes} assume o valor 1 na primeira iteração e 2 na segunda. Quando atinge 5 na quinta iteração, a condição torna-se falsa, o nó end retorna False e o loop é encerrado.

Python 2

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# If the end node outputs True, the next loop starts.
# If the end node outputs False, the loop terminates.

Este trecho limita a quantidade de iterações comparando o número atual do loop (${dag.loopTimes}) com o tamanho do conjunto de dados proveniente do nó assignment.

Casos de uso

Nó assignment

Nós branch e merge

A tabela a seguir detalha um cenário comum e os cuidados ao empregar um nó do-while junto com um nó branch e um nó merge.