DataWorks:Nó do-while

Componentes do nó

Clique duas vezes em um nó do-while para abrir seu canvas interno, composto por três partes principais:

• Start node → loop body (execute tasks) → End node (evaluate condition)

• Corpo do loop: Canvas personalizável para suas tarefas. Clique em Create Internal Node para adicionar vários tipos de nós internos, como Shell, SQL e Python, formando o processo de negócio repetível.

• End node (evaluate condition)

Variáveis integradas

No corpo do loop e no nó End de um nó do-while, utilize as seguintes variáveis integradas para obter o estado atual do loop e os dados de entrada:

Exemplo: ${dag.input[0][1]} extrai o valor "beijing" da primeira linha e segunda coluna.

Etapa 1: Configure o corpo do loop (adicionar um nó Shell)

1. Crie um nó do-while no workflow.

2. Clique duas vezes no nó para abrir o canvas interno. Na área do corpo do loop, clique em Create Internal Node, selecione Shell e nomeie-o como print_loop_times.

3. Clique com o botão direito no nó e selecione Open Node.

4. Insira o seguinte comando no editor de código:

   # Use the built-in variable ${dag.loopTimes} to get the current loop count
   echo "This is loop number: ${dag.loopTimes}"

5. Clique no ícone de salvar para salvar o nó.

Etapa 2: Defina a condição de saída

1. Retorne ao canvas interno do do-while, clique com o botão direito no End node (evaluate condition)

2. Altere a linguagem para Python.

3. Insira o seguinte código Python:

   # When the loop count is less than 5, output True and continue looping
   # When the loop count reaches 5, output False and exit the loop
   if ${dag.loopTimes} < 5:
       print True
   else:
       print False

4. Salve o nó End.

Etapa 3: Implantar, execute e verifique

1. Retorne ao canvas principal do workflow e clique em Deploy na barra de ferramentas para implantar todo o workflow.

2. Acesse o Operation Center e localize o nó do-while.

3. Clique com o botão direito no nó e escolha Backfill Data > Current Node para iniciar uma execução de teste.

4. Após a execução bem-sucedida da instância, clique com o botão direito no nó novamente e selecione View Internal Nodes.

5. Visualize as cinco iterações do loop. Expanda qualquer iteração (por exemplo, a 5ª), clique com o botão direito na instância print_loop_times interna e selecione View Runtime Log. A saída esperada é:

   This is loop number: 5

Etapa 1: Configure o nó de atribuição upstream

1. Crie um nó de atribuição (por exemplo, chamado assign_sql_data) e defina-o como upstream do nó do-while.

2. Use ODPS SQL para consultar dados no nó:

   SELECT 'user_A', 'beijing'
   UNION ALL
   SELECT 'user_B', 'shanghai';

3. Salve o nó. O parâmetro outputs gerará um array bidimensional contendo duas linhas de dados.

Etapa 2: Configure o nó do-while para consumir dados

1. No painel Schedule Settings, à direita do nó do-while, localize Input Parameters of This Node.

2. Clique em Add e configure o seguinte parâmetro:

   • Parameter Name: input (personalizável)

   • Value Source: Selecione assign_sql_data.outputs

   • No corpo do loop do nó do-while, crie um nó Shell e insira o seguinte script para processar a linha atual:

     # Get the data row being processed in the current loop iteration
     echo "Processing data row: ${dag.input[${dag.offset}]}"

   • Abra o End node (evaluate condition)

     # If the number of times executed is less than the total number of data rows, continue looping
     if ${dag.loopTimes} < ${dag.input.length}:
         print True
     else:
         print False

   • Implante o workflow e, no Operation Center, inicie o backfill a partir do nó assign_sql_data para garantir o fluxo correto dos dados para o loop.

   Após uma execução bem-sucedida, os logs mostrarão que as duas iterações processaram "user_A,beijing" e "user_B,shanghai", respectivamente.

   Apêndice: Comparação entre nós do-while e for-each

   Recurso	Nó Do-while	Nó For-each
   Lógica principal	Orientado por condição: Repete a execução até que uma condição deixe de ser atendida.	Orientado por dados: Executa uma vez para cada elemento na lista de entrada.
   Número de iterações	Indeterminado; depende de quando a condição é atendida.	Determinado; igual ao número de elementos na lista de entrada.
   Garantia de execução	Executa pelo menos uma vez (mesmo se a condição inicial já não for atendida).	Se a entrada estiver vazia, nenhuma execução ocorre.
   Casos de uso	Polling, espera, verificações de status e processamento em lote até esgotar a origem.	Processamento em lote de uma lista conhecida (como sincronizar um conjunto de tabelas ou processar múltiplas partições).
   Método de controle	Controlado pelo End node, que gera True / False para determinar se o loop continua.	Termina automaticamente após percorrer todos os elementos.