DataWorks:Nó do-while

Componentes do nó

Clique duas vezes em um nó do-while para abrir seu canvas interno, composto por três partes principais:

• Start: Marca o ponto de entrada do loop. Esse nó não pode ser editado nem excluído.

• Corpo do loop: Um canvas personalizável para suas tarefas. Clique em Create Internal Node para adicionar diferentes tipos de nós internos — como Shell, SQL e Python — e formar o processo de negócio repetível.

• End: Avalia a condição do loop. Trata-se de um nó de atribuição no qual você pode escrever código ODPS SQL, Shell ou Python. Ele gera a string True ou False para determinar se o loop continua.

Variáveis integradas

No corpo do loop e no nó End de um nó do-while, utilize as seguintes variáveis integradas para obter o estado atual do loop e os dados de entrada:

Exemplo: ${dag.input[0][1]} extrai o valor "beijing" da primeira linha e segunda coluna.

Passo 1: Configure o corpo do loop (adicione um nó Shell)

1. Crie um nó do-while no seu workflow.

2. Clique duas vezes no nó para entrar no canvas interno. Na área do corpo do loop, clique em Create Internal Node, selecione Shell e nomeie-o print_loop_times.

3. Clique com o botão direito no nó e selecione Open Node.

4. Insira o seguinte comando no editor de código:

   # Use the built-in variable ${dag.loopTimes} to get the current loop count
   echo "This is loop number: ${dag.loopTimes}"

5. Clique no ícone de salvar para salvar o nó.

Passo 2: Defina a condição de saída

1. Volte ao canvas interno do nó do-while, clique com o botão direito no nó End e selecione Open Node.

2. Altere a linguagem para Python.

3. Insira o seguinte código Python:

   # When the loop count is less than 5, output True and continue looping
   # When the loop count reaches 5, output False and exit the loop
   if ${dag.loopTimes} < 5:
       print True
   else:
       print False

4. Salve o nó End.

Passo 3: Implante, execute e verifique

1. Volte ao canvas principal do workflow e clique em Deploy na barra de ferramentas para implantar o workflow completo.

2. Acesse o Operation Center e localize o nó do-while.

3. Clique com o botão direito no nó e escolha Backfill Data > Current Node para iniciar uma execução de teste.

4. Após a execução bem-sucedida da instância, clique com o botão direito no nó novamente e selecione View Internal Nodes.

5. Visualize as cinco iterações do loop. Expanda qualquer iteração (por exemplo, a 5ª), clique com o botão direito na instância print_loop_times correspondente e selecione View Runtime Log. A saída exibida deve ser:

   This is loop number: 5

Passo 1: Configure o nó de atribuição upstream

1. Crie um nó de atribuição (por exemplo, com o nome assign_sql_data) e defina-o como upstream do nó do-while.

2. Utilize ODPS SQL para consultar dados no nó:

   SELECT 'user_A', 'beijing'
   UNION ALL
   SELECT 'user_B', 'shanghai';

3. Salve o nó. Seu parâmetro outputs gerará um array bidimensional contendo duas linhas de dados.

Passo 2: Configure o nó do-while para consumir os dados

1. No painel Schedule Settings à direita do nó do-while, localize Input Parameters of This Node.

2. Clique em Add e configure o seguinte parâmetro:

   • Parameter Name: input (personalizável)

   • Value Source: selecione assign_sql_data.outputs

3. No corpo do loop do nó do-while, crie um nó Shell e insira o seguinte script para processar a linha atual:

   # Get the data row being processed in the current loop iteration
   echo "Processing data row: ${dag.input[${dag.offset}]}"

4. Abra o nó End e use Python para definir a condição de saída:

   # If the number of times executed is less than the total number of data rows, continue looping
   if ${dag.loopTimes} < ${dag.input.length}:
       print True
   else:
       print False

5. Implante o workflow e, no Operation Center, inicie o backfill a partir do nó assign_sql_data para garantir que os dados fluam corretamente para o loop.