DataWorks:Nó for-each

Casos de uso

O nó for-each permite a execução parametrizada quando é necessário aplicar a mesma lógica de análise ou processamento a diferentes unidades de negócios, linhas de produtos ou itens de configuração. Por exemplo, se sua empresa possui várias linhas de produtos e você precisa gerar um relatório diário separado para cada uma, a lógica de processamento é idêntica; apenas os dados de destino diferem.

Semelhante a um loop for em uma linguagem de programação, o nó for-each percorre uma lista, como nomes de tabelas, partições ou arquivos, e executa um subfluxo de trabalho predefinido para cada item.

Notas de uso

• Requisitos de versão: Disponível apenas no DataWorks Standard Edition e versões posteriores.

• Permissões: Adicione sua conta RAM ao workspace de destino e atribua a ela a função de developer ou workspace administrator. Para mais informações, consulte Add members to a workspace.

Como funciona

O nó for-each atua como um contêiner que encapsula um subfluxo de trabalho personalizável, conhecido como corpo do loop. O funcionamento é o seguinte:

1. Entrada de dados: O nó for-each depende de um nó de atribuição upstream ou outro nó atribuível (como um nó EMR Hive). Ele recupera o conjunto de resultados formatado como array ao vincular-se ao parâmetro loopDataArray.

2. Execução do loop: Ao iniciar, o nó itera sequencialmente por cada elemento do conjunto de resultados. Para cada elemento, ele executa integralmente o corpo do loop interno uma vez, desde o nó Start até o nó End.

   Nota

   Os nós Start e End não são editáveis. Eles apenas marcam o início e o fim do corpo do loop.

3. Passagem de dados: Durante cada iteração, o valor do elemento atual é passado para os nós dentro do corpo do loop por meio de variáveis integradas. Os nós de negócios internos usam ${dag.foreach.current} para acessar o item de dados em processamento.

for(int i=0;i<data.length;i++) {
   print(data[i]);
}

Limitações

• Mecanismo de execução: O loop suporta tanto execução serial quanto execução paralela. Escolha a execução paralela quando as iterações forem independentes entre si.

• Limite de loops: O número máximo padrão de loops é 128, ajustável até 1024.

• Restrições de depuração: Não é possível executar um nó for-each diretamente no Data Studio. Implante a tarefa e teste-a no Operation Center usando o recurso de smoke testing.

• Restrições de execução: Um nó for-each não pode ser executado isoladamente. Isso inclui testes de fumaça, backfill e execuções manuais.

• Controle de fluxo no corpo do loop: Se você usar um nó de ramificação dentro do corpo de um loop for-each, garanta que todas as ramificações convirjam eventualmente para um único nó de mesclagem antes de se conectar ao nó End. Isso garante a integridade lógica do corpo do loop.

• Restrições de reexecução: Após a implantação de um nó, a reexecução automática em caso de falha retoma a partir do ponto de falha. No entanto, uma reexecução manual aciona a reexecução completa de todo o nó for-each.

Procedimento

Este procedimento utiliza um nó de atribuição como nó upstream e um nó Shell dentro do corpo do loop para imprimir os resultados. Ele detalha a configuração de uma tarefa for-each completa:

1. Prepare os dados upstream (configure um nó de atribuição)

   Crie e configure um assignment node para fornecer um conjunto de resultados iterável para o nó for-each downstream.

   1. No fluxo de trabalho, crie um nó de atribuição (por exemplo, assign) e posicione-o upstream do nó for-each.

   2. Clique duas vezes no nó de atribuição e selecione um ambiente Python 2. Por exemplo, use Python 2 para gerar um array com quatro elementos:

      O nó envia [10,20,30,40] para os nós downstream dividindo automaticamente a última linha de saída em um array a cada vírgula.

      print "10,20,30,40"

   3. O nó de atribuição gera automaticamente um parâmetro de saída chamado outputs, que representa seu conjunto de resultados.

   4. Salve o nó de atribuição.

2. Configure o nó for-each para consumir dados

   Configure o nó for-each para receber os dados upstream e usá-los dentro de seu corpo de loop.

   1. Clique duas vezes no nó for-each para abrir sua tela interna.

   2. No painel Scheduling à direita, localize o parâmetro loopDataArray em Scheduling Parameters e clique em Bind.

      Selecione o parâmetro outputs do nó assign para criar o vínculo. Após a conclusão do vínculo, o valor do parâmetro loopDataArray refletirá seu status vinculado.

   3. Na caixa de diálogo exibida, defina a Value Source como o nó de atribuição upstream (assign) e selecione seu parâmetro outputs. Essa ação cria automaticamente uma dependência entre os dois nós.

   4. No corpo do loop for-each, clique em Create Internal Node e crie um nó Shell.

      Em um cenário real, você pode configurar qualquer tipo de nó.

   5. Clique duas vezes no novo nó Shell e use variáveis integradas no código para recuperar e imprimir informações sobre o loop:

      #!/bin/bash
      # Use ${dag.loopTimes} to get the current loop count
      echo "Current loop number is: ${dag.loopTimes}"
      # Use ${dag.foreach.current} to get the data item for the current iteration
      echo "Current item is: ${dag.foreach.current}"

   6. (Opcional) No painel Scheduling Settings à direita, configure as propriedades em Scheduling Policy.

      • Maximum Number of Loops: O padrão é 128 e o máximo é 1024.

        Importante

        Este parâmetro determina o número máximo de iterações para o corpo do loop. Se o número de itens de dados upstream for grande, aumente este valor para garantir que todos os itens sejam processados.

      • Execute Policy: Selecione Serial para este exemplo.

        • Serial: Executa as iterações sequencialmente.

        • Parallel: Executa as iterações do loop simultaneamente para melhorar a eficiência da tarefa. No modo Parallel, se uma iteração falhar, isso não afeta as outras iterações. O agendador tenta executar todas as iterações até a conclusão. A concorrência padrão é 5 e o máximo é 20.

   7. Salve o nó Shell.

3. Implante, execute e verifique

   Implante o fluxo de trabalho no Operation Center para execução e verifique os resultados do nó for-each.

   1. Retorne à tela principal do fluxo de trabalho e clique no botão Deploy na barra de ferramentas para publicar todo o fluxo de trabalho.

   2. Acesse Node O&M > Auto Triggered Task O&M > Auto Triggered Task e realize um smoke test no fluxo de trabalho de destino.

      Importante

      Não realize um teste de fumaça no nó for-each individualmente. Como o nó for-each depende da saída do nó de atribuição upstream, inicie o teste a partir do nó de atribuição para garantir que a linhagem de dados esteja completa.

   3. Após a execução bem-sucedida da instância de teste, localize a instância do nó for-each na lista, abra-a e clique com o botão direito para selecionar View Internal Nodes.

   4. Na visualização de nós internos, verifique as instâncias do nó Shell geradas por cada loop. Abra o log de execução de qualquer instância para visualizar a saída daquela iteração e confirmar se a saída está correta.

      O painel esquerdo mostra que todas as quatro iterações do loop foram concluídas. O log de execução da quarta iteração exibe Current loop number is: 4 e Current item is: 40, e o comando Shell encerra com o código 0, indicando execução bem-sucedida.

Caso de uso: Processar diferentes formatos de dados

Cenário: Processamento em lote de dados de tabela particionada em várias linhas de negócios

Este exemplo demonstra como usar um nó de atribuição e um nó for-each para processar em lote dados de comportamento do usuário em várias linhas de negócios, automatizando o processamento de dados com um único conjunto de lógica que atende a múltiplas linhas de produtos.

FAQ

• P: Por que não consigo executar um nó for-each diretamente no Data Studio para testá-lo?

  R: Isso ocorre por design. O nó requer um ambiente de agendamento completo para resolver o contexto do nó e suas dependências, portanto, não suporta execução direta no Data Studio. Implante a tarefa no Operation Center e teste-a usando backfill ou acionando uma execução agendada.

• P: Por que um teste de fumaça em um nó for-each individual falha ou não faz nada?

  R: Os dados de loop para um nó for-each vêm de seu parâmetro de entrada loopDataArray, que deve estar vinculado ao parâmetro outputs de um nó de atribuição upstream. Se você executar o nó for-each isoladamente, ele falhará ou será ignorado porque não consegue receber um conjunto de resultados de entrada.

• P: Por que meu loop executa apenas uma vez?

  R: Isso geralmente acontece porque a saída do nó de atribuição upstream é analisada como um único elemento. Verifique sua saída:

  • É uma única string sem delimitador?

  • Se você espera iterar sobre vários itens, certifique-se de que eles estejam separados por vírgulas (,). Por exemplo, 'item1,item2,item3' resulta em três loops, enquanto 'item1 item2 item3' resulta em apenas um.