DataWorks:Nó for-each

Casos de uso

No desenvolvimento diário de dados, o nó for-each permite a execução parametrizada quando você precisa aplicar a mesma lógica de análise ou processamento a diferentes unidades de negócios, linhas de produtos ou itens de configuração. Por exemplo, se sua empresa possui várias linhas de produtos e você precisa gerar um relatório diário separado para cada uma, a lógica de processamento é idêntica; apenas os dados de destino diferem.

Assim como um loop for em linguagens de programação, o nó for-each itera automaticamente sobre uma lista, como nomes de tabelas, partições ou arquivos. Ele executa um subfluxo de trabalho predefinido para cada item da lista, o que aumenta significativamente a automação e a flexibilidade do seu fluxo de trabalho.

Pré-requisitos

• Requisitos de versão: Este recurso está disponível apenas no DataWorks Standard Edition ou superior.

• Permissões: Adicione sua conta RAM ao workspace de destino e atribua a ela a função Development ou Workspace Manager. Para mais informações, consulte Adicionar membros a um workspace.

Funcionamento

O nó for-each atua como um contêiner que encapsula um subfluxo de trabalho personalizável, conhecido como corpo do loop. O mecanismo funciona da seguinte maneira:

1. Entrada de dados: O nó for-each depende de um nó de atribuição upstream ou outro nó atribuível (como um nó EMR Hive). Ele recupera o conjunto de resultados formatado como array ao vincular-se ao parâmetro loopDataArray.

2. Execução do loop: Ao iniciar, o nó percorre sequencialmente cada elemento do conjunto de resultados. Para cada elemento, ele executa integralmente o corpo do loop interno uma vez, desde o nó Start até o nó End.

   Nota

   Os nós Start e End não são editáveis. Eles servem apenas para marcar o início e o fim do corpo do loop.

3. Passagem de dados: Durante cada iteração, o valor do elemento atual é transmitido aos nós internos do corpo do loop por meio de variáveis integradas. Os nós de negócio internos usam ${dag.foreach.current} para acessar o item de dados em processamento.

for(int i=0;i<data.length;i++) {
   print(data[i]);
}

Limitações

• Mecanismo de execução: O loop suporta execução serial e execução paralela. Escolha a execução paralela quando as iterações forem independentes entre si.

• Limite de loops: O número máximo padrão de loops é 128, ajustável até 1024.

• Restrições de depuração: Não execute um nó for-each diretamente no Data Studio. Implante a tarefa e teste-a no Operation Center usando o recurso de teste de fumaça.

• Restrições de execução: Um nó for-each não pode ser executado isoladamente. Isso inclui testes de fumaça, backfill e execuções manuais.

• Controle de fluxo no corpo do loop: Ao usar um nó de ramificação dentro do corpo de um loop for-each, garanta que todas as ramificações convirjam para um único nó de mesclagem antes de se conectarem ao nó End. Isso assegura a integridade lógica do corpo do loop.

• Restrições de reexecução: Após a implantação de um nó, a reexecução automática em caso de falha retoma a partir do ponto de erro. No entanto, uma reexecução manual reinicia todo o nó for-each do zero.

Procedimento

Este procedimento usa um nó de atribuição como nó upstream e um nó Shell dentro do corpo do loop para imprimir os resultados. Esta seção orienta você na configuração de uma tarefa for-each completa:

1. Prepare os dados upstream (configure um nó de atribuição)

   Crie e configure um nó de atribuição para fornecer um conjunto de resultados iterável para o nó for-each downstream.

   1. No fluxo de trabalho, crie um nó de atribuição (por exemplo, assign) e posicione-o upstream do nó for-each.

   2. Clique duas vezes no nó de atribuição e selecione um ambiente Python 2. Por exemplo, use Python 2 para gerar um array com quatro elementos:

      O nó envia [10,20,30,40] para os nós downstream dividindo automaticamente a última linha de saída em um array a cada vírgula.

      print "10,20,30,40"

   3. O nó de atribuição gera automaticamente um parâmetro de saída chamado outputs, que representa seu conjunto de resultados.

   4. Salve o nó de atribuição.

2. Configure o nó for-each para consumir dados

   Configure o nó for-each para receber os dados upstream e usá-los dentro de seu corpo de loop.

   1. Clique duas vezes no nó for-each para abrir sua tela interna.

   2. No painel Scheduling à direita, localize o parâmetro loopDataArray em Scheduling Parameters e clique em Bind.

      Selecione o parâmetro outputs do nó assign para criar o vínculo. Após a conclusão, o valor do parâmetro loopDataArray refletirá seu status vinculado.

   3. Na caixa de diálogo exibida, defina a Value Source como o nó de atribuição upstream (assign) e selecione seu parâmetro outputs. Essa ação cria automaticamente uma dependência entre os dois nós.

   4. No corpo do loop for-each, clique em Create Internal Node e crie um nó Shell.

      Em um cenário real, você pode configurar qualquer tipo de nó.

   5. Clique duas vezes no novo nó Shell e use variáveis integradas no código para recuperar e imprimir informações sobre o loop:

      #!/bin/bash
      # Use ${dag.loopTimes} to get the current loop count
      echo "Current loop number is: ${dag.loopTimes}"
      # Use ${dag.foreach.current} to get the data item for the current iteration
      echo "Current item is: ${dag.foreach.current}"

   6. (Opcional) No painel Scheduling Settings à direita, configure as propriedades em Scheduling Policy.

      • Maximum Number of Loops: O padrão é 128 e o máximo é 1024.

        Importante

        Este parâmetro determina o número máximo de iterações do corpo do loop. Se a quantidade de itens de dados upstream for grande, aumente esse valor para garantir o processamento de todos os itens.

      • Execute Policy: Selecione Serial para este exemplo.

        • Serial: Executa as iterações sequencialmente.

        • Parallel: Executa as iterações do loop simultaneamente para melhorar a eficiência da tarefa. No modo Parallel, a falha de uma iteração não afeta as demais. O agendador tenta executar todas as iterações até a conclusão. A concorrência padrão é 5, e o máximo é 20.

   7. Salve o nó Shell.

3. Implante, execute e verifique

   Implante o fluxo de trabalho no Operation Center para execução e verifique os resultados do nó for-each.

   1. Retorne à tela principal do fluxo de trabalho e clique em Deploy na barra de ferramentas para publicar todo o fluxo.

   2. Acesse Node O&M > Auto Triggered Task O&M > Auto Triggered Task e faça um teste de fumaça no fluxo de trabalho de destino.

      Importante

      Não faça um teste de fumaça no nó for-each individualmente. Como o nó for-each depende da saída do nó de atribuição upstream, inicie o teste a partir do nó de atribuição para garantir que a linhagem de dados esteja completa.

   3. Após a execução bem-sucedida da instância de teste, localize a instância do nó for-each na lista, abra-a e clique com o botão direito para selecionar View Internal Nodes.

   4. Na visualização de nós internos, verifique as instâncias do nó Shell geradas por cada loop. Abra o log de execução de qualquer instância para visualizar a saída daquela iteração e confirmar se o resultado está correto.

      O painel à esquerda mostra que todas as quatro iterações do loop foram concluídas. O log de execução da quarta iteração exibe Current loop number is: 4 e Current item is: 40, e o comando Shell encerra com o código 0, indicando execução bem-sucedida.

Caso de uso: Processar diferentes formatos de dados

Caso de uso: Processamento em lote de dados particionados

Este exemplo demonstra como usar um nó de atribuição e um nó for-each para processar em lote dados de comportamento do usuário provenientes de múltiplas linhas de negócio. Isso permite implementar o processamento automatizado de dados para várias linhas de produtos com um único conjunto de lógicas.

Perguntas frequentes

• P: Por que não consigo executar um nó for-each diretamente no Data Studio para testá-lo?

  R: Isso ocorre por design. O nó requer um ambiente de agendamento completo para resolver o contexto do nó e suas dependências, portanto, não suporta execução direta no Data Studio. Implante a tarefa no Operation Center e teste-a usando backfill ou acionando uma execução agendada.

• P: Por que um teste de fumaça em um nó for-each individual falha ou não faz nada?

  R: Os dados do loop de um nó for-each provêm de seu parâmetro de entrada loopDataArray, que deve estar vinculado ao parâmetro outputs de um nó de atribuição upstream. Se você executar o nó for-each isoladamente, ele falhará ou será ignorado porque não conseguirá receber um conjunto de resultados de entrada.

• P: Por que meu loop executa apenas uma vez?

  R: Geralmente, isso acontece porque a saída do nó de atribuição upstream é analisada como um único elemento. Verifique sua saída:

  • É uma única string sem delimitador?

  • Se você espera iterar sobre vários itens, garanta que estejam separados por vírgulas (,). Por exemplo, 'item1,item2,item3' resulta em três loops, enquanto 'item1 item2 item3' resulta em apenas um.