DataWorks:Funcionamiento de los nodos do-while

Contexto

Límites

• El nodo do-while solo está disponible en DataWorks Standard Edition y versiones posteriores. Para más información, consulte DataWorks editions and features.

• Un nodo do-while puede realizar un máximo de 1,024 iteraciones.

• No se admite la ejecución paralela. Una nueva iteración solo puede comenzar después de que finalice la anterior.

Precauciones

Componentes y orquestación del flujo de trabajo

Variables integradas

Un nodo do-while utiliza el formato ${dag.variable_name} para recuperar variables. DataWorks proporciona dos variables integradas del sistema: ${dag.loopTimes} y ${dag.offset}. También puede usar el nodo do-while junto con un nodo de asignación y emplear el formato ${dag.variable_name} para recuperar valores de los parámetros de asignación.

• Variables integradas del sistema

  En cada iteración del bucle, puede usar variables integradas para obtener el número de iteración actual y el desplazamiento.

  Variable integrada	Descripción	Valor
  ${dag.loopTimes}	El número de iteración actual.	El valor es 1 para la primera iteración, 2 para la segunda, 3 para la tercera, y así sucesivamente, hasta n para la enésima iteración.
  ${dag.offset}	El desplazamiento.	El valor es 0 para la primera iteración, 1 para la segunda, 2 para la tercera, y así sucesivamente, hasta n-1 para la enésima iteración.

• Recuperación de resultados de un nodo de asignación

  Si utiliza un nodo do-while con un assignment node, también puede recuperar los valores de los parámetros de la asignación.

  Nota

  Cuando un nodo do-while depende de un nodo de asignación, puede establecer los parámetros de salida del nodo de asignación como los Input Parameters del nodo do-while. Esto permite que el nodo do-while recupere el conjunto de resultados del nodo de asignación y una fila específica dentro de dicho conjunto. El formato es ${dag.variable_name}, donde variable_name debe configurarse como uno de los Input Parameters del nodo do-while. El ejemplo en este tema define el parámetro input (un Input Parameters) en el nodo do-while para recibir el conjunto de resultados del nodo de asignación. En la práctica, debe reemplazar esto con el nombre real de su parámetro.

  Variable integrada	Descripción
  ${dag.input}	El conjunto de datos transmitido desde el nodo de asignación ascendente.
  ${dag.input[${dag.offset}]}	Recupera la fila de datos correspondiente a la iteración actual.
  ${dag.input.length}	Recupera la longitud del conjunto de datos.

Ejemplos de recuperación de valores

El formato del conjunto de resultados de un nodo de asignación depende de su lenguaje. Para recuperar resultados de un nodo de asignación basado en Shell, utilice un arreglo unidimensional. Para un nodo de asignación basado en ODPS SQL, utilice un arreglo bidimensional. Para más información, consulte assignment node.

Ejemplo 1: Nodo de asignación Shell

• Salida del nodo

  El nodo de asignación ascendente utiliza sintaxis Shell, y su última salida es 2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01.

• Valores de las variables

  Variable integrada	Valor en la iteración 1	Valor en la iteración 2
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Ejemplo 2: Nodo de asignación ODPS SQL

• Salida del nodo

  El nodo de asignación ascendente utiliza sintaxis ODPS SQL, y la última sentencia SELECT devuelve dos filas:

  +----------------------------------------------+
  | uid            | region         | age_range      | zodiac |
  +----------------------------------------------+
  | 0016359810821  | Hubei Province | 30-40 years old| Cancer |
  | 0016359814159  | Unknown        | 30-40 years old| Cancer |
  +----------------------------------------------+

• Valores de las variables

  Variable integrada	Valor en la iteración 1	Valor en la iteración 2
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | Hubei Province | 30-40 years old| Cancer | | 0016359814159 | Unknown | 30-40 years old| Cancer | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821,Hubei Province,30-40 years old,Cancer	0016359814159,Unknown,30-40 years old,Cancer
  ${dag.input.length}	2 Nota La longitud del conjunto de datos corresponde al número de filas en el arreglo bidimensional.
  ${dag.input[0][1]} Nota El valor en la primera fila y segunda columna del arreglo bidimensional.	Hubei Province
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Muestras de código del nodo end

Puede escribir el código para el nodo end en ODPS SQL, Shell o Python 2. Esta sección proporciona muestras de código para cada lenguaje.

ODPS SQL

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';

En este ejemplo, el código del nodo end limita el número total de iteraciones al comparar el recuento de filas de la tabla y el desplazamiento del bucle con valores fijos.

Shell

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi

Este código compara el número de iteración actual, ${dag.loopTimes}, con 5 para limitar el número total de iteraciones.

Por ejemplo, ${dag.loopTimes} es 1 para la primera iteración y 2 para la segunda. Cuando su valor alcanza 5 en la quinta iteración, la condición se vuelve falsa, el nodo end genera False como salida y el bucle termina.

Python 2

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# If the end node outputs True, the next loop starts.
# If the end node outputs False, the loop terminates.

Este código limita el número de iteraciones al comparar el número de iteración actual (${dag.loopTimes}) con la longitud del conjunto de datos proveniente del nodo de asignación.

Casos de uso

Nodo de asignación

Nodos de rama y fusión

A continuación se describe un escenario típico y las precauciones para usar un nodo do-while con un branch node y un merge node.