DataWorks:do-whileノードのロジック

背景情報

制限

• do-whileノードは、DataWorks Standard Edition以降のエディションでのみサポートされています。 詳細については、「DataWorksエディション間の違い」をご参照ください。

• do-whileノードの最大ループ回数は 1024 です。

• 並列実行はサポートされていません。 ループは、前のループが終了した場合にのみ開始できます。

注意事項

do-whileノードの構成とワークフローオーケストレーション

組み込み変数

ほとんどの場合、do-whileノードによって提供される組み込み変数は、${dag.変数名} 形式で構成されます。 DataWorksのdo-whileノードは、2つの組み込み変数 ${dag.loopTimes} と ${dag.offset} を提供します。 また、do-whileノードを割り当てノードと共に使用して、${dag.変数名} 形式で構成された組み込み変数に基づいて、値割り当てパラメータの値を取得することもできます。

• 組み込み変数

  DataWorksのdo-whileノードによって提供される組み込み変数を使用して、do-whileノードがループに使用されるときに終了したループの数と、現在のループと前のループの間のオフセットを取得できます。

  組み込み変数	説明	値
  ${dag.loopTimes}	終了したループの数。	最初のループの場合は 1、2番目のループの場合は 2、3番目のループの場合は 3、...、n番目のループの場合は n。
  ${dag.offset}	現在のループと前のループの間のオフセット。	最初のループの場合は 0、2番目のループの場合は 1、3番目のループの場合は 2、...、n番目のループの場合は n-1。

• 割り当てノードによって渡された結果セットを取得する

  割り当てノード と共にdo-whileノードを使用する場合、次の表に示す組み込み変数を使用して、値割り当てパラメータとループ変数の値を取得できます。

  説明

  do-whileノードが割り当てノードに依存している場合、割り当てノードの [出力パラメータ] で指定された出力パラメータを、do-whileノードの [入力パラメータ] に追加できます。 その後、do-whileノードを使用して、割り当てノードによって渡された結果セットまたは結果セット内の指定されたデータを取得できます。 入力パラメータは、${dag.変数名} 形式で構成されます。 変数名 を、do-whileノードの [入力パラメータ] で指定された入力パラメータの名前に置き換えます。 次の組み込み変数では、input はdo-whileノードで定義された [入力パラメータ] の名前を指定し、割り当てノードによって渡された結果セットを取得するために使用されます。 input を、使用する入力パラメータの実際の名前に置き換える必要があります。

  組み込み変数	説明
  ${dag.input}	祖先割り当てノードによって渡されたデータセット。
  ${dag.input[${dag.offset}]}	現在のループでdo-whileノードによって取得されたデータエントリ。
  ${dag.input.length}	do-whileノード内で取得されたデータセットの長さ。

変数値の例

割り当てノードによって渡される結果セットの形式は、割り当てノードで使用される割り当て言語によって異なります。 割り当てノードによって渡された結果セットを取得するためにdo-whileノードを使用し、割り当てノードがShell言語を使用する場合、結果セットまたは結果セット内の指定されたデータは、1次元配列としてdo-whileノードに渡されます。 割り当てノードによって渡された結果セットを取得するためにdo-whileノードを使用し、割り当てノードがODPS SQL言語を使用する場合、結果セットまたは結果セット内の指定されたデータは、2次元配列としてdo-whileノードに渡されます。 詳細については、「出力パラメータの出力形式」をご参照ください。

例 1：Shellノードを割り当てノードとして使用する

• 割り当てノードの出力

  Shellノードを割り当てノードとして使用し、割り当てノードの最後の出力は 2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01 です。

• do-whileノードの変数の値

  組み込み変数	最初のループの値	2番目のループの値
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

例 2：ODPS SQLノードを割り当てノードとして使用する

• 割り当てノードの出力

  ODPS SQLノードを割り当てノードとして使用し、最後のSELECTステートメントは次の2つのデータを返します。

  +----------------------------------------------+
  | uid            | region         | age_range            | zodiac |
  +----------------------------------------------+
  | 0016359810821  | Hubei Province | 30 to 40 years old   | Cancer |
  | 0016359814159  | Unknown        | 30 to 40 years old   | Cancer |
  +----------------------------------------------+

• do-whileノードの変数の値

  組み込み変数	最初のループの値	2番目のループの値
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | Hubei Province | 30 to 40 years old | Cancer | | 0016359814159 | Unknown | 30 to 40 years old | Cancer | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821, Hubei Province, 30 to 40 years old, Cancer	0016359814159, Unknown, 30 to 40 years old, Cancer
  ${dag.input.length}	2 説明 2次元配列の行数は、データセットの長さです。 割り当てノードの出力の2次元配列の行数は 2 です。
  ${dag.input[0][1]} 説明 この組み込み変数は、2次元配列の1行目と2列目の値を指定します。	湖北省
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

終了ノードのサンプルコード

ODPS SQL、Shell、または Python 2 を使用して、[終了] ノードのコードを開発できます。 このセクションでは、これらの言語での典型的なサンプルコードを提供します。

ODPS SQL

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';
// 終了ノードのこのサンプルコードでは、行数とオフセットを固定値と比較して、do-whileノードで実行できるループ回数を制限しています。

上記の終了ノードのサンプルコードでは、行数とオフセットを固定値と比較して、do-whileノードで実行できるループ回数を制限しています。

Shell

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi
// このコードでは、終了したループの数を 5 と比較して、do-whileノードで実行できるループ回数を制限しています。 ${dag.loopTimes} 変数は、終了したループの数を指定します。

// ${dag.loopTimes} 変数の値は、最初のループでは 1 で、ループごとに 1 ずつ増加します。 この場合、${dag.loopTimes} 変数の値は、2番目のループでは 2、5番目のループでは 5 になります。 上記のサンプルコードでは、5番目のループが終了すると、終了ノードの出力は False になり、do-whileノードはループを終了します。

上記のコードでは、終了したループの数を 5 と比較して、do-whileノードで実行できるループ回数を制限しています。 ${dag.loopTimes} 変数は、終了したループの数を指定します。

${dag.loopTimes} 変数の値は、最初のループでは 1 で、ループごとに 1 ずつ増加します。 この場合、${dag.loopTimes} 変数の値は、2番目のループでは 2、5番目のループでは 5 になります。 上記のサンプルコードでは、5番目のループが終了すると、終了ノードの出力は False になり、do-whileノードはループを終了します。

Python 2

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# 終了ノードが True を返すと、次のループが開始されます。
# 終了ノードが False を返すと、ループが終了します。

上記のサンプルコードでは、終了したループの数を割り当てノードによって渡されたデータセットの行数と比較して、do-whileノードで実行できるループ回数を制限しています。 ${dag.loopTimes} 変数は、終了したループの数を指定します。

シナリオ

割り当てノードと共にdo-whileノードを使用する

分岐ノードとマージノードと共にdo-whileノードを使用する

次の表に、分岐ノード および マージノード と共にdo-whileノードを使用する場合の典型的なシナリオと注意事項を示します。