DataWorks:Cara kerja node do-while

Latar Belakang

Batasan

• Node do-while hanya tersedia di DataWorks Edisi Standar dan versi setelahnya. Untuk informasi lebih lanjut, lihat Edisi dan fitur DataWorks.

• Node do-while dapat melakukan loop hingga maksimal 1.024 kali.

• Eksekusi paralel tidak didukung. Loop baru hanya dapat dimulai setelah loop sebelumnya selesai.

Tindakan Pencegahan

Komponen dan orkestrasi alur kerja

Variabel bawaan

Node do-while menggunakan format ${dag.variable_name} untuk mengambil variabel. DataWorks menyediakan dua variabel sistem bawaan: ${dag.loopTimes} dan ${dag.offset}. Anda juga dapat menggunakan node do-while bersama dengan node assignment dan menggunakan format ${dag.variable_name} untuk mengambil nilai dari parameter assignment.

• Variabel bawaan sistem

  Pada setiap iterasi loop, Anda dapat menggunakan variabel bawaan untuk mendapatkan nomor loop saat ini dan offset-nya.

  Built-in variable	Description	Value
  ${dag.loopTimes}	Nomor loop saat ini.	Nilainya adalah 1 untuk loop pertama, 2 untuk loop kedua, 3 untuk loop ketiga, dan seterusnya hingga n untuk loop ke-n.
  ${dag.offset}	Offset.	Nilainya adalah 0 untuk loop pertama, 1 untuk loop kedua, 2 untuk loop ketiga, dan seterusnya hingga n-1 untuk loop ke-n.

• Ambil hasil dari node assignment

  Jika Anda menggunakan node do-while dengan node assignment, Anda juga dapat mengambil nilai parameter assignment tersebut.

  Catatan

  Saat node do-while bergantung pada node assignment, Anda dapat mengatur output parameters dari node assignment sebagai Input Parameters dari node do-while. Hal ini memungkinkan node do-while untuk mengambil set hasil dari node assignment dan elemen tertentu dalam set hasil tersebut. Formatnya adalah ${dag.variable_name}, di mana variable_name harus dikonfigurasi sebagai Input Parameters dari node do-while. Contoh dalam topik ini mendefinisikan parameter input (sebagai Input Parameters) di node do-while untuk menerima set hasil dari node assignment. Dalam praktiknya, Anda harus mengganti ini dengan nama parameter aktual Anda.

  Built-in variable	Description
  ${dag.input}	Dataset yang diteruskan dari node assignment hulu.
  ${dag.input[${dag.offset}]}	Mengambil baris data untuk loop saat ini.
  ${dag.input.length}	Mengambil panjang dataset.

Contoh pengambilan nilai

Format set hasil dari node assignment bergantung pada bahasa yang digunakan. Untuk mengambil hasil dari node assignment berbasis Shell, gunakan array satu dimensi. Untuk node assignment berbasis ODPS SQL, gunakan array dua dimensi. Untuk informasi lebih lanjut, lihat node assignment.

Contoh 1: Node assignment Shell

• Keluaran Node

  Node assignment hulu menggunakan sintaks Shell, dan output terakhirnya adalah 2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01.

• Nilai variabel

  Built-in variable	Loop 1 value	Loop 2 value
  ${dag.input}	2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01
  ${dag.input[${dag.offset}]}	2021-03-28	2021-03-29
  ${dag.input.length}	5
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Contoh 2: Node assignment ODPS SQL

• Output node

  Node assignment hulu menggunakan sintaks ODPS SQL, dan pernyataan SELECT terakhir mengembalikan dua baris:

  +----------------------------------------------+
  | uid            | region         | age_range      | zodiac |
  +----------------------------------------------+
  | 0016359810821  | Hubei Province | 30-40 years old| Cancer |
  | 0016359814159  | Unknown        | 30-40 years old| Cancer |
  +----------------------------------------------+

• Nilai variabel

  Built-in variable	Loop 1 value	Loop 2 value
  ${dag.input}	+----------------------------------------------+ | uid | region | age_range | zodiac | +----------------------------------------------+ | 0016359810821 | Hubei Province | 30-40 years old| Cancer | | 0016359814159 | Unknown | 30-40 years old| Cancer | +----------------------------------------------+
  ${dag.input[${dag.offset}]}	0016359810821,Hubei Province,30-40 years old,Cancer	0016359814159,Unknown,30-40 years old,Cancer
  ${dag.input.length}	2 Catatan Panjang dataset adalah jumlah baris dalam array dua dimensi.
  ${dag.input[0][1]} Catatan Nilai pada baris pertama dan kolom kedua dari array dua dimensi.	Hubei Province
  ${dag.loopTimes}	1	2
  ${dag.offset}	0	1

Contoh kode node end

Anda dapat menulis kode untuk end node dalam ODPS SQL, Shell, atau Python 2. Bagian ini menyediakan contoh kode untuk setiap bahasa.

ODPS SQL

SELECT  CASE 
 WHEN COUNT(1) > 0 AND ${dag.offset}<= 9 
  THEN true 
  ELSE false 
 END 
FROM  xc_dpe_e2.xc_rpt_user_info_d  where dt='20200101';

Dalam contoh ini, kode node end membatasi jumlah total loop dengan membandingkan jumlah baris tabel dan offset loop terhadap nilai tetap.

Shell

if [ ${dag.loopTimes} -lt 5 ];
then
     echo "True"
else
     echo "False"
fi

Kode ini membandingkan nomor loop saat ini, ${dag.loopTimes}, dengan angka 5 untuk membatasi jumlah total loop.

Sebagai contoh, ${dag.loopTimes} bernilai 1 untuk loop pertama dan 2 untuk loop kedua. Ketika nilainya mencapai 5 pada loop kelima, kondisi menjadi false, node end menghasilkan False, dan loop dihentikan.

Python 2

if ${dag.loopTimes}<${dag.input.length}:
   print True;
else
   print False;
# If the end node outputs True, the next loop starts.
# If the end node outputs False, the loop terminates.

Kode ini membatasi jumlah loop dengan membandingkan nomor loop saat ini (${dag.loopTimes}) dengan panjang dataset dari node assignment.

Kasus penggunaan

Node assignment

Node branch dan merge

Tabel berikut menjelaskan skenario khas dan tindakan pencegahan saat menggunakan node do-while dengan node branch dan node merge.