DataWorks:for-each node

Use cases

for-each node memungkinkan eksekusi berparameter saat Anda perlu menerapkan logika analisis atau pemrosesan yang sama pada unit bisnis, lini produk, atau item konfigurasi yang berbeda. Misalnya, jika perusahaan Anda memiliki beberapa lini produk dan Anda perlu menghasilkan laporan harian terpisah untuk masing-masing, logika pemrosesannya identik; hanya data target yang berbeda.

Seperti halnya loop for dalam bahasa pemrograman, for-each node melakukan iterasi terhadap daftar—seperti nama tabel, nama partisi, atau nama file—lalu mengeksekusi sub-alur kerja yang telah ditentukan untuk setiap item.

Usage notes

• Version requirements: Hanya tersedia di DataWorks Edisi Standar dan versi yang lebih baru.

• Permissions: Akun RAM Anda harus ditambahkan ke workspace target dan diberi peran developer atau workspace administrator. Untuk informasi selengkapnya, lihat Add members to a workspace.

How it works

Node for-each bertindak sebagai wadah yang membungkus sub-alur kerja yang dapat dikustomisasi, yang dikenal sebagai loop body. Cara kerjanya sebagai berikut:

1. Data input: Node for-each bergantung pada assignment node hulu atau node lain yang dapat ditetapkan (seperti EMR Hive node). Node ini mengambil result set berformat array dengan mengikat parameter loopDataArray.

2. Loop execution: Saat node dimulai, node tersebut melakukan iterasi terhadap setiap elemen dalam result set secara berurutan. Untuk setiap elemen, node tersebut mengeksekusi sepenuhnya loop body internal satu kali, dari node Start hingga node End.

   Catatan

   Node Start dan End tidak dapat diedit. Keduanya hanya menandai awal dan akhir loop body.

3. Data passing: Selama setiap iterasi, nilai elemen saat ini diteruskan ke node di dalam loop body melalui built-in variables. Node bisnis internal menggunakan ${dag.foreach.current} untuk mengakses item data yang sedang diproses.

for(int i=0;i<data.length;i++) {
   print(data[i]);
}

Limitations

• Execution mechanism: Loop mendukung serial execution maupun parallel execution. Anda dapat memilih eksekusi parallel ketika iterasi bersifat independen satu sama lain.

• Loop limit: Jumlah maksimum loop default adalah 128, yang dapat disesuaikan hingga 1024.

• Debugging constraints: Anda tidak dapat menjalankan node for-each secara langsung di Data Studio. Anda harus deploy tugas tersebut lalu mengujinya di Operation Center menggunakan fitur smoke testing.

• Execution constraints: Node for-each tidak dapat dijalankan secara terisolasi. Ini mencakup smoke testing, backfill, dan eksekusi manual.

• Flow control in the loop body: Jika Anda menggunakan branch node di dalam loop body for-each, pastikan semua cabang akhirnya menyatu pada satu merge node sebelum terhubung ke node End. Hal ini menjamin integritas logis loop body.

• Rerun constraints: Setelah node di-deploy, automatic rerun on failure dilanjutkan dari titik kegagalan. Namun, rerun manual memicu rerun lengkap seluruh node for-each.

Procedure

Prosedur ini menggunakan assignment node sebagai node hulu dan node Shell di dalam loop body untuk mencetak hasilnya. Prosedur ini menjelaskan langkah-langkah konfigurasi tugas for-each secara lengkap:

1. Siapkan data hulu (konfigurasikan assignment node)

   Buat dan konfigurasikan assignment node untuk menyediakan result set yang dapat diiterasi bagi node for-each hulu.

   1. Di alur kerja, buat assignment node (misalnya, assign) dan letakkan di hulu node for-each.

   2. Klik ganda assignment node dan pilih lingkungan Python 2. Misalnya, gunakan Python 2 untuk menghasilkan array dengan empat elemen:

      Node mengeluarkan [10,20,30,40] ke node-node hilir dengan secara otomatis memisahkan baris output terakhir menjadi array berdasarkan setiap koma.

      print "10,20,30,40"

   3. Assignment node secara otomatis menghasilkan parameter output bernama outputs, yang merepresentasikan result set-nya.

   4. Save assignment node.

2. Konfigurasikan for-each node untuk mengonsumsi data

   Konfigurasikan node for-each agar menerima data hulu dan menggunakannya di dalam loop body-nya.

   1. Klik ganda node for-each untuk membuka canvas internalnya.

   2. Di panel Scheduling di sebelah kanan, temukan parameter loopDataArray di bawah Scheduling Parameters lalu klik Bind.

      Pilih parameter outputs dari node assign untuk membuat binding. Setelah binding selesai, nilai parameter loopDataArray mencerminkan status binding-nya.

   3. Di kotak dialog yang muncul, atur Value Source ke assignment node hulu (assign) dan pilih parameter outputs-nya. Tindakan ini secara otomatis membuat dependensi antara kedua node.

   4. Di loop body for-each, klik Create Internal Node dan buat node Shell.

      Dalam skenario dunia nyata, Anda dapat mengonfigurasi jenis node apa pun.

   5. Klik ganda node Shell baru dan gunakan built-in variables dalam kode untuk mengambil dan mencetak informasi tentang loop:

      #!/bin/bash
      # Gunakan ${dag.loopTimes} untuk mendapatkan jumlah loop saat ini
      echo "Current loop number is: ${dag.loopTimes}"
      # Gunakan ${dag.foreach.current} untuk mendapatkan item data untuk iterasi saat ini
      echo "Current item is: ${dag.foreach.current}"

   6. (Opsional) Di panel Scheduling Settings di sebelah kanan, konfigurasikan properti di bawah Scheduling Policy.

      • Maximum Number of Loops: Default-nya adalah 128, dan maksimumnya adalah 1024.

        Penting

        Parameter ini menentukan jumlah maksimum iterasi untuk loop body. Jika jumlah item data hulu besar, tingkatkan nilai ini untuk memastikan semua item diproses.

      • Execute Policy: Pilih Serial untuk contoh ini.

        • Serial: Menjalankan iterasi secara berurutan.

        • Parallel: Menjalankan iterasi loop secara konkuren untuk meningkatkan efisiensi tugas. Dalam mode Parallel, jika satu iterasi gagal, iterasi lain tidak terpengaruh. Penjadwal berusaha menjalankan semua iterasi hingga selesai. Konkurensi default-nya adalah 5, dan maksimumnya adalah 20.

   7. Save node Shell.

3. Deploy, jalankan, dan verifikasi

   Deploy alur kerja ke Operation Center untuk dieksekusi dan verifikasi hasil node for-each.

   1. Kembali ke canvas alur kerja utama dan klik tombol Deploy di toolbar untuk memublikasikan seluruh alur kerja.

   2. Buka Node O&M > Auto Triggered Task O&M > Auto Triggered Task dan lakukan smoke test pada alur kerja target.

      Penting

      Jangan lakukan smoke test pada node for-each secara individual. Karena node for-each bergantung pada output assignment node hulu, Anda harus memulai pengujian dari assignment node untuk memastikan alur data lengkap.

   3. Setelah test instance berhasil dijalankan, temukan instans node for-each di daftar, buka, lalu klik kanan dan pilih View Internal Nodes.

   4. Di tampilan node internal, periksa instans node Shell yang dihasilkan oleh setiap loop. Buka running log salah satu instans untuk melihat output iterasi tersebut dan verifikasi bahwa output-nya benar.

      Panel kiri menunjukkan bahwa keempat iterasi loop telah selesai. Running log untuk iterasi keempat mengeluarkan Current loop number is: 4 dan Current item is: 40, serta perintah Shell keluar dengan kode 0, yang menunjukkan eksekusi berhasil.

Use case: Process different data formats

Scenario: Batch process partition table data across multiple business lines

Contoh ini menunjukkan cara menggunakan assignment node dan for-each node untuk memproses data perilaku pengguna secara batch di berbagai lini bisnis, mengotomatiskan pemrosesan data dengan satu set logika yang melayani beberapa lini produk.

FAQ

• Q: Mengapa saya tidak bisa menjalankan node for-each secara langsung di Data Studio untuk mengujinya?

  A: Ini sesuai desain. Node tersebut memerlukan lingkungan penjadwalan lengkap untuk menyelesaikan node context dan dependensinya, sehingga tidak mendukung eksekusi langsung di Data Studio. Anda harus deploy tugas tersebut ke Operation Center dan mengujinya menggunakan backfill atau memicu eksekusi terjadwal.

• Q: Mengapa smoke test pada node for-each individual gagal atau tidak melakukan apa-apa?

  A: Data loop untuk node for-each berasal dari parameter input loopDataArray, yang harus bound ke parameter outputs dari assignment node hulu. Jika Anda menjalankan node for-each sendirian, node tersebut akan gagal atau dilewati karena tidak dapat menerima result set input.

• Q: Mengapa loop saya hanya berjalan sekali? 

  A: Hal ini biasanya terjadi karena output dari assignment node hulu diurai sebagai satu elemen tunggal. Periksa output Anda:

  • 1. Apakah berupa string tunggal tanpa pembatas?

  • 2. Jika Anda ingin melakukan iterasi pada beberapa item, pastikan item-item tersebut dipisahkan dengan koma (,). Misalnya, 'item1,item2,item3' menghasilkan tiga loop, sedangkan 'item1 item2 item3' hanya menghasilkan satu loop.