DataWorks:For-each node

Kasus penggunaan

For-each node memungkinkan eksekusi berparameter ketika Anda perlu menerapkan logika analisis atau pemrosesan yang sama pada berbagai unit bisnis, lini produk, atau item konfigurasi. Misalnya, jika perusahaan Anda memiliki beberapa lini produk dan Anda perlu menghasilkan laporan harian terpisah untuk masing-masing, logika pemrosesannya identik; hanya data target yang berbeda.

Seperti halnya loop for dalam bahasa pemrograman, for-each node melakukan iterasi terhadap daftar—misalnya nama tabel, nama partisi, atau nama file—dan mengeksekusi sub-alur kerja yang telah ditentukan untuk setiap item.

Catatan penggunaan

• Persyaratan versi: Hanya tersedia di DataWorks Edisi Standar dan versi yang lebih baru.

• Izin: Akun RAM Anda harus ditambahkan ke workspace target dan diberi peran developer atau administrator workspace. Untuk informasi selengkapnya, lihat Add members to a workspace.

Cara kerja

For-each node bertindak sebagai wadah yang membungkus sub-alur kerja yang dapat dikustomisasi, yang dikenal sebagai loop body. Cara kerjanya sebagai berikut:

1. Masukan data: For-each node bergantung pada assignment node hulu atau node lain yang dapat ditetapkan (seperti node EMR Hive). Node ini mengambil result set berformat array dengan mengikat parameter loopDataArray.

2. Eksekusi loop: Saat node dimulai, ia melakukan iterasi terhadap setiap elemen dalam result set secara berurutan. Untuk setiap elemen, loop body dieksekusi sepenuhnya satu kali, dari node Start hingga node End.

   Catatan

   Node Start dan End tidak dapat diedit. Keduanya hanya menandai awal dan akhir loop body.

3. Transfer data: Selama setiap iterasi, nilai elemen saat ini diteruskan ke node di dalam loop body melalui built-in variables. Node bisnis internal menggunakan ${dag.foreach.current} untuk mengakses item data yang sedang diproses.

for(int i=0;i<data.length;i++) {
   print(data[i]);
}

Batasan

• Mekanisme eksekusi: Loop mendukung serial execution maupun parallel execution. Anda dapat memilih eksekusi parallel jika iterasi saling independen.

• Batas jumlah loop: Jumlah maksimum loop default adalah 128, yang dapat ditingkatkan hingga 1024.

• Batasan debugging: Anda tidak dapat menjalankan for-each node secara langsung di Data Studio. Anda harus deploy tugas tersebut, lalu mengujinya di Operation Center menggunakan fitur smoke testing.

• Batasan eksekusi: For-each node tidak dapat dijalankan secara terisolasi. Ini mencakup smoke testing, backfill, dan eksekusi manual.

• Kontrol alur dalam loop body: Jika Anda menggunakan branch node di dalam loop body for-each, pastikan semua cabang akhirnya menyatu pada satu merge node sebelum terhubung ke node End. Hal ini menjamin integritas logis loop body.

• Batasan rerun: Setelah node di-deploy, rerun otomatis saat gagal dilanjutkan dari titik kegagalan. Namun, rerun manual akan memicu rerun lengkap seluruh for-each node.

Prosedur

Prosedur ini menggunakan assignment node sebagai node hulu dan node Shell di dalam loop body untuk mencetak hasilnya. Prosedur ini memandu Anda melalui konfigurasi tugas for-each yang lengkap:

1. Siapkan data hulu (konfigurasikan assignment node)

   Buat dan konfigurasikan assignment node untuk menyediakan result set yang dapat diiterasi bagi for-each node hilir.

   1. Di alur kerja, buat assignment node (misalnya, assign) dan letakkan di hulu for-each node.

   2. Klik ganda assignment node dan pilih lingkungan Python 2. Misalnya, gunakan Python 2 untuk menghasilkan array dengan empat elemen:

      Node ini mengeluarkan [10,20,30,40] ke node hilir dengan secara otomatis membagi baris output terakhir menjadi array pada setiap koma.

      print "10,20,30,40"

   3. Assignment node secara otomatis menghasilkan parameter output bernama outputs, yang merepresentasikan result set-nya.

   4. Save assignment node.

2. Konfigurasikan for-each node untuk mengonsumsi data

   Konfigurasikan for-each node agar menerima data hulu dan menggunakannya di dalam loop body-nya.

   1. Klik ganda for-each node untuk membuka canvas internalnya.

   2. Di panel Scheduling di sebelah kanan, temukan parameter loopDataArray di bawah Scheduling Parameters dan klik Bind.

      Pilih parameter outputs dari node assign untuk membuat binding. Setelah binding selesai, nilai parameter loopDataArray mencerminkan status binding-nya.

   3. Di kotak dialog yang muncul, atur Value Source ke assignment node hulu (assign) dan pilih parameter outputs-nya. Tindakan ini secara otomatis membuat dependensi antara kedua node.

   4. Di for-each loop body, klik Create Internal Node dan buat node Shell.

      Dalam skenario nyata, Anda dapat mengonfigurasi jenis node apa pun.

   5. Klik ganda node Shell baru dan gunakan built-in variables dalam kode untuk mengambil dan mencetak informasi tentang loop:

      #!/bin/bash
      # Gunakan ${dag.loopTimes} untuk mendapatkan jumlah loop saat ini
      echo "Current loop number is: ${dag.loopTimes}"
      # Gunakan ${dag.foreach.current} untuk mendapatkan item data iterasi saat ini
      echo "Current item is: ${dag.foreach.current}"

   6. (Opsional) Di panel Scheduling Settings di sebelah kanan, konfigurasikan properti di bawah Scheduling Policy.

      • Maximum Number of Loops: Nilai default adalah 128, dan maksimum adalah 1024.

        Penting

        Parameter ini menentukan jumlah maksimum iterasi untuk loop body. Jika jumlah item data hulu besar, tingkatkan nilai ini agar semua item diproses.

      • Execute Policy: Pilih Serial untuk contoh ini.

        • Serial: Menjalankan iterasi secara berurutan.

        • Parallel: Menjalankan iterasi loop secara konkuren untuk meningkatkan efisiensi tugas. Dalam mode Parallel, jika satu iterasi gagal, iterasi lain tidak terpengaruh. Penjadwal berusaha menjalankan semua iterasi hingga selesai. Konkurensi default adalah 5, dan maksimum adalah 20.

   7. Save node Shell.

3. Deploy, jalankan, dan verifikasi

   Deploy alur kerja ke Operation Center untuk eksekusi dan verifikasi hasil for-each node.

   1. Kembali ke canvas alur kerja utama dan klik tombol Deploy di toolbar untuk memublikasikan seluruh alur kerja.

   2. Buka Node O&M > Auto Triggered Task O&M > Auto Triggered Task dan lakukan smoke test pada alur kerja target.

      Penting

      Jangan lakukan smoke test pada for-each node secara individual. Karena for-each node bergantung pada output assignment node hulu, Anda harus memulai pengujian dari assignment node untuk memastikan alur data lengkap.

   3. Setelah test instance berhasil dijalankan, temukan instans for-each node di daftar, buka, lalu klik kanan dan pilih View Internal Nodes.

   4. Di tampilan node internal, periksa instans node Shell yang dihasilkan oleh setiap loop. Buka running log salah satu instans untuk melihat output iterasi tersebut dan verifikasi bahwa outputnya benar.

      Panel kiri menunjukkan bahwa keempat iterasi loop telah selesai. Running log untuk iterasi keempat mengeluarkan Current loop number is: 4 dan Current item is: 40, serta perintah Shell keluar dengan kode 0, yang menunjukkan eksekusi berhasil.

Kasus penggunaan: Memproses format data berbeda

Skenario: Memproses data tabel partisi secara batch lintas beberapa lini bisnis

Contoh ini menunjukkan cara menggunakan assignment node dan for-each node untuk memproses data perilaku pengguna secara batch lintas beberapa lini bisnis, mengotomatiskan pemrosesan data dengan satu set logika yang melayani banyak lini produk.

FAQ

• Q: Mengapa saya tidak bisa menjalankan for-each node secara langsung di Data Studio untuk mengujinya?

  A: Ini sesuai desain. Node tersebut memerlukan lingkungan penjadwalan lengkap untuk menyelesaikan node context dan dependensinya, sehingga tidak mendukung eksekusi langsung di Data Studio. Anda harus deploy tugas ke Operation Center dan mengujinya menggunakan backfill atau memicu eksekusi terjadwal.

• Q: Mengapa smoke test pada for-each node individual gagal atau tidak melakukan apa-apa?

  A: Data loop untuk for-each node berasal dari parameter input loopDataArray, yang harus bound ke parameter outputs dari assignment node hulu. Jika Anda menjalankan for-each node sendirian, node tersebut akan gagal atau dilewati karena tidak menerima result set input.

• Q: Mengapa loop saya hanya berjalan sekali? 

  A: Hal ini biasanya terjadi karena output dari assignment node hulu diurai sebagai satu elemen tunggal. Periksa output Anda:

  • 1. Apakah berupa string tunggal tanpa pembatas?

  • 2. Jika Anda ingin melakukan iterasi atas beberapa item, pastikan item-item tersebut dipisahkan dengan koma (,). Misalnya, 'item1,item2,item3' menghasilkan tiga loop, sedangkan 'item1 item2 item3' hanya menghasilkan satu loop.