DataWorks:for-each node

Kasus penggunaan

Dalam pengembangan data sehari-hari, for-each node memungkinkan eksekusi berparameter ketika Anda perlu menerapkan logika analisis atau pemrosesan yang sama pada berbagai unit bisnis, lini produk, atau item konfigurasi. Misalnya, jika perusahaan Anda memiliki beberapa lini produk dan Anda perlu menghasilkan laporan harian terpisah untuk masing-masing, logika pemrosesannya identik; hanya data target yang berbeda.

Seperti loop for dalam bahasa pemrograman, for-each node secara otomatis melakukan iterasi terhadap daftar, seperti nama tabel, nama partisi, atau nama file. Node ini mengeksekusi sub-alur kerja yang telah ditentukan untuk setiap item dalam daftar, sehingga meningkatkan otomatisasi dan fleksibilitas alur kerja secara signifikan.

Prasyarat

• Persyaratan edisi: Fitur ini hanya tersedia di DataWorks Edisi Standar dan versi yang lebih baru.

• Persyaratan izin: Akun RAM Anda harus ditambahkan ke ruang kerja yang sesuai dan diberikan peran Development atau Workspace Manager. Untuk informasi selengkapnya, lihat Add members to a workspace.

Cara kerja

For-each node bertindak sebagai kontainer yang membungkus sub-alur kerja yang dapat dikustomisasi, yang dikenal sebagai isi loop. Mekanismenya adalah sebagai berikut:

1. Masukan data: For-each node bergantung pada assignment node atau node lain yang dapat ditetapkan (seperti EMR Hive node) di hulu. Node ini mengambil result set berformat array dengan mengikat parameter loopDataArray.

2. Eksekusi loop: Saat node dimulai, node tersebut melakukan iterasi terhadap setiap elemen dalam result set secara berurutan. Untuk setiap elemen, node tersebut mengeksekusi sepenuhnya isi loop sekali, dari node Start hingga node End.

   Catatan

   Node Start dan End tidak dapat diedit. Keduanya hanya menandai awal dan akhir isi loop.

3. Penyaluran data: Selama setiap iterasi, nilai elemen saat ini diteruskan ke node di dalam isi loop melalui variabel bawaan. Node bisnis internal menggunakan ${dag.foreach.current} untuk mengakses item data yang sedang diproses.

for(int i=0;i<data.length;i++) {
   print(data[i]);
}

Batasan

• Mekanisme eksekusi: Loop mendukung eksekusi serial dan eksekusi paralel. Anda dapat memilih eksekusi paralel ketika iterasi saling independen.

• Batas loop: Jumlah maksimum loop default adalah 128, yang dapat disesuaikan hingga 1.024.

• Batasan debugging: Anda tidak dapat menjalankan for-each node secara langsung di Data Studio. Anda harus deploy tugas tersebut, lalu mengujinya di Operation Center menggunakan fitur smoke testing.

• Batasan eksekusi: For-each node tidak dapat dijalankan secara terisolasi. Ini mencakup smoke testing, backfill, dan eksekusi manual.

• Kontrol alur dalam isi loop: Jika Anda menggunakan branch node di dalam isi loop for-each, pastikan semua cabang akhirnya bertemu pada satu merge node sebelum terhubung ke node End. Hal ini menjamin integritas logis isi loop.

• Batasan eksekusi ulang: Setelah node di-deploy, eksekusi ulang otomatis saat gagal dilanjutkan dari titik kegagalan. Namun, eksekusi ulang manual memicu eksekusi ulang lengkap seluruh for-each node.

Prosedur

Prosedur ini menggunakan assignment node sebagai node hulu dan node Shell di dalam isi loop untuk mencetak hasilnya. Bagian ini memandu Anda melalui konfigurasi tugas for-each yang lengkap:

1. Siapkan data hulu (konfigurasikan assignment node)

   Buat dan konfigurasikan assignment node untuk menyediakan result set yang dapat diiterasi bagi for-each node di hilir.

   1. Di alur kerja, buat assignment node (misalnya, assign) dan letakkan di hulu for-each node.

   2. Klik ganda assignment node dan pilih lingkungan Python 2. Misalnya, gunakan Python 2 untuk menghasilkan array dengan empat elemen:

      Node ini menghasilkan [10,20,30,40] ke node hilir dengan secara otomatis memisahkan baris output terakhir menjadi array pada setiap koma.

      print "10,20,30,40"

   3. Assignment node secara otomatis menghasilkan parameter output bernama outputs, yang merepresentasikan result set-nya.

   4. Save assignment node.

2. Konfigurasikan for-each node untuk mengonsumsi data

   Konfigurasikan for-each node agar menerima data hulu dan menggunakannya di dalam isi loop-nya.

   1. Klik ganda for-each node untuk membuka canvas internalnya.

   2. Di panel Scheduling di sebelah kanan, temukan parameter loopDataArray di bawah Scheduling Parameters dan klik Bind.

      Pilih parameter outputs dari node assign untuk membuat ikatan. Setelah ikatan selesai, nilai parameter loopDataArray mencerminkan status terikatnya.

   3. Di kotak dialog yang muncul, atur Value Source ke assignment node hulu (assign) dan pilih parameter outputs-nya. Tindakan ini secara otomatis membuat dependensi antara kedua node.

   4. Di isi loop for-each, klik Create Internal Node dan buat node Shell.

      Dalam skenario dunia nyata, Anda dapat mengonfigurasi jenis node apa pun.

   5. Klik ganda node Shell baru dan gunakan variabel bawaan dalam kode untuk mengambil dan mencetak informasi tentang loop:

      #!/bin/bash
      # Gunakan ${dag.loopTimes} untuk mendapatkan jumlah loop saat ini
      echo "Current loop number is: ${dag.loopTimes}"
      # Gunakan ${dag.foreach.current} untuk mendapatkan item data iterasi saat ini
      echo "Current item is: ${dag.foreach.current}"

   6. (Opsional) Di panel Scheduling Settings di sebelah kanan, konfigurasikan properti di bawah Scheduling Policy.

      • Maximum Number of Loops: Default-nya adalah 128, dan maksimumnya adalah 1.024.

        Penting

        Parameter ini menentukan jumlah maksimum iterasi untuk isi loop. Jika jumlah item data hulu besar, tingkatkan nilai ini untuk memastikan semua item diproses.

      • Execute Policy: Pilih Serial untuk contoh ini.

        • Serial: Menjalankan iterasi secara berurutan.

        • Parallel: Menjalankan iterasi loop secara konkuren untuk meningkatkan efisiensi tugas. Dalam mode Paralel, jika satu iterasi gagal, iterasi lain tidak terpengaruh. Penjadwal berusaha menjalankan semua iterasi hingga selesai. Konkurensi default-nya adalah 5, dan maksimumnya adalah 20.

   7. Simpan node Shell.

3. Deploy, Run, and Verify

   Deploy alur kerja ke Operation Center untuk dieksekusi dan verifikasi hasil for-each node.

   1. Kembali ke canvas alur kerja utama dan klik tombol Deploy di bilah alat untuk memublikasikan seluruh alur kerja.

   2. Buka Node O&M > Auto Triggered Task O&M > Auto Triggered Task dan lakukan smoke test pada alur kerja target.

      Penting

      Jangan lakukan smoke test pada for-each node secara individual. Karena for-each node bergantung pada output assignment node hulu, Anda harus memulai pengujian dari assignment node untuk memastikan alur data lengkap.

   3. Setelah instans uji berhasil dijalankan, temukan instans for-each node di daftar, buka, lalu klik kanan dan pilih View Internal Nodes.

   4. Di tampilan node internal, periksa instans node Shell yang dihasilkan oleh setiap loop. Buka running log salah satu instans untuk melihat output iterasi tersebut dan verifikasi bahwa output-nya benar.

      Panel kiri menunjukkan bahwa keempat iterasi loop telah selesai. Running log untuk iterasi keempat menghasilkan Current loop number is: 4 dan Current item is: 40, serta perintah Shell keluar dengan kode 0, yang menunjukkan eksekusi berhasil.

Kasus penggunaan: Memproses berbagai format data

Kasus penggunaan: Pemrosesan batch untuk beberapa lini bisnis

Contoh ini menunjukkan cara menggunakan assignment node dan for-each node untuk memproses data perilaku pengguna secara batch untuk beberapa lini bisnis. Hal ini memungkinkan pemrosesan data otomatis di mana satu set logika melayani beberapa lini produk.

FAQ

• Q: Mengapa saya tidak bisa menjalankan for-each node secara langsung di Data Studio untuk mengujinya?

  A: Ini merupakan desain sistem. Node tersebut memerlukan lingkungan penjadwalan lengkap untuk menyelesaikan konteks node dan dependensinya, sehingga tidak mendukung eksekusi langsung di Data Studio. Anda harus deploy tugas ke Operation Center dan mengujinya menggunakan backfill atau memicu eksekusi terjadwal.

• Q: Mengapa smoke test pada for-each node individual gagal atau tidak melakukan apa-apa?

  A: Data loop untuk for-each node berasal dari parameter input loopDataArray, yang harus diikat ke parameter outputs dari assignment node hulu. Jika Anda menjalankan for-each node sendirian, node tersebut akan gagal atau dilewati karena tidak dapat menerima result set input.

• Q: Mengapa loop saya hanya berjalan sekali? 

  A: Hal ini biasanya terjadi karena output dari assignment node hulu diurai sebagai satu elemen. Periksa output Anda:

  • 1. Apakah berupa string tunggal tanpa pembatas?

  • 2. Jika Anda ingin melakukan iterasi atas beberapa item, pastikan item-item tersebut dipisahkan dengan koma (,). Misalnya, 'item1,item2,item3' menghasilkan tiga loop, sedangkan 'item1 item2 item3' hanya menghasilkan satu loop.