Gunakan Node Zero Load untuk Simplifikasi Penjadwalan Cross-Flow - DataWorks

Zero load node adalah node kontrol yang berfungsi sebagai dry-run node dan tidak menghasilkan data. Saat dijadwalkan, sistem langsung mengembalikan status sukses. Node ini tidak dijalankan, tidak mengonsumsi resource, dan tidak memblokir node downstream untuk menjalankan tugasnya. Zero load node biasanya digunakan sebagai master start node untuk alur bisnis atau sebagai node output terkonsolidasi dari beberapa branch node dalam suatu alur bisnis. Topik ini menjelaskan skenario penggunaan zero load node serta cara membuat dan menggunakannya.

Skenario

Node virtual biasanya digunakan dalam skenario berikut:

Manage business flows with complex dependencies
Jika bisnis Anda melibatkan beberapa alur bisnis, Anda dapat menggunakan zero load node sebagai dry-run master start node untuk setiap alur. Pendekatan ini menyederhanakan manajemen dan memperjelas jalur penerusan data.
Schedule nodes with no lineage dependencies
Jika node output akhir dari suatu alur bisnis memiliki beberapa input node dari branch berbeda yang tidak saling bergantung, Anda dapat menggunakan zero load node sebagai upstream node-nya. Tetapkan workspace root node sebagai upstream node untuk zero load node tersebut. Dengan demikian, workspace root node akan menjadwalkan zero load node, yang kemudian menjadwalkan node bisnis downstream. Metode ini juga memungkinkan Anda menetapkan waktu penjadwalan pada zero load node guna mengontrol waktu proses paling awal dari branch node tersebut.
Catatan
Ketika workspace root node menjadi upstream dependency, node tersebut tidak muncul di panel alur bisnis. Anda dapat melihatnya di Operation Center setelah melakukan commit dan publish task. Untuk informasi lebih lanjut tentang Operation Center, lihat Basic O&M operations for auto triggered tasks.
Sebagai contoh, node oss_data_sync_dqc dan rds_data_sync_dqc tidak memiliki lineage dependencies. Anda tidak dapat menetapkan dependensi penjadwalan di antara keduanya berdasarkan lineage. Dalam kasus ini, Anda dapat menggunakan zero load node (workshop_start_dqc) sebagai master start node untuk menjadwalkan branch node downstream. Branch node downstream tersebut akan mulai berjalan segera setelah kondisi waktu prosesnya terpenuhi.
Catatan
Saat Anda menggunakan offline synchronization untuk menyinkronkan data dari sumber data lain ke DataWorks, tabel tujuan di DataWorks tidak memiliki upstream lineage dependency di dalam DataWorks.
Manage business flows with multiple branch outputs and create cross-flow scheduling dependencies
Untuk membuat dependensi penjadwalan lintas alur (cross-flow) pada alur bisnis dengan beberapa output branch, Anda dapat menggunakan zero load node untuk mengonsolidasikan branch node tersebut. Selanjutnya, Anda dapat secara manual menetapkan output dari node terkonsolidasi ini sebagai input untuk master start node dari alur bisnis downstream. Tindakan ini menciptakan dependensi lintas alur. Untuk informasi lebih lanjut, lihat Configure cross-flow scheduling dependencies.
Catatan
Jika suatu alur bisnis memiliki beberapa output branch, Anda dapat membuat zero load node baru, misalnya `business_flow_end_zero_load_node`. Node ini bergantung pada beberapa output upstream branch. Keberhasilan eksekusi `business_flow_end_zero_load_node` menandakan bahwa seluruh alur bisnis telah selesai.

Membuat dan menggunakan node virtual

Buka Data Studio.
Login ke DataWorks console. Pada bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Data Development.
Buat Workflow.
Jika Anda sudah memiliki Workflow, lewati langkah ini.
1. Arahkan kursor ke ikon lalu pilih Create Workflow.
2. Pada kotak dialog Create Workflow, masukkan Workflow Name.
3. Klik Create.
Anda dapat membuat virtual node.
1. Arahkan kursor ke ikon lalu pilih New Node > General > Zero-load Node.
  Alternatifnya, Anda dapat menemukan alur bisnis, klik kanan, lalu pilih New Node > General > Zero-load Node.
2. Pada kotak dialog Create Node, masukkan Name, lalu pilih Node Type dan Path.
  Catatan
  Nama node dapat berisi huruf kapital, huruf kecil, karakter Tionghoa, angka, garis bawah (_), dan titik (.). Panjang nama tidak boleh melebihi 128 karakter.
3. Klik Confirm untuk membuka halaman pengeditan node virtual.
Konfigurasikan penjadwalan untuk task.
Untuk menjalankan task node secara berkala, klik Scheduling Configuration di sisi kanan halaman konfigurasi node. Konfigurasikan properti penjadwalan sesuai kebutuhan:
- Konfigurasikan properti penjadwalan dasar untuk task. Untuk informasi lebih lanjut, lihat Configure basic properties.
- Konfigurasikan siklus penjadwalan, properti rerun, serta dependensi upstream dan downstream. Untuk informasi lebih lanjut, lihat Configure time properties dan Configure same-cycle scheduling dependencies.
  Catatan
  Anda harus menetapkan properti Rerun dan menentukan Upstream Dependencies untuk node sebelum dapat melakukan commit.
- Konfigurasikan properti resource. Untuk informasi lebih lanjut, lihat Configure resource properties.
Kirim dan publikasikan Tugas node.
1. Klik ikon di toolbar untuk menyimpan node.
2. Klik ikon di toolbar untuk submit task node.
3. Pada kotak dialog Submit New Version, masukkan Change Description.
4. Klik OK.
Pada ruang kerja mode standar, Anda harus mendeploy task ke lingkungan produksi setelah submit. Klik Task Publishing di panel navigasi kiri. Untuk informasi lebih lanjut, lihat Publish tasks.
Lihat tugas terjadwal.
1. Klik Operation Center di pojok kanan atas untuk mengakses lingkungan produksi.
2. Lihat task yang dijadwalkan. Untuk informasi lebih lanjut, lihat Manage auto triggered tasks.
Untuk detail lebih lanjut tentang task yang dijadwalkan, klik Operation Center di bilah navigasi atas. Untuk informasi lebih lanjut, lihat Overview.