Configure Cross-Cycle Dependency Check Nodes in DataWorks - DataWorks - Alibaba Cloud - DataWorks

Ketika dependensi hulu dan hilir standar tidak memadai untuk skenario bisnis kompleks—misalnya, saat sebuah node harian harus menunggu semua node per jam dari hari sebelumnya selesai, atau ketika Anda perlu menggabungkan kondisi dari beberapa tugas dengan logika AND/OR—Anda memerlukan alat yang lebih fleksibel. Topik ini menjelaskan cara menggunakan node pemeriksaan dependensi untuk membangun pemeriksaan dependensi kompleks yang mencakup siklus penjadwalan, alur kerja, dan ruang kerja. Hal ini memungkinkan Anda mengontrol secara tepat kapan node dijalankan, sehingga menjamin akurasi dan ketepatan waktu pemrosesan data.

Ikhtisar fitur

Node pemeriksaan dependensi adalah alat fleksibel untuk menangani skenario dependensi lintas siklus yang kompleks. Misalnya, ketika sebuah node harian perlu menunggu semua node per jam dari hari sebelumnya berhasil sebelum dapat dijalankan, atau ketika Anda perlu memenuhi kondisi dari beberapa node di ruang kerja berbeda secara bersamaan.

Kemampuan utama

Dependensi lintas entitas: Menyiapkan dependensi antar ruang kerja dan alur kerja.
Dependensi lintas siklus: Menentukan secara tepat rentang waktu instans hulu untuk dependensi lintas siklus.
Kombinasi logika kompleks: Menggabungkan beberapa kondisi pemeriksaan dependensi dengan menggunakan operator AND dan OR.
Kebijakan pemeriksaan kustom: Menetapkan interval pemeriksaan dan durasi maksimum secara fleksibel. Node akan gagal jika durasi tersebut terlampaui.

Persyaratan

Persyaratan Edisi: Fitur ini hanya tersedia di DataWorks Enterprise Edition.

Antarmuka konfigurasi

Konfigurasi node pemeriksaan dependensi terdiri dari dua bagian utama: Check dependencies dan Check settings.

Di area Dependency Check, Anda dapat menambahkan beberapa item pemeriksaan. Untuk setiap item pemeriksaan, Anda harus memilih node hulu yang menjadi dependensi dan menetapkan periode waktu. Beberapa item pemeriksaan dapat digabungkan dengan menggunakan operator logika AND/OR. Area check settings berisi dua parameter: check interval (default: 1 menit/pemeriksaan) dan max duration (default: 60 menit).

Konfigurasi node pemeriksaan dependensi

Inti dari konfigurasi node pemeriksaan dependensi adalah membangun ekspresi logika pemeriksaan dependensi. Anda dapat mendefinisikan beberapa item pemeriksaan dan kelompok pemeriksaan, lalu menggabungkannya dengan relasi AND/OR. Setiap item pemeriksaan mengarah ke satu atau beberapa instans dari node hulu dalam rentang waktu tertentu. Saat node pemeriksaan dependensi dijalankan, sistem mengevaluasi seluruh ekspresi logika dan mengembalikan nilai boolean (True/False). Hasil ini menentukan apakah node hilir dijalankan atau tetap diblokir.

Konfigurasi item pemeriksaan

Anda dapat menyiapkan beberapa kelompok pemeriksaan dalam satu node pemeriksaan dependensi. Setiap kelompok dapat berisi beberapa Check item, yang memungkinkan Anda membangun jaringan dependensi kompleks.

Tambahkan kelompok pemeriksaan dan item pemeriksaan:
- Klik + Add Item untuk membuat kondisi pemeriksaan dependensi baru.
- Beberapa item pemeriksaan dapat dikelompokkan dalam satu kelompok pemeriksaan.

Konfigurasi konten item pemeriksaan:

Task: Cari dan pilih node yang menjadi dependensi berdasarkan Output Name, Name, atau ID.
- Anda dapat memilih node dari alur kerja yang sama, alur kerja berbeda di ruang kerja saat ini, atau ruang kerja lain yang memiliki izin akses.
  
  Penting
  Untuk dependensi lintas ruang kerja atau lintas alur kerja yang sederhana, lihat Configure cross-workflow and cross-workspace scheduling dependencies.
- Jika Anda memilih node yang belum dipublikasikan ke lingkungan produksi, sistem akan menampilkan peringatan: The selected node is not published to the production environment. The check may fail at runtime.

Period: Menentukan instans historis node hulu mana yang akan diperiksa saat waktu proses. Pilih jenis periode sesuai kebutuhan Anda. Tabel berikut memberikan detail lebih lanjut.

Catatan

Kondisi dalam satu item pemeriksaan memiliki hubungan AND. Misalnya, jika Anda memilih semua node per jam untuk satu hari tertentu, semuanya harus berhasil agar item tersebut mengembalikan nilai True.

Jenis periode	Opsi	Deskripsi
Minute	`Previous X minutes` (X adalah 0–59)	Memeriksa instans dari `X` menit sebelum waktu saat ini. `Current minute` bersesuaian dengan `Previous 0 minutes`.
Hour	`Previous X hours` (X adalah 0–23)	Memeriksa instans dari `X` jam sebelum waktu saat ini. `Current hour` bersesuaian dengan `Previous 0 hours`.
Day	`Previous X days` (X adalah 0–7)	Memeriksa instans dari `X` hari kalender yang lalu. `Today` bersesuaian dengan `Previous 0 days`.
Week	`Monday to Sunday of this week`, `Monday to Sunday of last week`, `Last Monday`, `Last Tuesday`... `Last Sunday`.	Memeriksa instans dalam rentang minggu yang ditentukan.
Month	`First day to last day of this month`, `First day of this month`, `Last day of last month`, dan lainnya.	Memeriksa instans dalam rentang bulan yang ditentukan.

Tetapkan hubungan logika (AND/OR):
- Di sisi kiri antarmuka, Anda dapat menetapkan hubungan logika antar kelompok pemeriksaan dan antar item pemeriksaan dalam satu kelompok.
  - AND: Semua item pemeriksaan atau kelompok pemeriksaan terkait harus berhasil.
  - OR: Minimal satu dari item pemeriksaan atau kelompok pemeriksaan terkait harus berhasil.

Konfigurasi pengaturan pemeriksaan

Di bagian bawah halaman, Anda dapat menentukan perilaku pemeriksaan node:

Check interval: Menetapkan seberapa sering status semua dependensi diperiksa. Nilai minimum adalah 1 menit/pemeriksaan.
Max duration: Menetapkan durasi maksimum waktu tunggu node. Jika dependensi belum terpenuhi setelah durasi ini, node pemeriksaan dependensi itu sendiri akan gagal. Nilai maksimum adalah 1440 menit (24 jam).

Logika dan status saat waktu proses

Running: Dalam Max duration, jika ada kondisi dependensi yang belum terpenuhi, instans tetap berada dalam status Running dan mencoba ulang secara berkala sesuai interval pemeriksaan.
Succeeded: Dalam Max duration, jika semua kondisi dependensi terpenuhi sesuai logika AND/OR yang dikonfigurasi, status node berubah menjadi Running Succeeded.
Failed:
1. Max duration telah terlampaui, dan kondisi dependensi masih belum terpenuhi.
2. Saat pemeriksaan berlangsung, jika dependensi yang diperlukan (misalnya, dependensi dalam hubungan AND) mengarah ke tugas yang tidak ada, node akan menghentikan tugas lebih awal dan statusnya berubah menjadi Failed.

Kasus penggunaan: Dependensi per jam lintas hari

Mari kembali ke skenario klasik dari pengantar. Asumsikan Anda memiliki node laporan ringkasan harian (node harian bernama rpt_daily_summary) yang harus menunggu node per jam bernama ods_hourly_log. Secara spesifik, ke-24 instans node per jam dari hari sebelumnya (00.00 hingga 23.59) harus berhasil sebelum node harian dapat dimulai.

Tambahkan node pemeriksaan dependensi
Dalam alur kerja Anda, tambahkan node pemeriksaan dependensi di hulu node harian Anda rpt_daily_summary dan hubungkan keduanya.
Konfigurasi item pemeriksaan
Klik ganda node pemeriksaan dependensi untuk mengonfigurasi item pemeriksaan dependensinya.
- Tambahkan tugas dependensi: Klik + Add Item. Di kotak input Task, cari dan pilih node per jam yang menjadi dependensi, ods_hourly_log.
- Tentukan rentang waktu: Atur Period dengan memilih Day lalu memilih Previous 1 day.
  
  Sistem akan memeriksa apakah semua instans (total 24) dari node per jam ini pada hari kalender sebelumnya telah berhasil.
- Tetapkan hubungan logika: Karena hanya ada satu item pemeriksaan, Anda dapat membiarkan hubungan logika untuk kelompok pemeriksaan dan item-itemnya sebagai default AND.
Konfigurasikan kebijakan pemeriksaan
- Check interval: Misalnya, atur menjadi 5 menit/pemeriksaan. Artinya, jika kondisi dependensi belum terpenuhi, sistem akan menunggu 5 menit sebelum memeriksa kembali.
- Max duration: Misalnya, atur menjadi 180 menit. Artinya, node akan menunggu maksimal 3 jam sejak waktu mulai terjadwal node harian. Jika belum semua node per jam dari hari sebelumnya selesai setelah 3 jam, node pemeriksaan dependensi akan gagal, dan node harian hilir tidak akan dijalankan. Hal ini mencegah penantian tanpa batas dan membantu mengungkap masalah secara cepat.

Setelah konfigurasi selesai, simpan dan publikasikan. Sekarang, node laporan harian Anda akan menunggu hingga semua data per jam yang diperlukan siap sebelum dijalankan.

Lampiran: Perbedaan dengan dependensi penjadwalan

Atribut	Dependency check	Scheduling dependency
Metode pemicu	Node pemeriksaan dependensi secara aktif melakukan polling status item pemeriksaan. Node yang dirujuk oleh item pemeriksaan tidak memicu atau mengubah status node pemeriksaan dependensi.	Saat node target mencapai waktu proses terjadwalnya, sistem memeriksa apakah node dependensi penjadwalan hulu telah berhasil.
Visualisasi DAG	Hubungan dependensi didefinisikan dalam konfigurasi node dan tidak muncul pada visualisasi DAG.	Visualisasi DAG menampilkan dependensi sebagai garis koneksi dari hulu ke hilir.
Perilaku backfill dan jalankan ulang	Menjalankan ulang atau backfill node dalam item pemeriksaan tidak secara otomatis memicu node target.	Saat Anda melakukan backfill pada node dependensi penjadwalan, Anda dapat memilih untuk memicu node target.