Ketika suatu node membaca dari tabel yang ditulis oleh node lain dalam siklus penjadwalan yang sama, konfigurasikan dependensi penjadwalan siklus yang sama. Node yang bergantung akan menunggu hingga node leluhurnya berhasil menyelesaikan eksekusi dalam siklus tersebut sebelum memulai.
DataWorks menyediakan beberapa metode konfigurasi dan fitur pratinjau dependensi sehingga Anda dapat memverifikasi dan menyesuaikan dependensi sebelum terjadi masalah.
Sebelum mengonfigurasi dependensi penjadwalan, baca topik "Konfigurasikan pengaturan penjadwalan" untuk memahami konsep dasarnya.
Pahami dua jenis dependensi
DataWorks memiliki dua jenis hubungan dependensi yang berbeda. Mengacaukannya dapat menyebabkan perilaku penjadwalan yang salah.
| Hubungan | Makna | Indikator visual di DAG |
|---|---|---|
| Dependensi siklus yang sama | Node B pada siklus N bergantung pada Node A pada siklus N | Garis padat |
| Dependensi lintas siklus | Node B pada siklus N bergantung pada Node A pada siklus N-1 atau sebelumnya | — |
Perilaku default: Secara default, suatu node menunggu semua node leluhurnya berhasil dalam siklus saat ini sebelum memulai.
Jika dependensi siklus yang sama tidak memenuhi kebutuhan Anda—misalnya, ketika node harian bergantung pada node per jam, instans yang dihasilkan untuk node harian secara default bergantung pada semua instans yang dihasilkan untuk node per jam pada hari yang sama. Dengan mengonfigurasi self-dependency untuk node per jam, Anda dapat menentukan bahwa node harian bergantung pada instans tertentu dari node per jam dalam siklus penjadwalan yang ditentukan. Untuk skenario yang lebih kompleks, konfigurasikan dependensi penjadwalan lintas siklus sebagai gantinya.
Cara kerja dependensi
Dependensi penjadwalan di DataWorks mengikuti rantai node–ke–tabel–ke–node:
Node A dijalankan dan menulis data ke tabel output (misalnya,
project.table_a).Output Node A didaftarkan dengan nama output dalam format
workspace_name.output_name.Node B mendeklarasikan output Node A sebagai inputnya (node leluhur), sehingga membentuk dependensi.
Saat siklus penjadwalan dijalankan, Node B menunggu Node A berhasil menyelesaikan eksekusi sebelum memulai.
Untuk memanfaatkan sepenuhnya deteksi dependensi otomatis, ikuti prinsip-prinsip berikut selama pengembangan:
| Prinsip | Panduan |
|---|---|
| Pemberian nama node | Berikan nama setiap node sesuai dengan tabel output yang dihasilkannya |
| Pengembangan kode | Jangan menulis data dari beberapa node ke tabel yang sama |
| Konfigurasi dependensi | Daftarkan tabel output sebagai output node tersebut |
Konfigurasikan dependensi penjadwalan
Buka node di Data Studio, lalu klik tab Properties di panel kanan. Bagian Scheduling Dependencies terdiri dari dua bagian:
Node Dependencies — node leluhur yang menjadi acuan dependensi node saat ini
Node Outputs — output yang dirujuk oleh node lain untuk bergantung pada node saat ini
Tentukan node leluhur
Setiap node harus memiliki setidaknya satu node leluhur. Jika lineage tabel tidak tersedia, gunakan root node atau zero load node ruang kerja.
Pastikan semua node leluhur telah dikomit. Jika muncul error bahwa output node leluhur tidak ditemukan saat melakukan commit, artinya node leluhur tersebut belum dikomit.
Metode berikut tersedia. Gunakan parsing otomatis sebagai pilihan utama—pendekatan ini paling cepat dan paling minim kesalahan.
Parsing otomatis (direkomendasikan)
Klik Parse Input and Output from Code di bagian Node Dependencies. DataWorks mengurai kode terbaru di editor, mengidentifikasi tabel input dan output berdasarkan lineage tabel, serta merekomendasikan node leluhur secara otomatis.
DataWorks menghasilkan nama output dalam format projectName.tableName dari hasil parsing kode dan mencari node yang sesuai untuk direkomendasikan.
Node yang direkomendasikan secara otomatis diperbarui dengan keterlambatan satu hari. Node harus dikomit dan diterapkan ke lingkungan produksi, serta data harus dihasilkan pada hari yang sama, agar muncul dalam rekomendasi. Verifikasi bahwa node yang direkomendasikan telah dikomit dan menghasilkan tabel yang diharapkan.
Gambar garis pada kanvas alur kerja
Tambahkan node leluhur secara manual
Di bagian Scheduling Dependencies, klik Add Dependency. Pilih jenis dependensi—dependensi penjadwalan siklus yang sama, dependensi penjadwalan lintas siklus, self-dependency lintas siklus, atau dependensi lintas siklus pada node turunan level-1—lalu cari berdasarkan nama node, output name, atau ID tugas penjadwalan.
Gunakan metode ini untuk menyesuaikan dependensi ketika hasil parsing otomatis tidak sesuai dengan kebutuhan Anda.
Tentukan output node saat ini
Node lain menemukan dan bergantung pada node saat ini dengan merujuk pada nama output-nya. Konfigurasikan output node agar node downstream dapat mendeklarasikan dependensi terhadapnya.
Nama output default bersifat unik secara global dan tidak dapat diubah atau dihapus. Jika ruang kerja berisi node dengan nama yang sama, nama output duplikat dapat menyebabkan kegagalan commit. Menghapus output node yang memiliki node turunan dapat menyebabkan node turunan tersebut menjadi terisolasi dan tidak dapat dijadwalkan—lihat Dampak menghapus atau mengubah output node.
Gunakan output default
DataWorks menghasilkan output default untuk setiap node. Untuk mengubah nama tabel output, klik Modify di kolom Actions.
Saat Anda menggambar garis untuk menghubungkan node pada kanvas alur kerja, DataWorks secara otomatis menghasilkan nama tabel output dan nama output sebagai input untuk node downstream.
Tambahkan output kustom
Di bagian Node Outputs, klik Add Output. Masukkan nama output dan nama tabel output.
Gunakan format workspace_name.custom_output_name. Nama output harus unik secara global.
Verifikasi dependensi penjadwalan
Setelah mengonfigurasi dependensi, pastikan konfigurasi tersebut benar sebelum dan setelah penerapan:
Sebelum penerapan: Komit node dan periksa apakah DataWorks melaporkan error dependensi apa pun.
Setelah penerapan: Buka Operation Center dan tinjau grafik asiklik terarah (DAG) untuk node yang dipicu otomatis di lingkungan produksi. Garis padat dalam DAG merepresentasikan dependensi siklus yang sama. Verifikasi bahwa rantai dependensi sesuai dengan ekspektasi Anda.
Dependensi antar instans dipengaruhi oleh parameter Instance Generation Mode. Periksa pengaturan ini jika DAG produksi tidak mencerminkan konfigurasi Anda.