Node terisolasi tidak memiliki dependensi pada node leluhur, sehingga mencegah penjadwalan otomatis dan dapat menyebabkan kegagalan pipeline downstream. Pelajari cara mengidentifikasi dan menanganinya.
Apa itu node terisolasi?
Node terisolasi adalah node yang tidak memiliki dependensi pada node leluhur mana pun. Akibatnya, Periodic tasks atau Auto Triggered Instances dengan status ini tidak dipicu oleh sistem penjadwalan otomatis dan tidak akan dijalankan. Jika node terisolasi memiliki banyak dependensi downstream, hal ini dapat menyebabkan kegagalan pipeline serius. DataWorks secara otomatis mengirim peringatan saat mendeteksi node terisolasi. Segera tangani masalah tersebut jika Anda menerima peringatan node terisolasi. Untuk informasi lebih lanjut tentang mekanisme peringatan, lihat Pemantauan dan peringatan untuk node terisolasi.
Di DataWorks, setiap node auto triggered kustom harus memiliki dependensi pada node leluhur agar dapat dijadwalkan dan dijalankan.
Menyelesaikan node terisolasi
|
Skenario |
Deskripsi |
Solusi |
|
Mode pembuatan instans node upstream dan downstream tidak konsisten. |
Ketika node upstream dan downstream sama-sama baru, node downstream dapat menjadi terisolasi jika satu-satunya dependensinya berada pada node upstream dengan mode pembuatan instans yang berbeda. Misalnya, jika node upstream diatur ke mode T+1 (Next Day) dan node downstream diatur untuk membuat instans segera setelah penerapan, maka node upstream tidak membuat instans pada hari ini, sehingga mengisolasi node downstream. |
Atur ulang mode pembuatan instans node upstream dan lakukan penerapan ulang. Untuk informasi lebih lanjut tentang skenario ini, lihat Skenario 3: Mode pembuatan instans tidak konsisten. |
|
Node upstream berada di luar periode validitasnya. |
DataWorks tidak membuat instans untuk node yang berada di luar periode validitas yang ditentukan. Jika satu-satunya dependensi node downstream adalah node upstream yang berada di luar periode validitasnya, maka node downstream menjadi terisolasi. |
Buka konfigurasi penjadwalan node upstream dan perbarui periode validitasnya. Untuk informasi lebih lanjut, lihat Periode Validitas. |
|
Output node upstream telah berubah. |
Perubahan logika bisnis node upstream dapat mengubah output nodenya, sehingga memutus dependensi node downstream. Jika ini merupakan satu-satunya dependensi node downstream, maka node tersebut menjadi terisolasi. |
Konfigurasi ulang dependensi untuk node downstream. Untuk informasi lebih lanjut, lihat Dampak penghapusan atau perubahan output node. |
|
Terdapat dependensi lintas ruang kerja, dan penjadwalan dinonaktifkan di ruang kerja node upstream. |
Node dengan satu dependensi lintas ruang kerja menjadi terisolasi jika penjadwalan dinonaktifkan di ruang kerja node upstream. |
Hubungi pemilik ruang kerja node upstream untuk mengaktifkan penjadwalan, atau hapus dependensi lintas ruang kerja tersebut. Untuk informasi lebih lanjut tentang cara mengaktifkan penjadwalan, lihat Pengaturan Penjadwalan. |
|
Tugas antara berada di luar rentang waktu yang ditentukan untuk pengisian ulang data. |
Saat Anda melakukan pengisian ulang data, jika tugas antara dalam rantai dependensi penjadwalan berada di luar rentang waktu pengisian ulang, node downstream yang bergantung pada tugas tersebut dapat menjadi terisolasi. Tugas antara memiliki dependensi baik upstream maupun downstream. Contoh:
Jika Anda melakukan pengisian ulang data untuk node A dan C pada rentang waktu |
Lakukan pengisian ulang data untuk tugas antara dalam rentang waktu yang sama. Untuk informasi lebih lanjut, lihat Pengisian Ulang Data. Dalam contoh ini, Anda juga harus melakukan pengisian ulang data untuk Node B pada rentang waktu |
Pemantauan dan peringatan
Setiap malam, DataWorks membuat Auto Triggered Instances untuk hari berikutnya berdasarkan Periodic tasks yang dikonfigurasi. DataWorks menggunakan aturan peringatan bawaan untuk secara berkala memindai node auto triggered guna mendeteksi masalah seperti node terisolasi. Saat masalah terdeteksi, peringatan dipicu secara otomatis. Tangani peringatan ini segera untuk mencegah kegagalan pipeline.
-
DataWorks memindai status node auto triggered setiap hari pada pukul 09.00, 12.00, dan 16.00. Jika suatu masalah terjadi dalam 10 menit sebelum pemindaian, masalah tersebut tidak akan terdeteksi hingga pemindaian berikutnya.
-
Peringatan node terisolasi merupakan aturan sistem bawaan, sehingga Anda tidak perlu membuatnya secara manual. Secara default, DataWorks mengirim peringatan kepada pemilik node melalui SMS dan email. Anda dapat mengubah penerima peringatan untuk aturan global ini di halaman Rule Management. Untuk informasi lebih lanjut, lihat Manajemen Aturan.
Menemukan node terisolasi
Buka Operation Center dan buka halaman Ikhtisar. Bagian Highlights menampilkan jumlah dan detail node terisolasi.