Saat automatic parsing diaktifkan, Anda harus mengonfirmasi setiap perubahan pada dependensi penjadwalan suatu node selama proses penerbitan. Hal ini menjaga integritas data lingkungan produksi dan memberi Anda kendali atas perubahan node. Saat menyerahkan (submit) sebuah node, sistem akan mengurai kodenya untuk mengidentifikasi input dan output berdasarkan lineage tabel. Hasil penguraian ini dapat digunakan untuk memverifikasi bahwa dependensi hulu (upstream) dan hilir (downstream) node tersebut telah dikonfigurasi dengan benar.
Informasi latar belakang
Saat Anda menyerahkan sebuah node, sistem membandingkan dependensi penjadwalannya saat ini dengan yang ada di lingkungan pengembangan atau produksi. Dependensi saat ini merupakan gabungan dari hasil automatic parsing dan perubahan manual yang dilakukan di bagian Schedule > Dependencies. Jika terdapat ketidaksesuaian, sistem akan menampilkan prompt yang menunjukkan input atau output mana yang telah ditambahkan atau dihapus dibandingkan dengan versi sebelumnya. Anda dapat memilih apakah akan menggunakan hasil parsing terbaru dan menyerahkan node dengan dependensi yang diperbarui. Jika Anda melanjutkan, sistem secara otomatis akan menerapkan hasil terbaru ke bagian Schedule > Dependencies.
Jika automatic parsing dinonaktifkan, Anda dapat menentukan dependensi penjadwalan node secara manual sesuai kebutuhan bisnis. Anda juga dapat membandingkan versi node untuk melacak perubahan pada dependensi tersebut.
Batasan
Fitur perbandingan saat ini tidak mendukung analisis dependensi lintas siklus. Jika node Anda memiliki dependensi lintas siklus, pastikan dependensi tersebut telah dikonfigurasi sesuai harapan sebelum menyerahkan node tersebut.
Konfirmasi hasil parsing baru
Saat menyerahkan sebuah node, jika sistem mendeteksi perbedaan antara dependensi penjadwalan hasil parsing dan konfigurasi di lingkungan produksi, Anda harus memverifikasi bahwa dependensi baru tersebut sesuai dengan kebutuhan bisnis. Langkah ini membantu mencegah masalah data akibat perubahan dependensi yang tidak tepat.
Jika node saat ini memiliki banyak node downstream, dampak perubahannya bisa sangat signifikan. Pastikan Anda memahami konteks bisnisnya dan lanjutkan dengan hati-hati.
Contoh berikut berfokus pada dampak perubahan dependensi terhadap tugas dalam jadwal produksi.
Contoh: Dampak perubahan dependensi hulu
Saat menyerahkan node saat ini, sistem membandingkan konfigurasi penjadwalannya dengan konfigurasi node yang sama di lingkungan produksi. Misalnya, sistem menemukan bahwa nama input A (sebuah output dari node hulu) tidak ada. Anda kemudian harus memverifikasi dependensi penjadwalan node tersebut. Sebagai contoh, jika kode node Anda bergantung pada data dari tabel A tetapi node yang menghasilkan tabel A tidak lagi menjadi dependensi hulu, node Anda mungkin berjalan sebelum tabel A siap, sehingga menghasilkan output data yang salah.
Contoh: Dampak perubahan output node
Saat melakukan commit terhadap node saat ini, konfigurasi penjadwalannya dibandingkan dengan konfigurasi node yang sama di lingkungan produksi. Jika nama output tidak ditemukan, Anda harus mengonfirmasi apakah tabel yang dihasilkan oleh node tersebut telah berubah. Jika output ini memiliki dependensi downstream, pastikan perubahan tersebut tidak berdampak tak terduga pada node downstream tersebut.
Jika sebuah node memiliki dependensi downstream, menghapus output-nya dapat menyebabkan node downstream menjadi orphan node, yang berpotensi menyebabkan kegagalan penjadwalan atau masalah pengambilan data. Untuk informasi lebih lanjut, lihat dokumentasi tentang efek penghapusan atau perubahan output node.
Saat Anda mengubah nama output sebuah node, kotak dialog Important akan muncul. Kotak dialog ini mencantumkan node di lingkungan pengembangan dan produksi yang bergantung pada nama output asli, serta memberi peringatan bahwa perubahan ini dapat menyebabkan node downstream menjadi orphan node yang tidak dapat dijadwalkan dengan benar. Klik Confirm untuk mengubah nama output dan melanjutkan commit node.
Saat memilih untuk menerapkan hasil parsing baru, Anda sedang menghapus output yang memiliki dependensi downstream. Evaluasi potensi dampaknya dan lanjutkan dengan hati-hati.