DataWorks memungkinkan Anda mengonfigurasi dependensi penjadwalan lintas siklus untuk node. Anda dapat mengatur agar instance yang dihasilkan untuk sebuah node dalam siklus saat ini bergantung pada instance dari satu atau beberapa node tertentu dalam siklus sebelumnya. Instance tersebut hanya akan mulai berjalan setelah instance yang menjadi ketergantungan berhasil dijalankan. Jika instance dalam siklus saat ini perlu bergantung pada data dari instance hari sebelumnya atau jika instance yang dijadwalkan per jam/menit bergantung pada instance dari node yang sama dalam siklus sebelumnya, Anda dapat mengonfigurasi dependensi penjadwalan lintas siklus. Topik ini menjelaskan cara mengonfigurasi dan jenis-jenis dependensi penjadwalan lintas siklus.
Perhatian
Saat mengonfigurasi dependensi penjadwalan lintas siklus, perhatikan item-item berikut:
Item | Deskripsi | Referensi |
Tampilan Dependensi Penjadwalan Lintas Siklus | Dependensi penjadwalan lintas siklus ditampilkan sebagai garis putus-putus dalam grafik asiklik terarah (DAG) dari sebuah node. | |
Konfirmasi Kebutuhan Mengonfigurasi Dependensi Penjadwalan Siklus yang Sama Setelah Dependensi Penjadwalan Lintas Siklus Dikonfigurasi | Setelah mengonfigurasi dependensi penjadwalan untuk sebuah node, node tersebut hanya dapat mulai berjalan setelah semua node leluhur berhasil dijalankan. Secara default, fitur penguraian otomatis untuk dependensi penjadwalan siklus yang sama diaktifkan. Jika dependensi penjadwalan lintas siklus dikonfigurasi, pastikan apakah node tersebut memerlukan dependensi penjadwalan siklus yang sama. Jika tidak diperlukan, hapus dependensi siklus yang sama yang dihasilkan secara otomatis untuk mencegah pelaksanaan node terpengaruh. | Pilih Jenis Dependensi Penjadwalan (Dependensi Penjadwalan Siklus yang Sama) |
Skenario Kompleks di Mana Dependensi Penjadwalan Lintas Siklus Diperlukan | Dalam skenario kompleks, dependensi penjadwalan siklus yang sama mungkin tidak memenuhi persyaratan bisnis Anda. Dalam hal ini, Anda dapat mengonfigurasi dependensi penjadwalan lintas siklus. Sebagai contoh, jika sebuah node yang dijadwalkan harian bergantung pada node yang dijadwalkan per jam, instance yang dihasilkan untuk node harian bergantung pada semua instance yang dihasilkan untuk node per jam pada hari yang sama secara default. | Prinsip dan Contoh Konfigurasi Penjadwalan dalam Skenario Dependensi Kompleks |
Pratinjau Dependensi Penjadwalan Sebuah Node | Untuk mencegah node yang dipicu otomatis dalam lingkungan produksi tertunda karena dependensi penjadwalan yang tidak sesuai dengan harapan, disarankan untuk mempratinjau dependensi penjadwalan sebelum menerapkan node ke lingkungan produksi. Ini memastikan bahwa instance yang dihasilkan untuk node dapat berjalan sesuai harapan. | |
Penyebaran Node | Setelah mengonfigurasi dependensi penjadwalan lintas siklus untuk sebuah node, sebarkan node tersebut dan node leluhurnya ke lingkungan produksi. Setelah penyebaran selesai, Anda dapat melihat dependensi penjadwalan lintas siklus di Pusat Operasi dalam lingkungan produksi. |
Titik masuk
Buka tab konfigurasi node yang diinginkan di Data Studio. Klik tab Properties di panel navigasi sisi kanan. Di bagian Scheduling Dependencies pada tab yang muncul, klik Add Dependency, atur parameter Dependency Type ke Cross-cycle Dependency, cari node berdasarkan nama node, nama output, atau ID tugas penjadwalan, lalu tambahkan node sebagai node leluhur dari node saat ini sesuai kebutuhan bisnis.
Jenis dependensi penjadwalan lintas siklus
Jenis Dependensi | Deskripsi | Skenario |
Dependensi pada Instance yang Dihasilkan untuk Node Saat Ini dalam Siklus Sebelumnya | Instance yang dihasilkan untuk sebuah node dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya berhasil dijalankan. | Instance yang dihasilkan untuk sebuah node dalam siklus saat ini bergantung pada data bisnis terbaru dari instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya. |
Dependensi pada Instance yang Dihasilkan untuk Node Turunan Level-1 dari Node Saat Ini dalam Siklus Sebelumnya | Instance yang dihasilkan untuk node saat ini dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk node turunan dari node saat ini dalam siklus sebelumnya berhasil dijalankan. | Instance yang dihasilkan untuk node saat ini dalam siklus saat ini bergantung pada apakah data tabel output dari node saat ini dalam siklus sebelumnya dibersihkan oleh instance yang dihasilkan untuk node turunan dari node saat ini dalam siklus sebelumnya. |
Dependensi pada Instance yang Dihasilkan untuk Satu atau Beberapa Node Tertentu dalam Siklus Sebelumnya | Instance yang dihasilkan untuk node saat ini dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk satu atau beberapa node tertentu dalam siklus sebelumnya berhasil dijalankan. | Instance yang dihasilkan untuk node saat ini dalam siklus saat ini bergantung pada data tabel output dari instance yang dihasilkan untuk satu atau beberapa node lain dalam siklus sebelumnya berdasarkan logika bisnis tetapi tidak menggunakan data dalam kode. |
Dependensi pada instance yang dihasilkan untuk node saat ini dalam siklus sebelumnya
Instance yang dihasilkan untuk sebuah node dalam siklus saat ini bergantung pada data bisnis terbaru dari instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya. Periksa dependensi berikut:
Instance yang dihasilkan untuk sebuah node yang dijadwalkan per jam dalam siklus saat ini bergantung pada instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya.
Instance yang dihasilkan untuk sebuah node yang dijadwalkan harian dalam siklus saat ini bergantung pada instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya.
Konfigurasikan dependensi penjadwalan:
Buka tab konfigurasi Node A di Data Studio. Klik tab Properties di panel navigasi sisi kanan. Klik Scheduling Dependencies pada tab yang muncul.
Di bagian Node Dependencies, klik Add Dependency. Di formulir yang muncul, konfigurasikan pengaturan berikut:
Atur parameter Dependency Type ke Cross-cycle Self Dependency. Klik Add untuk menambahkan instance yang dihasilkan untuk Node A dalam siklus sebelumnya sebagai dependensi leluhur dari node saat ini.
Klik Save untuk menyimpan konfigurasi dependensi penjadwalan.
Hasil pelaksanaan instance yang dihasilkan untuk node yang dijadwalkan per jam dalam siklus penjadwalan yang berbeda dan yang dihasilkan untuk node yang dijadwalkan harian dalam siklus penjadwalan yang berbeda saling memengaruhi.
Jika node yang dijadwalkan harian bergantung pada node yang dijadwalkan per jam atau menit, waktu mulai pelaksanaan instance yang dihasilkan untuk node yang dijadwalkan harian dipengaruhi oleh apakah node yang dijadwalkan per jam atau menit dikonfigurasi dengan dependensi diri.
Node yang dijadwalkan per jam atau menit tidak dikonfigurasi dengan dependensi diri
Jika node yang dijadwalkan per jam atau menit tidak dikonfigurasi dengan dependensi diri, instance yang dihasilkan untuk node yang dijadwalkan harian bergantung pada semua instance yang dihasilkan untuk node yang dijadwalkan per jam atau menit pada hari yang sama. Dalam hal ini, node yang dijadwalkan harian mengumpulkan dan memproses semua data tabel dari semua instance yang dihasilkan untuk node yang dijadwalkan per jam atau menit pada hari yang sama.
Node yang dijadwalkan per jam atau menit dikonfigurasi dengan dependensi diri
Jika node yang dijadwalkan per jam atau menit dikonfigurasi dengan dependensi diri, instance yang dihasilkan untuk node yang dijadwalkan harian hanya bergantung pada instance tertentu yang dihasilkan untuk node yang dijadwalkan per jam atau menit berdasarkan prinsip kedekatan waktu penjadwalan. Waktu penjadwalan kedua instance adalah yang paling dekat.
Untuk informasi lebih lanjut, lihat Lampiran 1: Skenario Dependensi Kompleks.
Dependensi pada instance yang dihasilkan untuk node turunan level-1 dari node saat ini dalam siklus sebelumnya
Jika Anda mengonfigurasi jenis dependensi penjadwalan ini untuk sebuah node, instance yang dihasilkan untuk node tersebut dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk node turunan level-1 dari node tersebut dalam siklus sebelumnya berhasil dijalankan.
Konfigurasikan dependensi penjadwalan:
Buka tab konfigurasi Node C di Data Studio. Klik tab Properties di panel navigasi sisi kanan. Klik Scheduling Dependencies pada tab yang muncul.
Di bagian Node Dependencies, klik Add Dependency. Di formulir yang muncul, konfigurasikan pengaturan berikut:
Atur parameter Dependency Type ke Cross-cycle Dependency on Level-1 Descendant Node. Sistem secara otomatis mencari node yang menjadi ketergantungan node saat ini berdasarkan kode terbaru di tab konfigurasi node saat ini. Anda perlu memilih Nodes A dan B sebagai node leluhur dari node saat ini.
Klik Save untuk menyimpan konfigurasi dependensi penjadwalan.
Deskripsi diagram alur:
Deskripsi Instance C1:
Pemrosesan data: Instance C1 memproses data dalam tabel output Instances A dan B di partisi T-2.
Output data: Instance C1 menghasilkan data dalam Table C1 di partisi T-1.
Deskripsi Instances A1 dan B1:
Pemrosesan data: Instances A1 dan B1 memproses data dalam tabel output Instance C1 pada hari T-1.
Output data: Instances A1 dan B1 menghasilkan data dalam Tables A1 dan B1 pada hari T-1.
Deskripsi Instance C2:
Pemrosesan data: Instance C2 memproses data dalam tabel output Instances A1 dan B1 di partisi T-1.
Output data: Instance C2 menghasilkan data dalam Table C2 di partisi T.
Deskripsi Instances A2 dan B2:
Pemrosesan data: Instances A2 dan B2 memproses data dalam tabel output Instance C2 pada hari T.
Output data: Instances A2 dan B2 menghasilkan data dalam Tables A2 dan B2 pada hari T.
Dependensi pada instance yang dihasilkan untuk satu atau beberapa node tertentu dalam siklus sebelumnya
Jika Anda mengonfigurasi jenis dependensi penjadwalan ini untuk sebuah node, instance yang dihasilkan untuk node tersebut dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk satu atau beberapa node tertentu dalam siklus sebelumnya berhasil dijalankan.
Konfigurasikan dependensi penjadwalan:
Buka tab konfigurasi Node B di Data Studio. Klik tab Properties di panel navigasi sisi kanan. Klik Scheduling Dependencies pada tab yang muncul.
Di bagian Node Dependencies, klik Add Dependency. Di formulir yang muncul, konfigurasikan pengaturan berikut:
Atur parameter Dependency Type ke Cross-cycle Dependency.
Objek Leluhur: Atur parameter ke Name dan pilih Node D, yang tidak termasuk dalam alur kerja yang dibentuk oleh Nodes A, B, dan C.
Pilih Node D sebagai node leluhur dari Node B.
Deskripsi diagram alur: Node C memiliki dua node turunan: Node A dan Node B, dan instance yang dihasilkan untuk Node B dalam siklus saat ini bergantung pada instance yang dihasilkan untuk Node D dalam siklus sebelumnya. Dalam contoh ini, siklus saat ini adalah T, dan siklus sebelumnya adalah T-1. Instance yang dihasilkan untuk Node B dalam siklus saat ini hanya dapat mulai berjalan setelah instance yang dihasilkan untuk Node D dalam siklus sebelumnya berhasil dijalankan.
Pratinjau dependensi penjadwalan
Setelah mengonfigurasi dependensi penjadwalan untuk sebuah node, Anda dapat mempratinjau dependensi penjadwalan. Untuk informasi lebih lanjut, lihat Langkah-langkah Selanjutnya: Periksa Apakah Dependensi Penjadwalan Memenuhi Harapan Anda.