Jika dependensi penjadwalan siklus yang sama dikonfigurasi untuk sebuah node, instance yang dihasilkan untuk node tersebut dalam siklus saat ini bergantung pada data dari instance yang dihasilkan untuk node lain dalam siklus penjadwalan yang sama. Node saat ini hanya dapat dijalankan sesuai harapan setelah instance yang dihasilkan untuk node lain berhasil dijalankan. Jika node saat ini perlu bergantung pada data dalam tabel yang dihasilkan oleh node lain dalam siklus penjadwalan yang sama, Anda dapat mengonfigurasi dependensi penjadwalan siklus yang sama untuk node tersebut. DataWorks memungkinkan Anda mengonfigurasi dependensi penjadwalan siklus yang sama dengan berbagai metode dan menyediakan fitur pratinjau dependensi. Anda dapat melihat serta menyesuaikan dependensi penjadwalan yang salah pada kesempatan pertama untuk memastikan bahwa node dijadwalkan sesuai harapan. Topik ini menjelaskan tindakan pencegahan, logika, dan metode untuk mengonfigurasi dependensi penjadwalan siklus yang sama.
Tindakan pencegahan
Untuk memastikan konfigurasi dependensi penjadwalan berjalan lancar, Anda harus memahami informasi yang dijelaskan dalam topik "Konfigurasi Pengaturan Penjadwalan".
Dalam grafik asiklik terarah (DAG) dari sebuah node, dependensi penjadwalan siklus yang sama untuk node tersebut disajikan sebagai garis solid.
Jika dependensi penjadwalan siklus yang sama antar node tidak dapat memenuhi kebutuhan Anda dalam skenario kompleks tertentu, Anda dapat mengonfigurasi dependensi penjadwalan lintas siklus antar node. Sebagai contoh, jika sebuah node yang dijadwalkan per hari bergantung pada node yang dijadwalkan per jam, instance yang dihasilkan untuk node yang dijadwalkan per hari bergantung pada semua instance yang dihasilkan untuk node yang dijadwalkan per jam pada hari saat ini secara default. Jika Anda mengonfigurasi ketergantungan diri untuk node yang dijadwalkan per jam, Anda dapat menentukan bahwa node yang dijadwalkan per hari bergantung pada instance yang dihasilkan untuk node yang dijadwalkan per jam dalam siklus penjadwalan tertentu. Untuk informasi tentang cara mengonfigurasi dependensi penjadwalan dalam skenario dependensi kompleks, lihat Prinsip dan Contoh Konfigurasi Penjadwalan dalam Skenario Dependensi Kompleks.
Prinsip konfigurasi
Untuk meningkatkan efisiensi pengembangan node, kami sarankan Anda menggunakan fitur penguraian otomatis untuk dengan cepat mengonfigurasi dependensi penjadwalan untuk node. Anda harus mematuhi prinsip-prinsip berikut selama proses pengembangan:
Pembuatan Node: Kami sarankan Anda menentukan nama node yang sama dengan nama tabel output dari node tersebut.
Pengembangan Kode: Jangan gunakan beberapa node untuk menulis data ke tabel yang sama.
Konfigurasi Dependensi: Kami sarankan Anda menggunakan tabel yang dihasilkan oleh node sebagai output dari node tersebut.
Titik masuk konfigurasi dan deskripsi
Anda dapat pergi ke tab konfigurasi node yang Anda buat di Data Studio dan klik tab Properties di panel navigasi sebelah kanan untuk mengonfigurasi dependensi penjadwalan untuk node tersebut di bagian Scheduling Dependencies dari tab Properti.
Saat Anda mengonfigurasi dependensi penjadwalan siklus yang sama untuk sebuah node, Anda harus menentukan node-node tempat node saat ini perlu bergantung di bagian Node Dependencies dan menentukan node lain yang perlu bergantung pada node saat ini berdasarkan output dari node saat ini di bagian Node Outputs.
Secara default, Anda dapat mengonfigurasi dependensi penjadwalan untuk sebuah node berdasarkan garis keturunan antara tabel tempat Anda ingin membaca data dan tabel tempat Anda ingin menulis data dalam kode node. Saat Anda melakukan commit node, DataWorks memeriksa apakah dependensi penjadwalan dikonfigurasi sesuai harapan. Anda dapat menentukan apakah akan melakukan penguraian otomatis untuk kode sebelum Anda melakukan commit node yang diinginkan berdasarkan kebutuhan bisnis Anda.
DataWorks mendukung berbagai metode konfigurasi, seperti konfigurasi berdasarkan garis keturunan dalam kode node, konfigurasi dengan menggambar garis pada tab konfigurasi alur kerja, dan konfigurasi manual. Anda dapat memilih metode konfigurasi berdasarkan kebutuhan bisnis Anda.
Jika instance yang dihasilkan untuk sebuah node dalam siklus saat ini perlu bergantung pada data dari instance yang dihasilkan untuk node lain pada hari sebelumnya atau jika instance yang dihasilkan untuk node yang dijadwalkan per jam atau menit dalam siklus saat ini perlu bergantung pada instance yang dihasilkan untuk node yang sama dalam siklus sebelumnya, Anda dapat mengonfigurasi dependensi penjadwalan lintas siklus.
Node leluhur
Anda dapat menentukan node-node tempat node saat ini bergantung. Setelah node ditentukan, node saat ini dapat mulai dijalankan hanya setelah node leluhur berhasil dijalankan. Anda harus memasukkan output dari node leluhur sebagai input dari node saat ini. Perhatikan hal-hal berikut saat Anda menentukan node-node tempat node saat ini bergantung:
Anda harus mengonfigurasi node leluhur untuk semua node. Kami sarankan Anda mengonfigurasi node leluhur untuk sebuah node berdasarkan garis keturunan tabel. Jika tidak ada garis keturunan tabel, Anda dapat memilih node root atau node beban nol dari ruang kerja sebagai node leluhur untuk node saat ini berdasarkan kebutuhan bisnis Anda.
Pastikan bahwa node leluhur telah dicommit. Jika muncul kesalahan yang menunjukkan bahwa output dari node leluhur tidak ada saat Anda melakukan commit node saat ini, periksa apakah node leluhur telah dicommit.
Metode Konfigurasi:
Metode 1: Konfigurasikan dependensi penjadwalan berdasarkan garis keturunan dalam kode node
DataWorks menghasilkan nama tabel output dalam format projectName.tableName berdasarkan hasil penguraian kode. Sistem mencari dan merekomendasikan node-node tempat node saat ini perlu bergantung berdasarkan nama tabel output.
Metode 2: Tambahkan dependensi penjadwalan untuk node secara manual
Di bagian Scheduling Dependencies, klik Add Dependency. Di formulir yang muncul, pilih jenis dependensi, cari node berdasarkan node name, output name, atau ID tugas penjadwalan, lalu tambahkan node sebagai node leluhur dari node saat ini.
Jika Anda menggunakan dependensi penjadwalan yang diperoleh dari hasil penguraian kode node, pastikan bahwa node yang direkomendasikan telah dicommit dan diterapkan ke lingkungan produksi serta menghasilkan tabel yang diinginkan. Node yang direkomendasikan harus dicommit ke sistem penjadwalan pada hari sebelumnya. Dengan cara ini, node dapat diidentifikasi oleh fitur rekomendasi otomatis setelah data dihasilkan pada hari saat ini. Oleh karena itu, node yang direkomendasikan secara otomatis diperbarui dengan penundaan satu hari.
Output node saat ini
Anda dapat mengonfigurasi output node untuk menetapkan dependensi penjadwalan antara node saat ini dan node lain. Node lain menemukan node saat ini dengan mencari nama output dari node saat ini, dan node saat ini ditentukan sebagai node leluhur dari node berdasarkan konfigurasi dependensi penjadwalan. Jika node saat ini dikonfigurasi sebagai node leluhur dari node turunan, nama output dari node saat ini berisi nama node turunan setelah node turunan dicommit. DataWorks tidak mengizinkan Anda untuk secara manual memodifikasi node turunan di bagian Output Node dari node saat ini. Gambar-gambar berikut menunjukkan semua metode untuk menentukan output node saat ini.
Di DataWorks, nama output yang dihasilkan untuk sebuah node sama dengan nama node. Jika ruang kerja berisi node yang memiliki nama yang sama, node tersebut mungkin gagal dicommit karena nama output yang duplikat. Jika Anda menghapus output dari node yang memiliki node turunan, dampak serius mungkin terjadi. Untuk informasi lebih lanjut, lihat bagian Lampiran 1: Dampak dari Penghapusan atau Modifikasi Output Node dalam topik ini.
Metode 1: Gunakan output node default
Secara default, DataWorks menghasilkan output untuk sebuah node. Anda dapat mengklik Modify di kolom Aksi untuk mengubah nama tabel output.
Nama output default dari sebuah node bersifat unik secara global dan tidak dapat diubah atau dihapus. Jika Anda mengonfigurasi dependensi penjadwalan antar node dalam alur kerja dengan menggambar garis pada tab konfigurasi alur kerja, DataWorks secara otomatis menghasilkan nama tabel output dan nama output sebagai input dari node turunan.
Metode 2: Tambahkan output node secara manual
Di bagian Output Node, klik Tambah Output. Di baris yang muncul, tambahkan output secara manual untuk node saat ini dan konfigurasikan nama output dan nama tabel output.
Anda harus mengonfigurasi nama output dalam format nama ruang kerja.nama output kustom. Nama output harus unik secara global.
Logika konfigurasi
Untuk mengonfigurasi dependensi penjadwalan antar node, Anda menggunakan output dari sebuah node sebagai input dari node lain. Dengan cara ini, dependensi penjadwalan antar node terbentuk. Kami sarankan Anda mengonfigurasi dependensi penjadwalan antar node berdasarkan garis keturunan antara tabel tempat Anda ingin membaca data dan tabel tempat Anda ingin menulis data. Setelah dependensi penjadwalan dikonfigurasi, node turunan dapat mulai dijalankan hanya setelah node leluhur berhasil dijalankan. Dependensi penjadwalan membantu memastikan bahwa sebuah node dapat memperoleh data yang diperlukan untuk operasinya dari node leluhurnya.
Anda dapat mengonfigurasi dependensi penjadwalan antar node dengan menggunakan metode yang dijelaskan dalam tabel berikut. Logika konfigurasi sama untuk ketiga metode.
Metode Konfigurasi | Deskripsi |
DataWorks secara otomatis menambahkan output default dari node leluhur sebagai input dari node turunan. | |
Tambahkan node leluhur secara manual untuk node di bagian Dependensi Penjadwalan | Dalam kebanyakan kasus, Anda dapat menggunakan metode ini untuk memodifikasi dependensi penjadwalan node jika dependensi penjadwalan yang diperoleh dengan menggunakan fitur penguraian otomatis tidak memenuhi kebutuhan bisnis Anda. |
Anda dapat mengonfigurasi dependensi penjadwalan antar node berdasarkan fitur penguraian otomatis. Fitur ini dapat secara otomatis menguraikan garis keturunan tabel berdasarkan kode node dan memungkinkan Anda untuk dengan cepat mengonfigurasi dependensi penjadwalan antar node. |
Metode konfigurasi
Gambar garis pada tab konfigurasi alur kerja untuk menghubungkan node dan menetapkan dependensi penjadwalan antar node
Tambahkan node leluhur secara manual untuk node di bagian Dependensi Penjadwalan
Di bagian Dependensi Penjadwalan, setelah Anda memilih jenis dependensi, seperti dependensi penjadwalan siklus yang sama, dependensi penjadwalan lintas siklus, dependensi diri lintas siklus, dan dependensi penjadwalan lintas siklus pada node turunan tingkat-1, Anda dapat mencari node berdasarkan nama node, nama output, atau ID tugas penjadwalan, lalu tambahkan node sebagai node leluhur dari node saat ini.
Gunakan fitur penguraian otomatis untuk mengonfigurasi dependensi penjadwalan antar node berdasarkan garis keturunan tabel
DataWorks memungkinkan Anda untuk dengan cepat mengonfigurasi dependensi penjadwalan antar node dengan menggunakan garis keturunan tabel dalam kode node. Anda dapat mengklik Parse Input and Output from Code di bagian Dependensi Node untuk secara otomatis menguraikan kode terbaru di editor kode dan memperoleh node yang direkomendasikan berdasarkan hasil penguraian kode.
Langkah-langkah selanjutnya: Periksa apakah dependensi penjadwalan memenuhi harapan Anda
Setelah dependensi penjadwalan dikonfigurasi, Anda dapat melakukan operasi berikut untuk memastikan bahwa node dijadwalkan sesuai harapan:
Commit node: Periksa apakah perubahan pada dependensi penjadwalan antar node memenuhi harapan Anda saat Anda melakukan commit node.
Konfirmasi dependensi penjadwalan antar node di Pusat Operasi: Setelah Anda menerapkan node, periksa apakah dependensi penjadwalan antar node yang dipicu otomatis di lingkungan produksi memenuhi harapan Anda di Pusat Operasi. Node yang dipicu otomatis di lingkungan produksi adalah node dalam status terbaru. Dependensi penjadwalan antar instance yang dihasilkan untuk node relevan dengan parameter Mode Pembuatan Instance.