DataWorks:Penjadwalan dependensi

Apa itu penjadwalan dependensi?

Mengapa penjadwalan dependensi diperlukan?

Penjadwalan dependensi memastikan bahwa node saat ini dapat memperoleh data yang diperlukan dari node leluhurnya ketika node saat ini dijadwalkan untuk berjalan. Setelah node leluhur dari node saat ini berhasil berjalan, DataWorks dapat mendeteksi bahwa node leluhur telah menghasilkan data terbaru di tabel terkait berdasarkan status node leluhur. Kemudian, node saat ini dapat berhasil memperoleh data tersebut. Hal ini mencegah node dari memperoleh data yang tidak valid atau tidak memperoleh data sebelum node leluhur dari node saat ini menghasilkan data seperti yang diharapkan.

Bagaimana cara mengonfigurasi penjadwalan dependensi untuk sebuah node?

Skenario apa saja yang tidak mendukung penjadwalan dependensi?

Penjadwalan dependensi memastikan bahwa node yang dipicu otomatis dapat berhasil memperoleh data terbaru dari node leluhurnya pada interval reguler. DataWorks hanya dapat memantau data yang dihasilkan oleh node yang dipicu otomatis.

Bagaimana cara menghapus tabel yang tidak bergantung pada sebuah node?

Ketika saya melakukan commit sebuah node, sistem melaporkan kesalahan bahwa nama output dari node leluhur dari node tersebut tidak ada. Apa yang harus saya lakukan?

Ketika saya melakukan commit sebuah node, sistem melaporkan kesalahan bahwa nama output dari node leluhur dari node tersebut tidak ada. Untuk informasi tentang penyebab dan solusi masalah ini, lihat Ketika saya melakukan commit Node A, sistem melaporkan kesalahan bahwa nama output dari node leluhur yang bergantung pada Node A tidak ada. Apa yang harus saya lakukan?.

Ketika saya melakukan commit sebuah node, sistem melaporkan kesalahan bahwa input dan output dari node tersebut tidak konsisten dengan garis keturunan data dalam kode yang dikembangkan untuk node tersebut. Apa yang harus saya lakukan?

Ketika saya melakukan commit sebuah node, sistem melaporkan kesalahan bahwa input dan output dari node tersebut tidak konsisten dengan garis keturunan data dalam kode yang dikembangkan untuk node tersebut. Untuk informasi tentang penyebab dan solusi masalah ini, lihat Ketika saya melakukan commit sebuah node, sistem melaporkan kesalahan bahwa input dan output dari node tersebut tidak konsisten dengan garis keturunan data dalam kode yang dikembangkan untuk node tersebut. Apa yang harus saya lakukan?.

Sistem secara otomatis menambahkan nama output ke Node Induk untuk node saya berdasarkan fitur penguraian otomatis, tetapi muncul pesan kesalahan yang menunjukkan bahwa output yang diwakili oleh nama output tersebut tidak ada. Apa yang harus saya lakukan?

Sistem gagal menemukan node yang menghasilkan output berdasarkan nama output.

Nama dan ID node turunan dari node saya kosong dan tidak dapat ditentukan dalam output node saya. Mengapa hal ini terjadi?

Setelah Anda mengonfigurasi output dari sebuah node sebagai input dari node lain, penjadwalan dependensi ditetapkan antara kedua node tersebut. Jika sebuah node tidak memiliki node turunan, nama dan ID node turunan tersebut kosong. Setelah Anda mengonfigurasi node turunan untuk node Anda, nama dan ID node turunan secara otomatis ditampilkan.

Bagaimana cara menghapus tabel-tabel yang tidak bergantung pada node saya?

Aturan apa yang digunakan ketika sebuah node perlu bergantung pada node leluhurnya untuk berjalan?

Dalam sistem penjadwalan DataWorks, penjadwalan dependensi dikonfigurasi untuk memastikan bahwa sebuah node dapat berhasil memperoleh data yang diperlukan yang dihasilkan oleh node lain. Anda dapat menentukan apakah akan mengonfigurasi penjadwalan dependensi antara node berdasarkan garis keturunan data dari tabel yang dihasilkan oleh node-node tersebut. Untuk informasi lebih lanjut, lihat Panduan Konfigurasi Dependensi Penjadwalan.

Untuk apa nama output dari sebuah node digunakan?

Nama output dari sebuah node digunakan untuk menetapkan dependensi dengan node lain. Misalnya, jika nama output Node A adalah ABC dan Node B menggunakan ABC sebagai nama inputnya, dependensi ditetapkan antara Node A dan Node B.

Bisakah sebuah node memiliki beberapa nama output?

Ya, sebuah node dapat memiliki beberapa nama output. Nama output dari sebuah node mendefinisikan node tersebut. Jika sebuah node (Node A) perlu bergantung pada node lain (Node B), Node A dapat merujuk nama output dari Node B sebagai nama inputnya. Dengan cara ini, dependensi ditetapkan antara Node A dan Node B.

Bisakah beberapa node memiliki nama output yang sama?

Tidak, beberapa node tidak dapat memiliki nama output yang sama. Nama output setiap node harus unik. Dengan cara ini, jika sebuah node merujuk output dari node lain, sistem dapat menemukan node yang menghasilkan output berdasarkan nama output unik dan fitur penguraian otomatis, dan dependensi dapat ditetapkan antara dua node tersebut. Jika beberapa node menghasilkan data ke tabel yang sama, Anda harus menentukan node terakhir yang menghasilkan data ke tabel tersebut, dan mengubah nama output node lainnya untuk memastikan bahwa nama output semua node unik. Hal ini memastikan bahwa node lain dapat berhasil memperoleh data yang diperlukan dari tabel tersebut.

Jika dua node yang dipicu otomatis di ruang kerja yang sama menghasilkan data ke tabel yang sama, sistem melaporkan pesan kesalahan berikut untuk salah satu node dalam skenario penguraian otomatis: Node ${nodename1} dan node ${nodename2} di ruang kerja ${projectname} menggunakan nama output yang sama ${node_outputname}. Beberapa node tidak dapat memiliki nama output yang sama.

Bagaimana cara mencegah DataWorks menguraikan tabel sementara ketika DataWorks menguraikan penjadwalan dependensi dari sebuah node?

Di tab konfigurasi node, klik kanan nama tabel sementara dalam kode SQL untuk node tersebut dan pilih Delete Input atau Delete Output. Di bagian Dependensi tab Properti, klik Parse Input and Output from Code untuk menguraikan input dan output untuk node tersebut.

Bagaimana cara mengonfigurasi node leluhur untuk node awal dari sebuah alur kerja?

Jika Anda ingin mengonfigurasi node leluhur untuk node awal dari sebuah alur kerja, Anda dapat membuat node beban nol di alur kerja dan menggunakan node beban nol tersebut sebagai node awal dari alur kerja. Kemudian, Anda dapat mengonfigurasi node root dari ruang kerja sebagai node leluhur dari node beban nol tersebut. Untuk informasi tentang cara menggunakan node beban nol, lihat Buat dan Gunakan Node Beban Nol.

Mengapa saya menemukan nama output yang tidak ada dari Node B ketika saya memasukkan nama output untuk mencari node leluhur dari Node A?

DataWorks mencari node leluhur dari sebuah node di antara nama output node yang dicommit dan disebar ke sistem penjadwalan berdasarkan fitur penguraian otomatis. Setelah Node B dicommit, jika Anda menghapus nama output dari Node B dan tidak melakukan commit Node B ke sistem penjadwalan lagi, nama output yang dihapus dari Node B masih dapat ditemukan.

Ketika saya menghapus penerapan sebuah node, sistem menampilkan pesan kesalahan yang menunjukkan bahwa node tersebut memiliki node turunan dan tidak dapat dihapus penerapannya. Namun, tidak ada node turunan yang dapat ditemukan untuk node tersebut di tab Properties. Mengapa hal ini terjadi?

Anda dapat melepas simpul hanya jika tidak ada simpul lain yang bergantung pada simpul tersebut di lingkungan pengembangan dan produksi. Untuk memeriksa apakah masih ada simpul yang bergantung, Anda dapat mengakses Pusat Operasi di development environment dan production environment.

Mengapa beberapa penjadwalan dependensi dari node muncul sebagai garis putus-putus di Pusat Operasi?

Jika penjadwalan dependensi dari sebuah node muncul sebagai garis putus-putus, penjadwalan lintas siklus dikonfigurasi untuk node tersebut. Untuk informasi tentang penjadwalan lintas siklus, lihat Skenario 2: Konfigurasikan Penjadwalan Dependensi untuk Node yang Bergantung pada Instance Siklus Sebelumnya.

Saya mengonfigurasi instance yang dihasilkan untuk node yang dijadwalkan per jam dalam siklus saat ini untuk bergantung pada instance yang dihasilkan untuk node tersebut di siklus sebelumnya. Apa dampaknya pada node ini dan node turunannya?

• Dampak pada node saat ini: Instance yang dihasilkan untuk node dalam siklus saat ini hanya dapat mulai berjalan setelah instance untuk node dalam siklus sebelumnya berhasil dijalankan.

  Skenario: Jika sebuah node yang dijadwalkan per jam mulai berjalan pada 00:00 dan perlu berjalan setiap jam, instance yang dihasilkan untuk node dalam siklus kedua hanya dapat mulai berjalan setelah instance yang dihasilkan untuk node dalam siklus pertama berhasil berjalan.

• Dampak pada node turunan dari node saat ini: Jika node saat ini memiliki node turunan yang dijadwalkan per hari, instance yang dihasilkan untuk node turunan tersebut tidak lagi bergantung secara langsung pada semua instance node saat ini. Sebagai gantinya, instance node turunan hanya bergantung pada instance tertentu dari node saat ini. Dalam hal ini, ketergantungan instance node turunan terhadap beberapa instance node saat ini bersifat tidak langsung.

Bagaimana cara mengonfigurasi penjadwalan dependensi di mana node yang dijadwalkan per hari bergantung pada node yang dijadwalkan per jam?

• Skenario 1: Konfigurasikan instance yang dihasilkan untuk node yang dijadwalkan per hari agar bergantung pada semua instance yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam.

  Konfigurasikan node yang dijadwalkan per hari untuk secara langsung bergantung pada node yang dijadwalkan per jam. Dengan cara ini, instance yang dihasilkan untuk node yang dijadwalkan per hari bergantung pada semua instance yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam.

• Skenario 2: Konfigurasikan instance yang dihasilkan untuk node yang dijadwalkan per hari agar bergantung pada instance tertentu yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam.

  • Untuk node yang dijadwalkan per jam, konfigurasikan instance yang dihasilkan untuk node dalam siklus saat ini untuk bergantung pada instance yang dihasilkan untuk node dalam siklus sebelumnya. Ini menunjukkan bahwa Anda harus menetapkan parameter Ketergantungan Lintas Siklus (Ketergantungan Siklus Sebelumnya Asli) menjadi Instance Node Saat Ini untuk node yang dijadwalkan per jam di bagian Dependensi tab Properti di konsol DataWorks.

  • Untuk node yang dijadwalkan per hari, konfigurasikan node tersebut untuk bergantung pada node yang dijadwalkan per jam. Ini menunjukkan bahwa Anda harus menambahkan nama output dari node yang dijadwalkan per jam ke Node Induk untuk node yang dijadwalkan per hari di bagian Dependensi tab Properti di konsol DataWorks.

  

• Skenario 3: Konfigurasikan instance yang dihasilkan untuk node yang dijadwalkan per hari agar bergantung pada semua instance yang dihasilkan pada hari sebelumnya untuk node yang dijadwalkan per jam.

  • Pada bagian Dependensi di tab Properti node yang dijadwalkan per hari, atur parameter Ketergantungan Lintas Siklus (Ketergantungan Siklus Sebelumnya Asli) ke Node Lain, lalu masukkan ID node yang dijadwalkan per jam pada bidang yang tersedia.

  • Pada bagian Dependensi di tab Properti node yang dijadwalkan per hari, hapus nama output node yang dijadwalkan per jam dari Node Induk untuk node harian tersebut.

Kapan node yang dijadwalkan per hari mulai berjalan jika saya mengonfigurasi node yang dijadwalkan per jam sebagai node leluhur dari node yang dijadwalkan per hari?

Prinsip: Jika node yang dijadwalkan per jam dikonfigurasi sebagai node leluhur dari node yang dijadwalkan per hari, instance yang dihasilkan untuk node yang dijadwalkan per hari bergantung pada semua instance yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam. Ini menunjukkan bahwa instance yang dihasilkan untuk node yang dijadwalkan per hari hanya dapat mulai berjalan setelah instance terakhir yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam berhasil berjalan.

Bagaimana cara mengonfigurasi instance yang dihasilkan untuk node yang dijadwalkan per hari untuk bergantung pada instance tertentu yang dihasilkan pada hari saat ini untuk node yang dijadwalkan per jam?

Prinsip: Untuk mengonfigurasi instance yang dihasilkan untuk node yang dijadwalkan per hari agar bergantung pada instance tertentu yang dihasilkan pada hari yang sama untuk node yang dijadwalkan per jam, konfigurasikan instance yang dihasilkan untuk node yang dijadwalkan per jam dalam siklus saat ini untuk bergantung pada instance yang dihasilkan untuk node yang dijadwalkan per jam dalam siklus sebelumnya. Kemudian, atur waktu penjadwalan instance yang dihasilkan untuk node yang dijadwalkan per hari agar sesuai dengan waktu penjadwalan instance tertentu yang dihasilkan untuk node yang dijadwalkan per jam.

Bagaimana cara mengonfigurasi instance yang dihasilkan untuk node yang dijadwalkan per hari untuk bergantung pada semua instance yang dihasilkan pada hari sebelumnya alih-alih hari saat ini untuk node yang dijadwalkan per jam?

Prinsip: Untuk mengonfigurasi instance yang dihasilkan oleh node yang dijadwalkan per hari agar bergantung pada semua instance yang dihasilkan pada hari sebelumnya oleh node yang dijadwalkan per jam, Anda harus menetapkan ketergantungan lintas siklus dari node yang dijadwalkan per jam ke node yang dijadwalkan per hari.

Dalam skenario apa saya perlu mengonfigurasi instance yang dihasilkan untuk node dalam siklus saat ini untuk bergantung pada instance yang dihasilkan untuk node tersebut dalam siklus sebelumnya?

Bagaimana cara mengonfigurasi dependensi untuk node yang perlu bergantung pada beberapa node?

Jika sebuah node perlu bergantung pada beberapa node, Anda harus menentukan apakah akan mengonfigurasi penjadwalan dependensi antara node tersebut dan node-node lainnya. Jika node sangat bergantung pada data tabel yang dihasilkan oleh node-node tersebut, kami sarankan Anda mengonfigurasi penjadwalan dependensi antara node tersebut dan node-node lainnya. Untuk informasi lebih lanjut tentang cara menentukan apakah akan mengonfigurasi penjadwalan dependensi antara node, lihat Mengapa Penjadwalan Dependensi Diperlukan?.

Sebagai contoh, Node A dijadwalkan per jam dan menghasilkan Tabel A, dan Node B dijadwalkan per hari dan menghasilkan Tabel B. Node C bergantung pada Node A dan Node B dan perlu menggunakan data di Tabel A dan Tabel B.

Jika Anda menambahkan nama output Node A ke Parent Nodes untuk Node C, tetapi tidak menambahkan nama output Node B ke Parent Nodes untuk Node C, Node C mungkin mulai berjalan meskipun Node B masih berjalan. Akibatnya, Node C gagal memperoleh data di Tabel B, dan kesalahan terjadi pada Node C. Untuk menyelesaikan masalah ini, Anda harus menambahkan nama output baik Node A maupun Node B ke Parent Nodes untuk Node C.

Jika sebuah node tidak sangat bergantung pada data tabel yang dihasilkan oleh node lain dan node tersebut dapat memperoleh data bahkan jika data terbaru tidak dihasilkan oleh node lain, Anda tidak perlu mengonfigurasi penjadwalan dependensi antara dua node tersebut.

Node B yang dijadwalkan per hari bergantung pada Node A yang dijadwalkan per jam, dan Node B mulai berjalan hanya setelah semua instance yang dihasilkan pada hari saat ini untuk Node A berhasil berjalan. Apakah pelaksanaan Node B akan terpengaruh jika Node A masih berjalan pada hari berikutnya?

Instance yang dihasilkan untuk Node B bergantung pada semua instance yang dihasilkan pada hari saat ini untuk Node A. Node B berjalan otomatis setiap hari setelah semua instance Node A berhasil berjalan. Jika instance terakhir Node A berhasil berjalan pada hari berikutnya, Node B tetap berjalan, tetapi pada waktu yang berbeda dari waktu yang ditentukan. Parameter penjadwalan dapat diganti sesuai harapan.

Node A berjalan setiap jam tepat pada waktunya, dan Node B berjalan sekali sehari. Bagaimana cara mengonfigurasi Node B untuk berjalan otomatis setelah instance pertama Node A berhasil berjalan setiap hari?

Ketika Anda mengonfigurasi properti waktu untuk Node A di bagian Dependensi tab Properti, Anda harus menetapkan parameter Cross-Cycle Dependency (Original Previous-Cycle Dependency) menjadi Instances of Current Node. Selain itu, Anda harus menetapkan waktu penjadwalan menjadi 00:00 untuk Node B. Dengan cara ini, instance yang dihasilkan untuk Node B hanya bergantung pada instance pertama yang dihasilkan pada 00:00 setiap hari untuk Node A. Instance ini adalah instance pertama atau Node A.

Bagaimana cara mengonfigurasi Node A, Node B, dan Node C untuk berjalan secara berurutan sekali per jam?

1. Dependensi: Konfigurasikan output Node A sebagai input Node B dan output Node B sebagai input Node C.

2. Siklus Penjadwalan: Konfigurasikan Node A, Node B, dan Node C untuk dijadwalkan per jam.

Bagaimana cara mengonfigurasi penjadwalan dependensi lintas alur kerja atau mengonfigurasi penjadwalan dependensi lintas ruang kerja yang berada di wilayah yang sama?

Prinsip: Gunakan output dari sebuah node sebagai input dari node lain untuk menetapkan dependensi antara dua node. Anda harus menambahkan nama output sebuah node ke Node Induk untuk node lain untuk menetapkan dependensi antara node-node tersebut. Node-node tersebut dapat termasuk dalam alur kerja dan ruang kerja yang berbeda.

Saya telah mengonfigurasi properti ulang untuk node saya, tetapi node tersebut tidak dijalankan ulang setelah gagal. Selain itu, pesan kesalahan "Task Run Timed Out, Killed by System!!! muncul. Apa yang harus saya lakukan?

• Deskripsi Masalah:

  Parameter Rerun di bagian Schedule tab Properties disetel ke Allow Regardless of Running Status atau Allow upon Failure Only untuk node tersebut. Namun, node tersebut tidak dijalankan ulang setelah mengalami kegagalan, dan pesan kesalahan Task Run Timed Out, Killed by System!!! muncul saat node tersebut dijalankan.

• Possible Causes:

  Parameter Timeout definition di bagian Schedule tab Properties dikonfigurasikan untuk node tersebut. Jika durasi berjalan node melebihi nilai parameter Definisi Timeout, node secara otomatis berhenti dan tidak dijalankan ulang. Node yang gagal dijalankan karena timeout tidak dapat dijalankan ulang.

• Solusi:

  Jalankan ulang node tersebut secara manual.