DataWorks:Dry-run

• Konfigurasikan node mingguan atau bulanan.

  1. Klik ganda node task, lalu klik tombol Scheduling Settings di sebelah kanan untuk membuka panel properti penjadwalan. Beralih ke modul Time Properties.

     • Scheduling Frequency: Atur ke Week atau Month.

     • Specified time: Atur ke hari tertentu dalam seminggu atau tanggal tertentu dalam sebulan.

     • Scheduling time: Atur ke 10:10.

     Atur Effective date ke Permanent.

  2. Setelah konfigurasi selesai, simpan dan terapkan node tersebut.

• Jika node auto triggered dikonfigurasi untuk berjalan pada hari tertentu dalam seminggu atau tanggal tertentu dalam sebulan, node tersebut hanya berjalan dan menghasilkan data pada waktu yang ditentukan. Pada hari-hari lainnya, sistem menghasilkan instans dry-run.

Untuk menghindari dry-run saat melakukan pengisian ulang data (data backfill) untuk node terjadwal, Anda harus mengatur business date dengan benar. Misalnya, jika node bulanan dijadwalkan berjalan pada tanggal 1 setiap bulan, atur business date ke tanggal terakhir bulan sebelumnya untuk pengisian ulang data tersebut. Logika yang sama berlaku untuk node mingguan.

• Konfigurasikan pembuatan instans kedaluwarsa secara real-time.

  1. Klik ganda node untuk mengonfigurasi atau mengubah siklus penjadwalannya. Di sebelah kanan, klik Scheduling Settings untuk membuka panel properti penjadwalan, lalu buka bagian Scheduling Time.

     Scheduling Frequency: Atur ke Daily.

     Scheduling time: Atur ke 10:09.

  2. Simpan dan terapkan node tersebut. Waktu penerapan (deployment time) adalah 10:00.

• Dengan opsi Instantly generate instances after the deployment, node auto triggered hanya memproses data jika diterapkan minimal 10 menit sebelum waktu terjadwalnya. Jika tidak, instans tersebut menjadi dry-run dengan status Expired instance generated in real-time. Setelah Anda menyimpan dan menerapkan, Anda dapat memverifikasi di Operation Center bahwa Instance Status adalah Expired instance generated in real-time dan Scheduling Type adalah Real-time to Expired Instance Task.

Jika sebuah instans gagal, Anda dapat secara manual menandainya sebagai berhasil untuk membuka blokir node turunannya. Tindakan ini tidak menjalankan task atau menghasilkan data. Untuk melakukannya, buka Operation and Maintenance Center > Auto Triggered Task O&M > Cycle Examples, temukan instans yang gagal, klik More di kolom Actions, lalu pilih Set to Successful. Instance Status instans tersebut kemudian berubah menjadi Instance Set Successfully, dengan durasi eksekusi 0 detik.

• Klik ganda node untuk membuka panel konfigurasinya. Di sebelah kanan, klik Scheduling Settings dan buka bagian Scheduling Policies. Atur secara manual Scheduling Type ke Empty Run Scheduling.

• Setelah konfigurasi selesai, instans auto-triggered yang dihasilkan oleh task ini akan menampilkan Dry-run Task sebagai Scheduling Type dan Dry Run by Instance Properties sebagai Instance State di detail properti task. Waktu proses instans tersebut adalah 0 detik.

• Konfigurasikan instans yang tidak dipilih dalam alur kerja temporary.

  1. Klik ikon dan navigasikan ke halaman All Products > Data Development and O&M > Operation and Maintenance Center (Workflow).

  2. Di panel navigasi kiri Operation Center, pilih Auto Triggered Task O&M > Auto Triggered Task untuk membuka daftar node auto triggered.

     Temukan node target, klik Backfill Data di kolom Actions, lalu pilih Current and Descendant Nodes dari menu drop-down.

  3. Pilih node auto triggered dan lakukan pengisian ulang data untuk node saat ini dan node turunannya guna menghasilkan alur kerja temporary.

     Saat melakukan pengisian ulang data, asumsikan node C bergantung pada node B, dan node B bergantung pada node A. Jika Anda hanya mengisi ulang data untuk node A dan C, maka instans untuk node B akan memiliki status Unselected Instance in Temporary Workflow. Setelah alur kerja temporary dibuat, buka halaman Properties untuk instans pengisian ulang yang bersangkutan. Anda akan melihat bahwa Instance Status adalah Unselected Instance in Temporary Workflow, Instance Type adalah Backfill Instance, dan Task Status adalah Succeeded.

Skenario ini hanya berlaku jika instans dihasilkan menggunakan mode Instantly generate instances after the deployment. Saat Anda mengubah siklus penjadwalan node yang telah diterapkan, DataWorks menghasilkan instans auto triggered baru berdasarkan konfigurasi penjadwalan terbaru, tetapi tidak menghapus instans yang telah dihasilkan sebelumnya berdasarkan waktu penjadwalan awal. Misalnya, jika Anda mengubah waktu penjadwalan node per jam dari menit ke-10 menjadi menit ke-55 setiap jam, maka baik instans waktu awal maupun instans waktu baru akan ada dalam jam ketika perubahan dilakukan, sehingga node tampak berjalan dua kali dalam jam tersebut. Instans waktu awal menjadi instans dry-run karena konfigurasi penjadwalannya telah berubah dan tidak memproses data riil.

Perilaku ini hanya terjadi pada hari perubahan dilakukan. Mulai hari berikutnya, instans dihasilkan sesuai ekspektasi berdasarkan konfigurasi penjadwalan terbaru.

Setelah Anda membatalkan penerapan node yang telah diterapkan, instans yang telah dihasilkan tetapi belum dijalankan akan menjadi instans dry-run. Statusnya diatur sebagai berhasil, tetapi kode node tidak dieksekusi. Untuk informasi lebih lanjut, lihat Undeploy nodes.