DataWorks:Mode pembuatan instans: Segera Setelah Penerapan

Cara kerja

DataWorks menghasilkan instans yang dipicu otomatis untuk semua task yang dipicu otomatis setiap malam untuk hari berikutnya. Mode pembuatan instans yang Anda konfigurasikan pada suatu node menentukan kapan node yang baru diterapkan atau diperbarui mulai berlaku.

Tabel berikut membandingkan kedua mode menggunakan contoh yang sama: Anda menerapkan node pada pukul 15.00 hari ini.

Catatan penggunaan

• Node alur kerja: Node di dalam alur kerja tidak dapat dikonfigurasi secara individual. Atur mode pembuatan instans untuk seluruh alur kerja melalui konfigurasi penjadwalan pada halaman pengeditan alur kerja.

• Jendela pemeliharaan harian: Setiap hari dari pukul 23.30 hingga 24.00, DataWorks menghasilkan semua instans yang dipicu otomatis untuk hari berikutnya. Node yang diterapkan selama jendela ini harus menunggu hingga hari ketiga agar instansnya dibuat.

• Penundaan aktivasi 10 menit: Setelah penerapan, pembuatan instans segera memiliki penundaan 10 menit. Waktu terjadwal node harus setidaknya 10 menit setelah waktu penerapan agar instans dijalankan. Jika selisihnya kurang dari 10 menit atau waktu terjadwal telah lewat, DataWorks menghasilkan instans dry-run dengan status Expired Instance That Is Generated In Real Time.

• Lingkup perubahan segera: Tidak semua perubahan konfigurasi langsung berlaku pada instans hari yang sama. Misalnya, jika Anda mengubah instans sumber data yang terkait dengan node dan menerapkannya dengan Immediately After Deployment, instans yang ada pada hari yang sama tetap menggunakan sumber data sebelumnya. Untuk menjalankan task dengan konfigurasi terbaru, lakukan operasi pengisian ulang data.

• Mode hulu/hilir yang tidak konsisten: Jika node hulu menggunakan Next Day dan node hilir menggunakan Immediately After Deployment, node hilir menjadi node terisolasi. Node terisolasi tidak dijadwalkan secara otomatis, yang dapat mengganggu task yang bergantung padanya.

Perilaku pembuatan instans segera

Penerapan instans segera hanya berlaku untuk waktu terjadwal di masa depan—instans dijalankan secara normal hanya jika waktu terjadwal terjadi setelah waktu penerapan.

Diagram berikut menunjukkan aturan eksekusi secara keseluruhan:

Skenario umum

Mengubah siklus penjadwalan task yang telah diterapkan

Setelah Anda memperbarui waktu penjadwalan task produksi dan menerapkannya, instans sebelum dan sesudah perubahan dapat berdampingan pada hari yang sama, menciptakan dependensi instans yang kompleks.

Skenario ini hanya terjadi pada hari task diterapkan dengan Immediately After Deployment. Hari berikutnya, DataWorks menghasilkan instans secara normal sesuai konfigurasi yang diperbarui.

Contoh 1: Frekuensi penjadwalan diubah dari setiap 6 jam menjadi harian pada pukul 08:00 (waktu yang telah lewat), diterapkan pada pukul 09:00.

Contoh 2: Frekuensi penjadwalan diubah dari setiap 6 jam menjadi harian pada pukul 18:00 (waktu mendatang), diterapkan pada pukul 09:00.

Dalam kasus ini:

• Instans baru dihasilkan: Instans harian A3 dihasilkan setelah pukul 09.00 sesuai konfigurasi baru.

• Penggantian: Instans baru A3 menggantikan instans asli A3 dan A4.

• Instans yang dipertahankan: Instans per jam yang dihasilkan sebelum pukul 09.10 dipertahankan.

Aturan umum untuk perubahan waktu penjadwalan:

• Waktu terjadwal di masa depan: DataWorks mengganti instans yang telah dihasilkan pada periode waktu mendatang dengan instans sesuai konfigurasi terbaru.

• Waktu terjadwal di masa lalu: DataWorks mempertahankan instans yang dihasilkan sebelum waktu efektif perubahan dan mengganti atau menghapus instans yang dihasilkan setelah waktu efektif.

Dampak terhadap dependensi hilir saat mengubah waktu terjadwal task

Saat Anda mengubah waktu penjadwalan task hulu dan menerapkannya dengan Immediately After Deployment, instans hilir menyesuaikan dependensinya berdasarkan konfigurasi penjadwalan terbaru. Instans hilir memasang dependensi baik untuk instans yang baru dihasilkan maupun instans lama yang belum diganti, sehingga logika penjadwalan tetap benar.

Skenario ini hanya terjadi ketika versi node yang diterapkan memiliki pengaturan Immediately After Deployment dan mencakup perubahan waktu penjadwalan.

Contoh 1: Frekuensi penjadwalan tugas induk berubah dari setiap 6 jam menjadi setiap 8 jam.

Contoh 2: Frekuensi penjadwalan task induk diubah dari setiap 6 jam menjadi harian pada pukul 16.00.

Untuk aturan dependensi dalam skenario per jam dan per menit, lihat Prinsip dan contoh konfigurasi penjadwalan dalam skenario dependensi kompleks.

Mode pembuatan instans yang tidak konsisten antara task hulu dan hilir

Jika node hulu dan hilir keduanya baru dibuat tetapi dikonfigurasi dengan mode pembuatan instans yang berbeda, node hilir dapat menjadi node terisolasi.

Contoh: Hulu menggunakan Next Day, hilir menggunakan Immediately After Deployment. Instans node hilir dihasilkan pada hari yang sama, tetapi instans node hulu tidak dihasilkan hingga hari berikutnya. Node hilir tidak memiliki instans hulu untuk dijadikan dependensi dan menjadi terisolasi.

Node terisolasi tidak dijadwalkan secara otomatis. Jika beberapa task hilir bergantung pada node terisolasi, pipeline Anda dapat terganggu secara signifikan.

Pemecahan masalah

Jika instans tidak dihasilkan seperti yang diharapkan setelah penerapan dengan Immediately After Deployment, periksa hal berikut secara berurutan:

1. Periksa waktu terjadwal vs. waktu penerapan: Waktu terjadwal harus setidaknya 10 menit setelah waktu penerapan. Jika selisihnya kurang dari 10 menit atau waktu terjadwal telah lewat, instans menjalankan dry-run dengan status Expired Instance That Is Generated In Real Time. Periksa status instans di Pusat Operasi.

2. Periksa apakah Anda menerapkan selama jendela pemeliharaan: Jika Anda menerapkan antara pukul 23.30 dan 24.00, instans tidak dihasilkan hingga hari ketiga, bukan hari berikutnya.

3. Periksa adanya node terisolasi: Jika node hulu dan hilir memiliki mode pembuatan instans yang berbeda, node hilir dapat menjadi terisolasi. Pastikan node hulu dan hilir menggunakan mode yang sama, atau periksa graf dependensi di Pusat Operasi untuk indikator node terisolasi.

4. Periksa perubahan yang benar-benar berlaku: Jika Anda mengubah instans sumber data yang terkait dengan node, instans hari yang sama tetap menggunakan sumber data sebelumnya. Lakukan pengisian ulang data untuk menjalankan task dengan konfigurasi terbaru.