Skenario untuk pembuatan instans segera setelah penerapan - DataWorks

Agar sebuah node menghasilkan dan menjalankan instans segera setelah diterapkan ke lingkungan produksi, atur mode pembuatan instans-nya menjadi Immediately After Deployment.

Latar Belakang

Setelah Anda menerapkan sebuah node, konfigurasi terbarunya akan tersedia di Operation Center. Setiap malam, DataWorks menghasilkan scheduled instances untuk jadwal hari berikutnya berdasarkan konfigurasi setiap scheduled task. Saat Anda menerapkan node baru atau yang telah diperbarui ke lingkungan produksi, mode pembuatan instans yang dipilih menentukan kapan perubahan tersebut memengaruhi scheduled instances dan dependensinya.

Di DataWorks, mode pembuatan instans menyediakan dua opsi yang mengatur kapan perubahan Anda berlaku: Next Day dan Immediately After Deployment.

Next Day: Operasi pembuatan dan pembaruan node hanya memengaruhi scheduled instances pada hari berikutnya. Jika suatu task harus dijalankan segera setelah diterapkan ke lingkungan produksi, Anda dapat menjalankan operasi backfill data untuk task tersebut.
Immediately After Deployment: Operasi pembuatan dan pembaruan node langsung berlaku. Namun, terdapat selisih waktu antara penerapan dan saat instans yang dapat dijalankan dihasilkan. Selisih ini memiliki dampak berbeda tergantung skenarionya. Untuk informasi lebih lanjut, lihat Skenario umum untuk pembuatan instans segera.

Catatan

Jika Anda mengatur mode pembuatan instans menjadi Immediately After Deployment, perubahan pada properti rerun tidak berlaku untuk instans yang sudah kedaluwarsa.
Node dalam suatu workflow tidak dapat dikonfigurasi secara individual untuk pembuatan instans segera. Opsi ini harus dikonfigurasi untuk seluruh workflow pada halaman konfigurasi penjadwalannya.
Terlepas dari apakah Anda memilih Next Day atau Immediately After Deployment dalam konfigurasi penjadwalan, sistem tetap menghasilkan semua scheduled instances untuk hari berikutnya setiap hari antara pukul 22.00–24.00. Task yang diterapkan selama periode ini tidak akan menghasilkan instans hingga lusa.
Mode pembuatan instans yang tidak konsisten antara task hulu dan hilir dapat menghasilkan isolated nodes.
Selisih waktu untuk pembuatan instans segera: Untuk mencegah perilaku tak terduga, proses pembuatan instans segera memiliki selisih waktu bawaan selama 10 menit. Waktu terjadwal suatu task harus setidaknya 10 menit setelah waktu penerapan agar task tersebut dijalankan dengan konfigurasi terbaru.
Ruang lingkup pembuatan instans segera (perbedaan antara kode task dan pengaturan jadwal): Tidak semua perubahan langsung berlaku. Anda perlu membedakan antara perubahan kode task dan perubahan pengaturan jadwal, karena logika penerapannya berbeda.
- Kode task (seperti logika SQL dan skrip Shell): Instans membaca kode terbaru task saat runtime. Oleh karena itu, jika kesalahan kode menyebabkan exception saat runtime, biasanya Anda hanya perlu memperbaiki kode tersebut, menerapkannya kembali, dan menjalankan ulang instans terkait untuk memulihkannya. Anda tidak perlu membuat ulang instans.
- Pengaturan jadwal (seperti parameter penjadwalan dan kebijakan rerun): Properti-properti ini ditetapkan dalam instans pada saat pembuatan. Jika Anda mengubah pengaturan jadwal suatu task setelah instans dibuat, instans yang sudah ada tidak diperbarui secara otomatis dan tetap dijalankan dengan konfigurasi lama dari saat instans tersebut dibuat.
  
  Contoh: Jika Anda mengubah parameter penjadwalan dari ${bizdate} menjadi ${datehour} lalu menerapkan perubahan tersebut, referensi ke ${datehour} dalam kode langsung berlaku. Namun, konteks parameter lama yang sudah ditetapkan dalam instans yang telah dibuat tidak diperbarui. Ketidaksesuaian ini dapat menyebabkan kegagalan parsing parameter saat runtime. Hal yang sama berlaku pada skenario seperti mengubah sumber data yang terkait dengan suatu node. Instans yang sudah dibuat untuk hari ini tetap dijalankan dengan konfigurasi sebelum perubahan.
Untuk menerapkan perubahan pengaturan jadwal ke instans yang sudah dibuat, Anda dapat:
- Di Operation Center, temukan task yang telah diperbarui dan gunakan operasi Refresh Instances untuk memperbarui secara batch pengaturan jadwal instans yang sudah dibuat.
- Atau jalankan operasi backfill data untuk task tersebut. Operasi backfill menghasilkan dan menjalankan instans berdasarkan konfigurasi task terbaru.

Cara kerja pembuatan instans segera

Pembuatan instans segera setelah penerapan hanya berlaku untuk waktu terjadwal di masa depan. Secara spesifik, instans hanya dieksekusi ketika waktu terjadwal task lebih lambat daripada waktu penerapan.

Pada hari pembuatan task baru, scheduled instances dihasilkan, tetapi hanya instans yang waktu terjadwalnya berada di masa depan yang akan dieksekusi.
Jika Anda memperbarui waktu terjadwal suatu node dan waktu terjadwal barunya berada di masa lalu, tidak ada instans yang dihasilkan. Jika waktu terjadwal barunya berada di masa depan, instans baru dihasilkan berdasarkan konfigurasi baru dan menggantikan instans sebelumnya.

Catatan
Waktu terjadwal harus setidaknya 10 menit setelah waktu penerapan node agar instans dapat dihasilkan dengan benar secara langsung.

Waktu terjadwal berada dalam rentang eksekusi normal

Skenario 1: Pada hari pembuatan node baru, scheduled instances nyata dihasilkan. Ketika waktu terjadwal berada di masa depan relatif terhadap waktu pembuatan instans, dan selisih antara kedua titik waktu tersebut lebih dari 10 menit, instans dijadwalkan dan dieksekusi secara normal. Untuk detailnya, lihat Pembuatan instans segera setelah menerapkan node baru.
Skenario 2: Setelah Anda memperbarui konfigurasi node, jika waktu terjadwal berada di masa depan relatif terhadap waktu pembuatan instans, dan selisih antara kedua titik waktu tersebut lebih dari 10 menit, instans dijadwalkan dan dieksekusi secara normal. Instans yang dieksekusi mencerminkan konfigurasi yang telah diperbarui. Untuk detailnya, lihat Memperbarui jadwal task yang telah diterapkan.
Skenario 4: Dampak perubahan waktu terjadwal terhadap dependensi hilir.
- Jika waktu terjadwal baru instans berada di masa depan relatif terhadap waktu pembuatan instans, dan selisih antara kedua titik waktu tersebut lebih dari 10 menit, instans dijadwalkan dan dieksekusi secara normal. Instans hilir yang belum dijalankan akan bergantung pada instans baru setelah perubahan. Untuk detailnya, lihat Dampak perubahan waktu jadwal terhadap dependensi hilir.
- Jika waktu terjadwal baru instans berada di masa lalu relatif terhadap waktu pembuatan instans, instans dry-run dihasilkan, dan instans hilir yang belum dijalankan menjadi isolated nodes. Untuk detailnya, lihat Mode pembuatan instans yang tidak konsisten antara task hulu dan hilir.

Penting

Kami menyarankan agar Anda tidak menggunakan fitur ini saat memodifikasi pengaturan jadwal node produksi. Fitur ini dapat menyebabkan perubahan dependensi, ketidakkonsistenan dependensi, penggantian instans, atau penghapusan instans, yang dapat memperumit dependensi pada hari tersebut. Namun, dependensi task akan kembali normal pada hari berikutnya.

Waktu terjadwal berada dalam rentang dry-run

Jika waktu terjadwal berada di masa lalu relatif terhadap waktu penerapan node, scheduled instances tetap dihasilkan, tetapi instans tersebut dry run. Status instans adalah Expired instance generated in real time, dan logika kode aktual tidak dieksekusi. Untuk detailnya, lihat Pembuatan instans segera setelah menerapkan node baru.

Skenario 1: Waktu terjadwal berada di masa depan relatif terhadap waktu pembuatan instans, tetapi selisih antara kedua titik waktu tersebut kurang dari 10 menit. Status instans adalah Expired Instance Generated in Real Time.

Contoh: Node A memiliki waktu terjadwal 09:05, dan node tersebut diterapkan pada 09:00. Jika waktu terjadwal instans berada di masa depan relatif terhadap waktu pembuatan instans, tetapi selisih antara kedua titik waktu tersebut kurang dari 10 menit, node A menghasilkan instans dry-run dengan status Expired Instance Generated in Real Time.
Skenario 2: Waktu terjadwal berada di masa lalu relatif terhadap waktu pembuatan instans. Instans Expired Instance Generated in Real Time segera dihasilkan.

Contoh: Node A memiliki waktu terjadwal 09:00 dan diterapkan pada 10:00. Waktu pembuatan instans sebelum waktu penerapan. Node A segera menghasilkan instans dry-run dengan status Expired Instance Generated in Real Time.

Skenario umum untuk pembuatan instans segera

Saat Anda menggunakan mode Instant generation after publishing untuk menghasilkan instans, perilaku eksekusi instans dan dependensi hulu/hilir dalam skenario terkait adalah sebagai berikut:

Pembuatan instans segera setelah menerapkan node baru

Pada hari penerapan task baru, instans dihasilkan segera. Apakah instans yang dihasilkan pada hari penerapan benar-benar dieksekusi tergantung pada waktu terjadwal task tersebut. Untuk detailnya, lihat tabel berikut:

Skenario

Deskripsi

Waktu terjadwal berada di masa depan relatif terhadap waktu efektif instans aktual

DataWorks menghasilkan scheduled instances yang dapat dieksekusi berdasarkan waktu terjadwal dan menjalankannya.

Kebijakan Instant generation after publishing hanya memengaruhi eksekusi instans pada hari tersebut. Apakah instans diganti tergantung pada apakah waktu terjadwal setidaknya 10 menit setelah waktu penerapan. Untuk detailnya, lihat Latar Belakang.

Waktu terjadwal berada di masa lalu relatif terhadap waktu efektif instans aktual

DataWorks menghasilkan instans dry-run kedaluwarsa dengan status Expired instance generated in real time. Instans ini tidak benar-benar dieksekusi.

Jika Anda perlu menjalankan data untuk hari ini, Anda dapat melakukan operasi backfill data untuk mengisi data tanggal bisnis sebelumnya. Operasi ini juga memiliki selisih waktu 10 menit saat menghasilkan instans. Untuk detailnya, lihat Latar Belakang.

Contoh: Misalkan task diterapkan ke lingkungan produksi pada 12:00. Waktu efektif untuk pembuatan instans segera adalah 12:10.

Jika waktu terjadwal task setelah 12:10, task benar-benar dijadwalkan dan dieksekusi.
Jika waktu terjadwal task sebelum 12:10, task melakukan dry run, dan status instans-nya adalah Expired instance generated in real time.

Memperbarui jadwal task yang telah diterapkan

Setelah Anda memperbarui waktu terjadwal task produksi dan menerapkannya, instans sebelum dan sesudah perubahan dapat eksis bersamaan pada hari yang sama, yang dapat memperumit dependensi. Kecuali benar-benar diperlukan, kami menyarankan agar Anda tidak menggunakan mode Instant generation after publishing untuk task yang telah diterapkan. Berikut adalah contoh skenario di mana jadwal diubah dari per jam menjadi harian.

Catatan

Skenario ini hanya terjadi pada hari penerapan task dengan pembuatan instans segera. Hari berikutnya, instans dihasilkan secara normal berdasarkan konfigurasi.

Kasus 1: Mengubah penjadwalan dari setiap 6 jam menjadi harian, dengan waktu terjadwal harian berada di masa lalu.

Pada pukul 09.00, ubah waktu terjadwal task ke waktu lampau dengan mengubah jadwal dari setiap 6 jam menjadi harian pada 08:00. Dependensi instans untuk hari ini adalah sebagai berikut:
Kasus 2: Mengubah penjadwalan dari setiap 6 jam menjadi harian, dengan waktu terjadwal harian berada di masa depan.

Pada pukul 09.00, ubah waktu terjadwal task ke waktu mendatang dengan mengubah jadwal dari setiap 6 jam menjadi harian pada pukul 18.00. Dependensi instans untuk hari ini adalah sebagai berikut:
- Hasilkan instans: Instans harian A3 dihasilkan setelah pukul 09.00 berdasarkan konfigurasi baru.
- Ganti instans yang ada: Instans baru A3 menggantikan instans asli A3 dan A4.
- Pertahankan instans: Instans per jam sebelum pukul 09.10 dipertahankan.

Catatan

Waktu terjadwal berada di masa depan: DataWorks mengganti instans yang sudah dihasilkan dalam rentang waktu mendatang berdasarkan pengaturan jadwal terbaru.
Waktu terjadwal berada di masa lalu: DataWorks mempertahankan instans sebelum waktu efektif konfigurasi yang dimodifikasi dan mengganti atau menghapus instans setelah waktu efektif tersebut.

Setelah waktu terjadwal diubah dan diterapkan, apakah instans dibuat ulang dan benar-benar dieksekusi pada hari ini tergantung pada pengaturan waktu terjadwal task dan waktu penerapan perubahan ke lingkungan produksi. Untuk detailnya, lihat Latar Belakang.

Dampak perubahan waktu jadwal terhadap dependensi hilir

Untuk instans yang dihasilkan segera setelah penerapan task, task hilir menetapkan dependensi berdasarkan pengaturan jadwal terbaru task hulu. Jadwal tersebut dapat berupa harian, bulanan, atau per jam.

Catatan

Untuk task produksi dengan waktu terjadwal yang diubah, instans hilir menetapkan dependensi baik untuk instans baru yang dihasilkan maupun instans lama yang belum diganti berdasarkan pengaturan jadwal terbaru. Untuk detail perilaku dependensi dalam skenario per jam dan per menit, lihat Detail dependensi untuk perubahan waktu jadwal. Skenario ini hanya terjadi ketika versi node yang akan diterapkan memiliki mode pembuatan instans diatur ke Instant generation after publishing dan waktu terjadwal diubah.

Berikut adalah contoh skenario:

Kasus 1: Jadwal node hulu diubah dari setiap 6 jam menjadi setiap 8 jam, dan pembuatan instans segera dipilih.
Kasus 2: Jadwal node hulu diubah dari setiap 6 jam menjadi harian pada pukul 16.00, dan pembuatan instans segera dipilih.

Setelah Anda mengubah waktu terjadwal task dan memilih pembuatan instans segera, instans hilir menyesuaikan dependensinya berdasarkan pengaturan jadwal terbaru untuk memastikan logika dependensi antara instans baru yang dihasilkan dan instans lama yang belum diganti tetap benar. Baik untuk instans lama yang belum diganti maupun instans baru yang dihasilkan, task hilir menetapkan dependensi yang sesuai untuk memastikan logika penjadwalan yang tepat.

Mode pembuatan instans yang tidak konsisten antara task hulu dan hilir

Jika node hulu dan hilir keduanya baru dibuat dan mode pembuatan instansnya tidak konsisten—misalnya, hulu menggunakan T +1 generated next day dan hilir menggunakan Instant generation after publishing—hal ini menghasilkan isolated nodes. Isolated nodes tidak dijadwalkan secara otomatis. Jika isolated node tersebut memiliki banyak dependensi hilir, hal ini dapat menyebabkan masalah signifikan.