DataWorks:Mode Generasi Instans: Segera Setelah Penerapan

Keesokan hari (default)

Opsi default yang direkomendasikan ini memaksimalkan stabilitas lingkungan produksi Anda dengan mengisolasi perubahan dari instans yang sedang berjalan pada hari tersebut.

• Prinsip operasi:
  Penerapan pada Hari T hanya mengubah definisi tugas dan tidak mengganggu eksekusi instans apa pun pada hari tersebut.
  

• Dampak pada Hari T (Hari Penerapan):

  • Sistem hanya memperbarui definisi kode dan properti tugas. Instans yang sudah dihasilkan atau dijadwalkan pada Hari T tidak terpengaruh dan tetap berjalan berdasarkan konfigurasi sebelum penerapan.

  • Jika Anda ingin logika baru diterapkan pada data hari ini, lakukan operasi backfill data secara manual untuk instans Hari T setelah penerapan.

• Dampak pada Hari T+1 (Keesokan Hari):
  Semua perubahan mulai berlaku sejak instans pertama yang dipicu otomatis pada hari setelah penerapan (Hari T+1). Instans tersebut dihasilkan dan dijalankan berdasarkan konfigurasi baru.
  

Segera setelah penerapan

Mode ini menerapkan perubahan tugas pada hari penerapan. Sistem membandingkan waktu penerapan tugas dengan waktu penjadwalan masing-masing instans untuk menentukan cara instans dijalankan pada Hari T.

• Prinsip operasi:
  Sistem membandingkan waktu penjadwalan setiap instans yang dipicu otomatis pada Hari T dengan waktu penerapan tugas ditambah buffer sistem selama 10 menit.
  

• Waktu penjadwalan < Waktu penerapan + 10 menit

  • Hasil: Tugas baru melakukan dry run; tugas yang dimodifikasi tidak menghasilkan instans.

  • Untuk tugas baru yang belum pernah diterapkan, instans kedaluwarsa dan melakukan dry run tanpa mengeksekusi logika bisnis. Untuk tugas yang dimodifikasi dan diterapkan ulang, instans yang kedaluwarsa tidak dihasilkan.

• Waktu penjadwalan > Waktu penerapan + 10 menit

  • Hasil: Eksekusi normal.

  • Sistem menghasilkan dan menjalankan instans berdasarkan konfigurasi baru.

• Dampak pada Hari T+1 (Keesokan Hari):
  Semua instans yang dipicu otomatis pada keesokan hari (Hari T+1) dihasilkan berdasarkan konfigurasi baru.
  

Kasus penggunaan yang direkomendasikan

Gunakan mode ini dengan hati-hati dan hanya dalam skenario berikut:

• Tugas baru yang harus dijalankan pada hari yang sama: Gunakan untuk tugas baru tanpa ketergantungan ancestor atau descendant yang kompleks yang perlu dijalankan pada hari penerapan.

• Mengganti instans yang sudah ada: Gunakan mode ini untuk mengganti instans yang dipicu otomatis yang telah dihasilkan untuk hari ini tetapi belum dijalankan.

Skenario berisiko tinggi (tidak direkomendasikan)

Hindari penggunaan mode ini dalam skenario berikut karena dapat memperumit ketergantungan penjadwalan pada hari yang sama dan menyebabkan kegagalan penjadwalan:

• Memodifikasi jadwal tugas yang telah diterapkan: Ini sangat berisiko untuk tugas dengan ketergantungan ancestor dan descendant yang kompleks. Mengubah siklus penjadwalan (misalnya, dari harian ke per jam) dan menerapkannya segera dapat mengakibatkan campuran instans lama yang tetap ada dan instans baru yang dibuat, sehingga menyebabkan ketergantungan menjadi kacau.

• Kegagalan merefresh skema tabel: Setelah Anda mengubah siklus penjadwalan, skema atau partisi tabel output (seperti tabel MaxCompute) mungkin gagal direfresh untuk mencerminkan hasil terbaru. Dalam mode Immediately After Deployment, perubahan siklus penjadwalan membuat instans baru tetapi tidak secara otomatis menghapus instans lama. Selama instans lama dan baru berdampingan, instans lama tetap berjalan dengan konfigurasi lama, sehingga skema atau partisi tabel output tidak diperbarui sesuai.

  Langkah pemecahan masalah:

  1. Periksa apakah siklus penjadwalan diubah pada hari penerapan.

  2. Di Operation Center, periksa apakah instans lama dan baru berdampingan untuk tugas tersebut.

  3. Identifikasi instans mana yang masih berjalan dengan konfigurasi lama dan menyebabkan tabel output tetap usang.

  Solusi:

  1. Alihkan tugas ke mode T+1 dan terapkan kembali tugas tersebut.

  2. Lakukan operasi backfill data untuk instans hari ini.

• Mode Generasi Instans yang Tidak Konsisten untuk Tugas Ancestor dan Descendant: Misalnya, tugas ancestor menggunakan mode T+1, sedangkan tugas descendant menggunakan Immediately After Deployment. Konfigurasi ini menyebabkan instans tugas descendant yang dihasilkan pada hari yang sama tidak dapat menemukan ketergantungan ancestor-nya, sehingga berubah menjadi isolated tasks yang tidak dapat dijalankan secara otomatis.

Solusi alternatif

Untuk skenario yang melibatkan modifikasi tugas yang telah diterapkan, pendekatan yang lebih aman adalah:

1. Gunakan mode default T+1 untuk menerapkan tugas.

2. Setelah penerapan berhasil, lakukan operasi backfill data pada tugas untuk memicu instans secara manual untuk hari ini.

Skenario 1: Tugas baru

Skenario 2: Memperbarui siklus penjadwalan

Skenario 3: Mode tidak konsisten

Skenario 4: Mengubah jadwal induk