Ketika pekerjaan terjadwal menghasilkan output yang salah, melewatkan eksekusi, atau menggunakan logika yang sudah usang, Anda perlu memproses ulang output historisnya. Fitur backfill SchedulerX menjalankan ulang pekerjaan tersebut dalam rentang tanggal tertentu, menghasilkan satu instans per hari dengan parameter penjadwalan asli tetapi waktu data yang berbeda.
Kapan melakukan backfill
Lakukan backfill pada pekerjaan ketika output historis perlu diperbaiki atau dihasilkan ulang:
Data errors: Pekerjaan menghasilkan output yang salah pada tanggal-tanggal tertentu, dan data dasarnya telah diperbaiki sejak itu.
Logic changes: Anda memperbarui logika pekerjaan (misalnya, menambahkan bidang database baru) dan perlu memproses ulang tanggal-tanggal sebelumnya dengan logika baru tersebut.
Backfill mendukung pekerjaan maupun alur kerja. Interval titik data yang ingin Anda backfill harus satu hari—setiap titik data dalam rentang backfill mewakili satu hari kalender.
Jika output pekerjaan mengandung penyimpangan atau beberapa nilai dalam output tersebut hilang, Anda dapat mengubah parameter penjadwalan pekerjaan dan mengonfigurasi properti pekerjaan tertentu untuk memperbarui output pekerjaan tersebut.
Prasyarat
Sebelum memulai, pastikan Anda memiliki akses ke SchedulerX console.
Backfill pekerjaan
Masuk ke SchedulerX console.
Pada halaman Task Management, temukan pekerjaan target. Klik more di kolom Operation, lalu klik Rebrush task.
Pada panel Rebrush task, konfigurasikan parameter berikut:
Parameter Description Start and end date Rentang tanggal untuk backfill. SchedulerX menghasilkan satu instans pekerjaan untuk setiap hari dalam rentang ini. Data Time Komponen waktu dalam sehari dari waktu data. SchedulerX menggabungkan nilai ini dengan setiap tanggal dalam rentang untuk menghasilkan waktu pemrosesan data lengkap bagi setiap instans. Klik OK. SchedulerX segera memicu satu instans pekerjaan per hari dalam rentang yang ditentukan. Semua instans berbagi waktu penjadwalan yang sama (waktu saat ini), tetapi menargetkan waktu data yang berbeda.
Perilaku backfill: contoh pemrosesan ulang tujuh hari
Misalkan waktu saat ini adalah 10:00:00 pada 1 Januari 2019 dan sebuah pekerjaan menghasilkan output yang salah selama minggu pertama Oktober 2018. Untuk memproses ulang minggu tersebut:
Tetapkan Start and end date menjadi
1 Oktober 2018hingga7 Oktober 2018. Waktu mulai default adalah00:00:00pada hari pertama dan waktu akhir default adalah23:59:59pada hari terakhir.Tetapkan Data Time menjadi
11:11:11.
SchedulerX menghasilkan tujuh instans pekerjaan:
| Instance | Scheduling time | Data timestamp |
|---|---|---|
| 1 | 2019-01-01 10:00:00 | 2018-10-01 11:11:11 |
| 2 | 2019-01-01 10:00:00 | 2018-10-02 11:11:11 |
| 3 | 2019-01-01 10:00:00 | 2018-10-03 11:11:11 |
| 4 | 2019-01-01 10:00:00 | 2018-10-04 11:11:11 |
| 5 | 2019-01-01 10:00:00 | 2018-10-05 11:11:11 |
| 6 | 2019-01-01 10:00:00 | 2018-10-06 11:11:11 |
| 7 | 2019-01-01 10:00:00 | 2018-10-07 11:11:11 |
Ketujuh instans tersebut dipicu pada waktu saat ini (2019-01-01 10:00:00). Nilai Data Time (11:11:11) digabungkan dengan setiap tanggal dalam rentang untuk menghasilkan waktu data yang berbeda-beda.
