Properti waktu merupakan kondisi penjadwalan inti yang menentukan kapan dan bagaimana DataWorks memicu tugas terjadwal. Properti ini mencakup tidak hanya scheduled time untuk mengatur waktu eksekusi, tetapi juga serangkaian konfigurasi lanjutan seperti instance generation mode, scheduling calendar, rerun settings, dan timeout policies. Secara bersamaan, parameter-parameter ini membentuk rencana perilaku waktu suatu tugas, mengontrol aturan pemicunya, batasan eksekusi, serta pemulihan otomatis dari error. Panduan ini menjelaskan cara mengonfigurasi setiap properti waktu dan cara kerjanya, membantu Anda membangun alur kerja data otomatis yang stabil, andal, dan tidak memerlukan pengawasan.
Panduan cepat
Skenario: Perusahaan e-commerce perlu menghitung total penjualan hari sebelumnya secara otomatis pada pukul 02:00 setiap hari. Jika tugas gagal karena faktor seperti fluktuasi jaringan, sistem harus mencoba ulang secara otomatis sebanyak 3 kali.
Langkah 1: Atur Waktu Terjadwal
Atur jadwal: Klik ganda nama tugas. Di bagian kanan tugas, pada bagian , atur Scheduling Cycle menjadi Day.
Atur waktu terjadwal: Atur waktu terjadwal menjadi pukul 02.00.
Langkah 2: Atur kebijakan penjadwalan
Atur properti rerun: Tetapkan properti rerun menjadi You can run again after successful or failed operation..
Auto Rerun upon Failure: Pilih Auto Rerun upon Failure, atur jumlah percobaan ulang menjadi
3, dan atur interval menjadi5 minutes.Pertahankan nilai default untuk properti lainnya.
Hasil:
Setelah Anda menerapkan tugas tersebut, sistem akan memicunya secara otomatis pada pukul 02:00 setiap hari, dimulai sejak hari berikutnya (T+1). Jika tugas gagal, sistem akan mencoba ulang setiap 5 menit. Tugas tersebut akan dijalankan maksimal 4 kali (1 eksekusi normal + 3 percobaan ulang).
Cara kerja
Konfigurasi properti waktu menentukan seluruh siklus hidup tugas terjadwal, mulai dari pembuatan instance hingga eksekusi. Konfigurasi ini mencakup dimensi inti berikut:
Scheduling time: Menentukan frekuensi dan waktu spesifik eksekusi tugas secara visual.
Manajemen siklus hidup instance: Menentukan kapan instance dibuat dan kapan instance tersebut valid. Ini mencakup:
Instance generation mode: Mengontrol apakah instance dihasilkan pada hari penerapan atau hari berikutnya.
Effective period: Menetapkan rentang waktu valid keseluruhan untuk tugas tersebut.
Scheduling calendar: Digunakan untuk mengecualikan hari non-kerja (seperti hari libur).
Execution policy: Menentukan perilaku instance pada waktu terjadwalnya melalui jenis penjadwalan — eksekusi normal, dry run (lewati), atau jeda.
Exception dan fault tolerance: Memberikan penanganan otomatis untuk kegagalan dan timeout tugas melalui definisi timeout dan pengaturan rerun.
Scheduling time
Scheduling time mengontrol kapan tugas direncanakan untuk dijalankan (juga disebut scheduled time). Di lingkungan produksi, scheduling time menentukan seberapa sering node tugas dipicu secara otomatis. Berdasarkan jadwal yang Anda konfigurasi, sistem menghasilkan jumlah instance terjadwal yang sesuai dan mendorong eksekusi otomatis seluruh alur kerja melalui scheduled time dan dependensi instance-instance tersebut.
Scheduled time dan business date adalah dua konsep waktu garis dasar paling penting dalam DataWorks. Untuk informasi lebih lanjut, lihat Scheduling parameters.
Kemandirian jadwal dan dependensi
Kemandirian frekuensi: Frekuensi penjadwalan tugas (misalnya "per jam" atau "harian") ditentukan oleh konfigurasinya sendiri dan tidak bergantung pada frekuensi tugas hulu. Misalnya, tugas laporan dengan jadwal harian dapat bergantung pada tugas persiapan data dengan jadwal per jam. Untuk informasi lebih lanjut tentang mengonfigurasi dependensi antar-tugas dengan frekuensi penjadwalan berbeda, lihat Configure cross-cycle dependencies.
Dependensi instance: Dependensi antar-tugas dengan jadwal berbeda (dependensi lintas siklus) pada dasarnya adalah dependensi tingkat instance. Sistem secara otomatis menyelesaikan dependensi ini dan memastikan bahwa instance hilir hanya dipicu setelah semua instance hulu yang sesuai dengan business date-nya berhasil diselesaikan.
Mekanisme dry run: Untuk menghindari pemblokiran, tugas non-harian (seperti mingguan, bulanan, atau tahunan) menghasilkan instance dry run pada hari non-eksekusi. Instance ini langsung ditetapkan sebagai berhasil tanpa menjalankan kode apa pun atau mengonsumsi sumber daya, sehingga memastikan tugas harian hilir dapat dipicu secara normal.
Scheduled time vs. actual run time
Scheduled time: Waktu yang Anda tetapkan dalam pengaturan jadwal adalah waktu mulai yang diharapkan untuk tugas tersebut, yaitu waktu paling awal tugas dapat mulai dijalankan.
Actual run time: Waktu mulai eksekusi aktual tugas bergantung pada terpenuhinya kedua kondisi berikut:
Semua instance hulu telah berhasil diselesaikan.
Sumber daya komputasi tersedia.
Scheduling time zone
Scheduling time tugas secara default mengikuti zona waktu wilayah tempat ruang kerjanya berada. Untuk mengubah zona waktu, lihat Configure the scheduling time zone untuk menangani skenario seperti transisi waktu daylight saving. Scheduling time zone FAQ
Bagian berikut menyediakan contoh konfigurasi untuk berbagai skenario:
Jadwal per menit
Tetapkan waktu mulai, waktu akhir, dan interval eksekusi. Interval minimum adalah 1 menit. Dalam rentang waktu yang ditentukan, sistem menghasilkan beberapa instance pada interval tetap.
Contoh konfigurasi
Node target dijadwalkan setiap 30 menit dalam rentang waktu 00:00 hingga 23:59 setiap hari.
Detail instance
Gambar berikut menunjukkan scheduled time dan penggantian parameter penjadwalan untuk instance node yang dijadwalkan setiap 30 menit.
Interval per jam
Cocok untuk skenario sinkronisasi frekuensi tinggi atau komputasi near-real-time.
Logika pembuatan instance: Sistem menghitung instance terjadwal berdasarkan interval tertutup [waktu mulai, waktu akhir].
Contoh: Jika rentang waktu diatur menjadi
[00:00,03:00]dan intervalnya1 hour, sistem menghasilkan 4 instance dengan waktu eksekusi terjadwal pada pukul 00:00, 01:00, 02:00, dan 03:00.
Metode konfigurasi:
Pemicu berbasis frekuensi: Dioperasikan pada interval tetap (misalnya setiap jam) dalam rentang waktu tertentu.
Pemicu berbasis titik waktu: Dioperasikan pada satu atau beberapa titik waktu diskret tertentu.
Contoh konfigurasi
Tugas target dijadwalkan setiap 6 jam dalam rentang waktu 00:00 hingga 23:59 setiap hari.
Detail penjadwalan
Sistem penjadwalan menghasilkan 4 instance per hari dan menjalankannya pada waktu terjadwal 00:00, 06:00, 12:00, dan 18:00.
Jadwal harian
Jadwal harian adalah metode penjadwalan paling umum. Jadwal ini memungkinkan Anda menjalankan tugas sekali sehari pada waktu tertentu dalam periode efektif. Secara default, tugas baru yang dibuat menggunakan jadwal harian, dan scheduled time-nya dihasilkan secara acak dalam rentang waktu 00:00 hingga 00:30. Anda dapat menentukan waktu eksekusi khusus sesuai kebutuhan. Misalnya, Anda dapat menentukan agar tugas dijalankan sekali sehari pada pukul 13:00.
Contoh konfigurasi
Atur Scheduling Cycle menjadi Day dan atur Scheduled Time menjadi 13:00. Sistem secara otomatis menghasilkan ekspresi cron 00 00 13 * * ?.
Detail penjadwalan
Sistem penjadwalan secara otomatis menghasilkan instance untuk tugas tersebut dan menjalankannya. Gambar berikut menunjukkan waktu pemrosesan data untuk setiap business date.
Jadwal mingguan
Cocok untuk agregasi bisnis mingguan atau tugas pemeliharaan data periodik.
Logika pembuatan instance: Sistem menghasilkan instance setiap hari dalam periode efektif.
Eksekusi normal: Logika kode dipicu sesuai jadwal hanya pada hari eksekusi yang dipilih (misalnya Senin dan Jumat).
Dry run otomatis: Instance yang dihasilkan pada hari yang tidak dipilih (misalnya Selasa, Rabu, Kamis, Sabtu, dan Minggu) secara otomatis ditetapkan ke status "dry run successful". Instance tersebut tidak mengeksekusi logika apa pun atau mengonsumsi sumber daya komputasi.
Contoh konfigurasi
Jika tugas target dikonfigurasi untuk dijalankan setiap Senin dan Jumat dalam seminggu, instance yang dihasilkan pada Senin dan Jumat dijadwalkan dan dieksekusi secara normal, sedangkan instance yang dihasilkan pada Selasa, Rabu, Kamis, Sabtu, dan Minggu melakukan dry run — instance tersebut langsung ditetapkan sebagai berhasil pada scheduled time tanpa mengeksekusi logika kode apa pun.
Scheduled Time diatur menjadi 13:00, dan sistem secara otomatis menghasilkan ekspresi cron 00 00 13 ? * 1,5.
Detail penjadwalan
Sistem penjadwalan secara otomatis menghasilkan instance untuk tugas tersebut dan menjalankannya.
Jadwal bulanan
Cocok untuk skenario yang memerlukan pemrosesan data secara bulanan. Umumnya digunakan untuk tugas inti seperti penyelesaian keuangan, laporan kinerja bulanan, dan analisis perilaku pengguna bulanan.
Logika pembuatan instance: Sistem menghasilkan instance berdasarkan tanggal spesifik dalam bulan yang Anda pilih. Satu instance jadwal bulanan merepresentasikan satu bulan kalender lengkap.
Eksekusi normal: Logika kode dipicu sesuai jadwal hanya pada hari eksekusi yang dipilih (misalnya tanggal 15 atau hari terakhir setiap bulan).
Dry run otomatis: Instance yang dihasilkan pada hari yang tidak dipilih (misalnya tanggal 1 hingga 14 setiap bulan) secara otomatis ditetapkan ke status "dry run". Instance tersebut tidak mengeksekusi logika apa pun atau mengonsumsi sumber daya komputasi.
Contoh konfigurasi
Jika tugas target dikonfigurasi untuk dijalankan pada hari terakhir setiap bulan untuk penyelesaian, instance yang dihasilkan pada hari terakhir setiap bulan dijadwalkan dan dieksekusi secara normal, sedangkan instance yang dihasilkan pada hari lain melakukan dry run — instance tersebut langsung ditetapkan sebagai berhasil pada scheduled time tanpa mengeksekusi logika kode apa pun.
Specified Time diatur menjadi tanggal 15 setiap bulan dan hari terakhir setiap bulan, dan Scheduled Time diatur menjadi 02:00. Sistem secara otomatis menghasilkan ekspresi cron 00 00 02 15,L * ?.
Detail penjadwalan
Sistem penjadwalan secara otomatis menghasilkan instance untuk tugas tersebut dan menjalankannya.
Saat menggunakan fitur backfill data untuk mengisi ulang data tugas dengan jadwal bulanan, perhatikan bahwa Anda memilih business date untuk backfill, dan business date = scheduled date - 1.
Contoh:
Untuk tugas yang dijadwalkan pada tanggal 1 setiap bulan, pilih hari terakhir bulan sebelumnya sebagai business date saat melakukan backfill data.
Untuk tugas yang dijadwalkan pada hari terakhir setiap bulan, pilih hari sebelum hari terakhir bulan tersebut sebagai business date saat melakukan backfill data.
Jika Anda memilih business date lain untuk backfill, instance backfill tersebut akan melakukan dry run.
Untuk skenario dependensi lainnya, lihat Monthly scheduling dependency scenarios.
Jadwal tahunan
Cocok untuk tugas data siklus panjang seperti agregasi triwulanan, audit tahunan, atau tugas yang terkait dengan hari libur tertentu.
Logika pembuatan instance: Instance dihasilkan untuk semua 365 hari dalam setahun, tetapi komputasi nyata hanya dipicu pada bulan dan tanggal tertentu yang ditentukan.
Kombinasi fleksibel: Mendukung pemilihan multi-tanggal lintas bulan. Misalnya, Anda dapat mengonfigurasi tugas untuk dijalankan hanya pada hari pertama atau terakhir setiap kuartal.
Mekanisme dry run: Pada tanggal yang tidak memenuhi kondisi eksekusi, instance melakukan dry run dalam hitungan detik tanpa mengeksekusi logika apa pun atau mengonsumsi sumber daya komputasi.
Contoh konfigurasi
Jika tugas target dikonfigurasi untuk dijalankan pada tanggal 1 dan hari terakhir Januari, April, Juli, dan Oktober setiap tahun, instance yang dihasilkan pada tanggal-tanggal tersebut dijadwalkan dan dieksekusi secara normal, sedangkan instance yang dihasilkan pada tanggal lain melakukan dry run — instance tersebut langsung ditetapkan sebagai berhasil pada scheduled time tanpa mengeksekusi logika kode apa pun.
Specified Time diatur menjadi hari terakhir setiap bulan, dan Scheduled Time diatur menjadi 00:00. Sistem secara otomatis menghasilkan ekspresi cron 00 00 00 L 1,4,7,10 ?.
Detail penjadwalan
Sistem penjadwalan secara otomatis menghasilkan instance untuk tugas tersebut dan menjalankannya.
Ekspresi cron dihasilkan secara otomatis berdasarkan waktu yang Anda pilih dan tidak dapat dimodifikasi secara manual.
Manajemen siklus hidup instance
Konfigurasi ini menentukan apakah instance tugas dibuat. Konfigurasi ini tidak berkaitan dengan waktu eksekusi spesifik tugas, melainkan mengelola secara makro apakah instance harus dibuat dan apakah aturan penjadwalan itu sendiri valid.
Instance generation mode: Menentukan apakah perubahan konfigurasi Anda berlaku pada hari yang sama atau hari berikutnya. Mode hari berikutnya (default) memastikan bahwa perubahan tidak mengganggu tugas hari ini, sehingga memungkinkan transisi yang lancar. Mode segera secara paksa mereset instance hari ini untuk menerapkan perubahan. Gunakan mode ini hanya untuk perbaikan darurat setelah Anda sepenuhnya memahami dan mengevaluasi dampaknya.
Effective period: Menentukan periode validitas seluruh rangkaian aturan penjadwalan.
Scheduling calendar: Memungkinkan Anda mengaitkan jadwal dengan kalender tertentu. Misalnya, Anda dapat menjalankan tugas hanya pada hari perdagangan. Ini memberikan kontrol yang lebih fleksibel dibandingkan jadwal mingguan.
Instance generation mode
Setelah node diajukan dan diterapkan ke sistem penjadwalan lingkungan produksi, platform menghasilkan Auto Triggered Instances secara otomatis berdasarkan Instance Generation Mode yang dikonfigurasi untuk node tersebut (termasuk Next Day dan Immediately After Deployment). Terlepas dari mode pembuatan instance yang digunakan, Anda dapat melihat informasi dependensi terbaru tugas tersebut di halaman Scheduled Tasks di Operation Center. Namun, kapan scheduled instances berlaku atau kapan dependensi diperbarui bergantung pada mode pembuatan instance yang Anda pilih, sebagaimana dijelaskan di bawah ini.
Untuk memastikan instance yang dihasilkan segera setelah penerapan dapat dijadwalkan secara normal tanpa menghasilkan "dry run kadaluarsa", pastikan scheduled time tugas setidaknya 10 menit lebih lambat dari deployment time. Tugas hanya mengeksekusi logika kode atau menghasilkan ulang instance berdasarkan pengaturan jadwal terbaru pada titik waktu efektif yang setidaknya 10 menit setelah penerapan.
Terlepas dari mode pembuatan instance, perubahan yang dilakukan selama jendela waktu
23:30~24:00berlaku pada hari ketiga setelah node diterapkan ke lingkungan produksi. Hindari melakukan perubahan tugas selama jendela waktu ini.
Instance generation mode | Deskripsi |
T+1 next day (default) |
|
Instance untuk hari ini dihasilkan segera setelah penerapan. Instance dipicu secara normal hanya jika scheduled time-nya setidaknya 10 menit lebih lambat dari deployment time. Jika scheduled time lebih awal dari ambang batas ini (termasuk waktu lampau dan waktu dalam periode buffer), instance secara otomatis masuk ke status dry run (langsung ditetapkan sebagai berhasil tanpa mengeksekusi kode apa pun).
|
Perbedaan cara penerapan kode tugas dan pengaturan jadwal: Terlepas dari mode pembuatan instance, instance selalu membaca kode terbaru tugas saat runtime. Namun, pengaturan jadwal (seperti parameter penjadwalan dan kebijakan rerun) dibekukan ke dalam instance pada saat pembuatan. Jika Anda mengubah pengaturan jadwal tugas setelah instance dihasilkan, instance yang sudah ada tidak diperbarui secara otomatis dan terus berjalan dengan pengaturan lama dari saat pembuatan. Untuk menerapkan perubahan, Anda dapat menggunakan Refresh Instance di Operation Center untuk memperbarui pengaturan jadwal instance yang sudah ada secara langsung. Jika Anda hanya memerlukan eksekusi tertentu untuk menggunakan pengaturan terbaru, Anda juga dapat backfill data untuk tugas tersebut agar dijalankan ulang dengan konfigurasi terbaru. Untuk informasi lebih lanjut, lihat Instance generation mode: Immediately after deployment.
Effective period
Menentukan rentang waktu valid untuk penjadwalan tugas otomatis. Setelah effective period berakhir, tidak ada lagi instance yang dihasilkan, dan tugas tersebut menjadi tugas kadaluarsa. Anda dapat memantau dan mengelola tugas kadaluarsa di halaman O&M overview.
Scheduling calendar
Digunakan untuk menentukan tanggal penjadwalan dan metode penjadwalan untuk suatu tugas. DataWorks mendukung dua jenis kalender berikut:
Kalender default: Disediakan oleh platform dan cocok untuk skenario umum.
Kalender penjadwalan kustom: Ditentukan pengguna dan cocok untuk industri dan skenario yang memerlukan tanggal penjadwalan fleksibel (seperti industri keuangan). Anda dapat mengonfigurasi aturan seperti ruang kerja yang menerapkan kalender tersebut, periode validitas kalender, dan metode penjadwalan untuk tugas pada tanggal tertentu. Untuk informasi lebih lanjut, lihat Create a custom scheduling calendar.
Berdasarkan kalender penjadwalan yang dipilih, Anda perlu menggabungkannya dengan Execution policy dan Scheduling time serta pengaturan jadwal lainnya untuk menjadwalkan tugas pada waktu yang ditentukan.
Execution policy
Konfigurasi ini menentukan cara tugas harus dieksekusi saat dipicu.
Scheduling type
Jenis penjadwalan yang didukung oleh DataWorks tercantum dalam tabel berikut.
Scheduling type | Deskripsi | Kasus penggunaan |
Normal | Menjalankan kode secara normal dan memicu node hilir. | Tugas terjadwal yang berjalan dalam status normal. Instance terjadwal yang dihasilkan juga berjalan dalam status normal. |
Suspend scheduling | Instance tidak dijalankan dan ditetapkan sebagai gagal saat scheduled time tercapai, yang memblokir node hilir. Menangguhkan penjadwalan setara dengan membekukan di Operation Center. Node dengan penjadwalan yang ditangguhkan menampilkan ikon freeze | Cocok untuk memotong alur kerja bisnis secara darurat. Saat alur kerja bisnis tidak perlu dijalankan untuk periode tertentu, Anda dapat memilih jenis penjadwalan ini untuk membekukan node akar alur kerja tersebut. Saat bisnis perlu dilanjutkan, Anda dapat membuka pembekuan node akar tersebut. Untuk informasi lebih lanjut tentang membuka pembekuan tugas, lihat Unfreeze a task. |
Dry Run | Instance langsung ditetapkan sebagai berhasil saat scheduled time tercapai (dengan durasi | Cocok saat node tidak perlu dijalankan untuk periode tertentu dan Anda tidak ingin memblokir node hilirnya. |
di Operation Center. Instance terjadwal yang dihasilkan oleh tugas terjadwal yang dibekukan juga berada dalam status dibekukan.Exception dan fault tolerance
Ini sangat penting untuk memastikan stabilitas pipa data dengan menetapkan rencana respons untuk berbagai kemungkinan exception.
Rerun property: Menentukan apakah dan bagaimana sistem harus mencoba ulang secara otomatis saat tugas gagal.
Timeout settings: Menetapkan durasi maksimum yang wajar untuk tugas. Jika tugas melebihi durasi ini, sistem dapat secara otomatis memicu peringatan atau menghentikan tugas untuk mencegah satu node macet dan mengonsumsi sumber daya berlebihan.
Timeout definition
Menetapkan durasi maksimum yang diizinkan untuk tugas dijalankan. Jika durasi melebihi nilai ini, tugas secara otomatis dihentikan dan ditetapkan sebagai gagal untuk mencegahnya macet dan memengaruhi seluruh alur kerja.
Cakupan: Berlaku untuk scheduled instances, instance backfill data, dan instance pengujian.
Nilai default: Defaultnya 3–7 hari. Sistem menyesuaikan nilai ini secara dinamis berdasarkan beban kerja aktual.
Batas: Nilai maksimum yang dapat dikonfigurasi secara manual adalah 168 jam (7 hari), dan nilai minimumnya adalah 1 menit.
Rerun settings
Kebijakan rerun memungkinkan pemulihan otomatis dari kegagalan tugas.
Saat menggunakan properti rerun, pastikan tugas bersifat idempoten sebisa mungkin (kecuali untuk tugas khusus) untuk menghindari masalah kualitas data setelah tugas yang gagal dijalankan ulang. Misalnya, gunakan
insert overwritealih-alihinsert intodalam pengembangan ODPS SQL.
Rerun property: Kebijakan rerun memungkinkan pemulihan otomatis dari kegagalan tugas.
Jenis
Kasus penggunaan
Allow Regardless of Running Status
Cocok untuk tugas idempoten yang dapat dieksekusi berulang kali tanpa memengaruhi hasil.
Do not re-run after successful operation, and re-run after failure.
Mencegah korupsi data yang disebabkan oleh rerun tidak sengaja pada tugas yang berhasil.
Disallow Regardless of Running Status
Cocok untuk tugas non-idempoten (seperti tugas sinkronisasi data tertentu). Setelah Anda memilih opsi ini, fitur Auto Rerun upon Failure tidak tersedia.
Auto rerun upon failure: Saat tugas gagal, sistem secara otomatis memicu rerun.
Parameter
Deskripsi
Rerun Times
Jumlah percobaan ulang otomatis setelah kegagalan. Nilai valid: 1 hingga 10.
Rerun Interval
Interval antar percobaan ulang. Nilai valid: 1 hingga 30 menit.
CatatanKegagalan yang disebabkan oleh timeout tidak memicu percobaan ulang otomatis.
FAQ dan praktik terbaik
T: Mengapa waktu eksekusi aktual sebuah Tugas berbeda dari waktu yang dijadwalkan?
Jawaban: Scheduled time hanyalah waktu mulai "yang diharapkan" untuk tugas tersebut. Eksekusi aktual memerlukan dua kondisi tambahan yang harus terpenuhi: ① Semua tugas dependensi hulu telah berhasil diselesaikan. ② Sumber daya penjadwalan tersedia. Jika salah satu kondisi tidak terpenuhi, tugas tetap dalam status tertunda.
Pertanyaan: Tugas hulu saya berjalan per jam dan tugas hilir saya berjalan harian. Apakah keduanya dapat saling bergantung?
A: DataWorks mendukung dependensi antara Tugas dengan jadwal berbeda. Sistem menggunakan algoritma resolusi dependensi canggih untuk memastikan bahwa Tugas downstream menunggu hingga semua instans upstream-nya selesai sebelum dijalankan. Untuk informasi selengkapnya, lihat Mengonfigurasi dependensi lintas siklus.
Pertanyaan: Saya melakukan backfill data untuk Jumat lalu, tetapi variabel
bizdatetidak menunjukkan tanggal Jumat. Mengapa?Jawaban: Hal ini biasanya terjadi karena Anda membingungkan "business date" dengan "run date". Di DataWorks, business date = scheduled time - 1 hari. Saat Anda melakukan backfill data untuk tugas yang dijadwalkan berjalan pada Sabtu pagi, business date yang harus Anda pilih adalah Jumat.
Pertanyaan: Tugas saya memiliki logika penulisan data. Apakah data akan diduplikasi saat saya menjalankannya ulang?
Jawaban: Bisa jadi. Oleh karena itu, kami sangat menyarankan agar Anda memastikan tugas bersifat idempoten. Untuk tugas penulisan data, gunakan
INSERT OVERWRITE(timpa) alih-alihINSERT INTO(tambahkan) untuk memastikan hasil yang konsisten meskipun dijalankan ulang berkali-kali.