Saat melakukan pengisian ulang data (data backfill), Scheduling Parameters dalam kode Anda secara otomatis diganti dengan nilai spesifik berdasarkan Data Timestamp yang dipilih. Hal ini memastikan kode Anda menulis data ke partisi yang benar. Kode node Anda menentukan partisi target dan logika eksekusi.
Izin
Anda harus memiliki izin Action untuk semua node dalam alur kerja pengisian ulang data. Jika Anda tidak memiliki izin untuk salah satu node, konsekuensi berikut akan terjadi:
Tidak memiliki izin pada node target: Jika Anda tidak memiliki izin
ActionuntukRoot Nodeatau salah satu Descendant Node-nya, pengisian ulang data tidak dapat dijalankan.Tidak memiliki izin pada node perantara: Jika Anda tidak memiliki izin untuk node perantara (artinya baik Ancestor maupun Descendant Node-nya berada dalam cakupan pengisian ulang), sistem akan melakukan Dry Run pada node tersebut.
Perilaku Dry Run: Saat node dimulai, logika komputasi aktual tidak dieksekusi. Sebaliknya, status
Succeededlangsung dikembalikan untuk memastikan Descendant Node-nya dapat dipicu.Peringatan:
Dry Runpada node perantara tidak menghasilkan data aktual. Hal ini dapat menyebabkan Descendant Node-nya gagal atau menghasilkan output yang salah karena input yang hilang. Lakukan dengan hati-hati.
Pertimbangan
Untuk memastikan stabilitas dan prediktabilitas operasi pengisian ulang data, baca dengan cermat aturan eksekusi berikut.
Siklus hidup instans dan retensi log
Pembersihan instans:
Data Backfill Instancestidak dapat dihapus secara manual. Platform secara otomatis menghapusnya sekitar 30 hari setelah pembuatan. Jika suatu node tidak perlu lagi dijalankan, Anda dapatFreezeinstans-nya untuk menghentikan penjadwalannya.Kebijakan retensi: Periode retensi untuk instans dan log bervariasi berdasarkan tipe
Resource Group.Tipe kelompok sumber daya
Kebijakan retensi instans
Kebijakan retensi log
Shared Resource Group for Scheduling
30 hari
7 hari
Exclusive Resource Group for Scheduling
30 hari
30 hari
Serverless Resource Group
30 hari
30 hari
Pembersihan log besar: Untuk instans yang telah selesai, platform secara berkala melakukan purge terhadap log eksekusi yang melebihi 3 MB.
Aturan eksekusi instans
Ketergantungan harian ketat: Pengisian ulang data dilakukan secara serial berdasarkan
Data Timestamp. Instans untuk suatu hari tidak akan dimulai hingga semua instans untuk hari sebelumnya berhasil. Jika ada instans yang gagal, hal ini akan memblokir semua instans untuk tanggal berikutnya.Konkurensi untuk node per jam dan per menit: Saat Anda mengisi ulang data untuk semua instans suatu node pada hari tertentu, properti
Self-dependencynode tersebut menentukan metode eksekusinya:Self-dependencytidak diatur: Semua instans dalam satu hari (misalnya, 00:00, 01:00) dapat berjalan secara paralel, selama ketergantungan masing-masing Ancestor Node-nya terpenuhi.Self-dependencydiatur: Semua instans dalam satu hari akan berjalan secara serial. Misalnya, instans pukul 01:00 akan menunggu instans pukul 00:00 berhasil sebelum dijalankan.
Konflik dengan Instans yang Dipicu Otomatis: Untuk melindungi jadwal reguler, Instans yang Dipicu Otomatis memiliki prioritas lebih tinggi daripada Instans Pengisian Ulang Data. Jika kedua jenis instans dijadwalkan berjalan pada waktu yang sama, Anda mungkin perlu secara manual menghentikan Instans Pengisian Ulang Data.
Penanganan node dalam blacklist: Jika suatu node dalam Blocklist merupakan node perantara dalam alur kerja pengisian ulang data, node tersebut akan melakukan
Dry Run. Hal ini dapat memengaruhi output data dari Descendant Node-nya.
Sumber daya penjadwalan dan prioritas
Konfigurasi sumber daya: Jumlah besar Instans Pengisian Ulang Data atau tingkat paralelisme yang tinggi dapat mengonsumsi sumber daya penjadwalan secara signifikan, yang berpotensi memengaruhi operasi normal Instans yang Dipicu Otomatis. Konfigurasikan sumber daya sesuai kebutuhan Anda.
Kebijakan degradasi prioritas: Untuk melindungi operasi inti, platform secara dinamis menyesuaikan prioritas node berdasarkan
Data Timestampdari pengisian ulang:Mengisi ulang data untuk hari sebelumnya (T-1): Prioritas node tidak berubah dan ditentukan oleh prioritas baseline tempat node tersebut berada.
Mengisi ulang data historis (T-2 atau lebih awal): Prioritas node secara otomatis diturunkan sesuai aturan berikut:
Prioritas 7 dan 8 diturunkan menjadi 3.
Prioritas 5 dan 3 diturunkan menjadi 2.
Prioritas 1 tidak berubah.
Buat Tugas Pengisian Ulang Data
Langkah 1: Buka halaman pengisian ulang data
Buka halaman Operation Center.
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Operation Center.
Di panel navigasi kiri, pilih untuk membuka halaman
Data Backfill.
Untuk mengisi ulang data untuk node yang dipicu otomatis tertentu, Anda juga dapat membuka halaman dan klik Backfill Data di kolom Actions untuk node tersebut.
Langkah 2: Buat tugas pengisian ulang data
Di halaman Data Backfill, klik Create Data Backfill Task dan konfigurasikan parameter sesuai kebutuhan.
Konfigurasi Basic Basic information.
Platform secara otomatis menghasilkan nama untuk
Data Backfill Task. Anda dapat mengubah nama tersebut sesuai kebutuhan.Pilih node untuk pengisian ulang data.
Anda dapat menggunakan salah satu metode berikut untuk memilih node yang memiliki izin untuk dioperasikan: Manually Select, Select by Link, Select by Workspace, atau Specify Task and All Descendant Tasks. Parameter konfigurasi berbeda untuk setiap metode.
Manually select
Pilih satu atau beberapa node sebagai root node, lalu pilih Descendant Node-nya untuk menentukan cakupan pengisian ulang data. Metode ini kompatibel dengan opsi pengisian ulang sebelumnya: Current Node, Current and Descendant Nodes, dan Advanced Mode.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Node Selection Method
Pilih Manually Select.
Add Root Nodes
Cari dan tambahkan root node berdasarkan nama atau ID. Anda juga dapat mengklik Batch Add dan tentukan kondisi seperti
Resource Group,Scheduling Cycle, danWorkspaceuntuk menambahkan beberapa root node sekaligus.CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Selected Root Nodes
Node yang akan diisi ulang datanya. Daftar ini menampilkan root node yang telah ditambahkan. Anda dapat memilih Descendant Node yang ingin disertakan dalam pengisian ulang.
CatatanAnda dapat memfilter Descendant Node berdasarkan tingkat ketergantungannya. Descendant Node langsung dari
Root Nodeberada di tingkat pertama.Jumlah maksimum root node untuk satu pengisian ulang data adalah 500. Jumlah total maksimum node (root node dan Descendant Node-nya) adalah 2.000 (atau 3.000 di wilayah
China (Beijing)danChina (Hangzhou)).Jika suatu node dikonfigurasi dengan jumlah maksimum instans konkuren, Instans Pengisian Ulang Data tunduk pada batas ini dan berbagi kuota konkurensi dengan Instans yang Dipicu Otomatis.
Task Blacklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke
Blocklist. Node dalam Blocklist dikecualikan dari operasi.CatatanHanya root node yang dapat ditambahkan ke
Blocklist. Jika Descendant Node dariRoot Nodetidak memerlukan pengisian ulang data, hapus dari daftar Selected Root Nodes.Jika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan
Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.
Select by link
Pilih node awal dan satu atau beberapa node akhir. Sistem secara otomatis menganalisis ketergantungan dan menyertakan semua node di antara node awal dan akhir dalam cakupan pengisian ulang data.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Node Selection Method
Pilih Select by Link.
Select Nodes
Cari berdasarkan nama atau ID untuk menambahkan node awal dan satu atau beberapa node akhir. Platform menganalisis node perantara, yaitu Descendant Node langsung atau tidak langsung dari node awal dan Ancestor Node langsung atau tidak langsung dari node akhir.
Intermediate Nodes
Daftar node perantara yang secara otomatis diidentifikasi oleh platform berdasarkan node awal dan akhir.
CatatanDaftar ini menampilkan maksimal 2.000 node. Node yang melebihi batas ini tidak ditampilkan tetapi tetap disertakan dalam eksekusi.
Task Blacklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke
Blocklist. Node dalam Blocklist dikecualikan dari operasi.CatatanJika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan
Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.Select by workspace
Pilih
Root Nodedan tentukan cakupan pengisian ulang data berdasarkan ruang kerja dari Descendant Node-nya.CatatanKompatibel dengan solusi pengisian ulang data asli Massive Node Mode.
Konfigurasi
Blocklisttidak didukung dengan metode ini.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Node Selection Method
Pilih Select by Workspace.
Add Root Nodes
Cari dan tambahkan root node berdasarkan nama atau ID. Platform akan mengisi ulang data untuk node yang berada di ruang kerja tempat Descendant Node dari
Root Nodeberada.CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Include Root Node
Menentukan apakah
Root Nodedisertakan dalam pengisian ulang data ini.Workspaces for Data Backfill
Pilih ruang kerja yang berisi node yang ingin diisi ulang datanya, berdasarkan ruang kerja tempat Descendant Node dari
Root Nodeberada.CatatanAnda hanya dapat memilih ruang kerja DataWorks di wilayah saat ini.
Setelah memilih ruang kerja, data diisi ulang untuk semua node di dalamnya secara default. Anda dapat menyesuaikan
AllowlistdanBlocklistsesuai kebutuhan.
Add to Whitelist
Tentukan node tambahan yang memerlukan pengisian ulang data tetapi tidak berada di ruang kerja yang dipilih.
Task Blacklist
Tentukan node dalam ruang kerja yang dipilih yang harus dikecualikan dari pengisian ulang data.
Specify node and descendants
Setelah memilih
Root Node, platform secara otomatis menyertakan node tersebut dan semua Descendant Node-nya dalam cakupan pengisian ulang data.PentingAnda hanya dapat melihat cakupan lengkap node yang dipicu setelah
Data Backfill Taskmulai berjalan. Gunakan opsi ini dengan hati-hati.Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Node Selection Method
Pilih Specify Task and All Descendant Tasks.
Add Root Nodes
Cari dan tambahkan root node berdasarkan nama atau ID. Platform akan mengisi ulang data untuk
Root Nodedan semua Descendant Node-nya.CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Jika
Root Nodeyang dipilih tidak memiliki Descendant Node, hanya data untukRoot Nodetersebut yang diisi ulang setelah Anda mengirimkan tugas.
Task Blacklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke
Blocklist. Node dalam Blocklist dikecualikan dari operasi.CatatanJika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan
Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.Konfigurasi kebijakan eksekusi pengisian ulang data.
Konfigurasikan pengaturan untuk Tugas Pengisian Ulang Data, seperti waktu eksekusi, eksekusi berkelompok, pemicuan peringatan, dan Resource Group yang akan digunakan, sesuai kebutuhan.
Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Deskripsi
Data Timestamp
Tentukan Data Timestamp untuk data yang ingin diisi ulang. Anda dapat menentukan tanggal menggunakan metode Manual Entry, AI-powered Generation, atau Batch Entry.
Sistem menggunakan kebijakan eksekusi berbeda berdasarkan tanggal dan opsi yang Anda pilih:
Skenario 1: Mengisi ulang data historis (Data Timestamp < tanggal saat ini)
Ini adalah skenario Pengisian Ulang Data paling umum. Jika Anda memilih Data Timestamp yang lebih awal dari tanggal saat ini, sistem langsung membuat dan menjalankan instans untuk tanggal historis tersebut untuk memproses ulang dan menghitung ulang data masa lalu.
Kasus penggunaan: Memperbaiki kesalahan data historis atau mengisi data yang hilang.
Metode eksekusi: Eksekusi langsung.
Skenario 2: Menjadwalkan tugas mendatang (Data Timestamp > tanggal saat ini)
Jika Anda memilih Data Timestamp di masa depan dan tidak memilih opsi khusus apa pun, tugas sekali jalan dijadwalkan untuk tanggal mendatang tersebut.
Kasus penggunaan: Menjadwalkan eksekusi tugas sekali jalan untuk tanggal mendatang tertentu yang telah diketahui.
Metode eksekusi: Eksekusi terjadwal. Instans dibuat dan masuk ke status menunggu. Instans tersebut berjalan secara otomatis berdasarkan konfigurasi penjadwalannya saat Data Timestamp-nya tiba.
Skenario 3: Langsung menjalankan instans yang dijadwalkan untuk waktu mendatang (pilih Run Now)
Opsi Run Retroactive Instances Scheduled to Run after the Current Time adalah pengaturan lanjutan. Sistem menampilkan opsi ini jika Data Timestamp lebih baru dari tanggal saat ini, atau jika Data Timestamp adalah T-1 dan tugas mencakup instans yang dijadwalkan untuk waktu setelah waktu saat ini. Jika Anda memilih opsi ini, instans yang dijadwalkan untuk waktu mendatang akan langsung dijalankan alih-alih menunggu waktu terjadwalnya.
Kasus penggunaan: Menjalankan instans untuk tanggal mendatang lebih awal, menyiapkan data di partisi tertentu untuk migrasi atau pengujian data, atau langsung menjalankan instans per jam atau per menit untuk data T-1 yang belum mencapai waktu terjadwalnya.
Metode eksekusi: Berjalan langsung setelah pemilihan.
Contoh 1 (Mengisi ulang data masa depan): Tanggal saat ini adalah
2024-03-12. Anda memilih untuk mengisi ulang data untuk2024-03-17dan memilih Immediately run Data Backfill Instances scheduled for a time later than the current time. Instans tugas akan mulai langsung pada2024-03-12, tetapi akan menggunakan2024-03-17sebagai parameter Data Timestamp saat runtime, yang memengaruhi partisi data.Contoh 2 (Mengisi ulang data T-1): Waktu saat ini adalah
2024-03-12 14:30. Anda memilih untuk mengisi ulang data untuk2024-03-11(T-1). Tugas dijadwalkan berjalan per jam. Jika Anda tidak memilih opsi tersebut, instans yang dijadwalkan untuk pukul 15:00, 16:00, dan waktu lain setelah 14:30 harus menunggu waktu terjadwalnya untuk berjalan. Jika Anda memilih Immediately run Data Backfill Instances scheduled for a time later than the current time, semua instans akan langsung dijalankan.
CatatanKonsep Data Timestamp: Dalam komputasi offline, tugas biasanya memproses data hari sebelumnya (T-1) pada hari saat ini (T). Fitur Pengisian Ulang Data memungkinkan Anda mengontrol secara tepat data hari mana yang diproses oleh tugas dengan menghasilkan instans untuk Data Timestamp tertentu.
Rentang waktu ganda: Untuk mengisi ulang data untuk beberapa tanggal tidak berurutan, klik Add untuk mengonfigurasi beberapa rentang waktu.
Perencanaan sumber daya: Jangan mengatur rentang waktu yang terlalu panjang untuk satu operasi Pengisian Ulang Data. Jumlah besar Instans Pengisian Ulang Data dapat mengonsumsi sumber daya penjadwalan dan berpotensi memengaruhi eksekusi tugas reguler yang dipicu otomatis.
Specify Cycle
Tentukan rentang waktu di mana tugas yang dipilih dapat berjalan. Instans hanya dihasilkan dan dijalankan jika waktu terjadwalnya berada dalam rentang waktu ini. Anda dapat menggunakan fitur ini untuk menjalankan instans tugas yang dijadwalkan per jam atau per menit hanya dalam siklus tertentu, artinya Anda hanya mengisi ulang data untuk siklus tersebut. Nilai default adalah
00:00-23:59.CatatanJika waktu terjadwal tugas berada di luar rentang waktu ini, tidak ada instans yang dihasilkan untuk tugas tersebut. Jika tugas dengan siklus penjadwalan lebih panjang bergantung pada tugas dengan siklus lebih pendek (misalnya, tugas harian bergantung pada tugas per jam), isolated instance mungkin dihasilkan, yang memblokir tugas tersebut dari berjalan.
Ubah parameter ini hanya saat Anda perlu mengisi ulang data untuk siklus tertentu dari tugas yang dijadwalkan per jam atau per menit.
Run by Group
Jika Anda mengisi ulang data untuk beberapa Data Timestamp, Anda dapat menentukan jumlah kelompok untuk eksekusi konkuren Tugas Pengisian Ulang Data. Nilai yang valid adalah:
Yes: Platform membagi Data Timestamp berdasarkan jumlah kelompok yang ditentukan. Kemudian, platform menghasilkan beberapa batch Pengisian Ulang Data untuk berjalan secara konkuren berdasarkan hasil pengelompokan.
No: Instans Pengisian Ulang Data berjalan secara serial sesuai urutan Data Timestamp-nya. Instans Pengisian Ulang Data hanya berjalan setelah instans sebelumnya selesai.
CatatanApakah instans tugas per jam atau per menit untuk hari tertentu berjalan secara konkuren dalam kelompok tergantung pada apakah Self-dependency dikonfigurasi untuk tugas tersebut.
Jumlah kelompok dapat berkisar dari
2hingga10. Skenario berikut menggambarkan bagaimana beberapa instans berjalan secara konkuren dalam kelompok:Jika jumlah hari dalam rentang Data Timestamp kurang dari jumlah kelompok, tugas berjalan secara konkuren dalam kelompok.
Misalnya, jika rentang Data Timestamp dari
January 11hinggaJanuary 13dan jumlah kelompok adalah 4, hanya tiga Instans Pengisian Ulang Data yang dihasilkan, satu untuk setiap Data Timestamp. Ketiga instans tersebut berjalan secara konkuren dalam kelompok.Jika jumlah hari dalam rentang Data Timestamp lebih dari jumlah kelompok, platform menjalankan tugas secara serial dan paralel berdasarkan Order Data Timestamp.
Misalnya, jika rentang Data Timestamp dari
January 11hinggaJanuary 13dan jumlah kelompok adalah 2, dua Instans Pengisian Ulang Data dihasilkan. Satu instans mencakup dua Data Timestamp, dan tugas untuk kedua Data Timestamp tersebut berjalan secara serial. Kedua Instans Pengisian Ulang Data berjalan secara paralel.
Alert for Data Backfill
Tentukan apakah operasi Pengisian Ulang Data ini memicu peringatan.
Yes: Peringatan dipicu jika kondisi pemicu terpenuhi.
No: Operasi Pengisian Ulang Data ini tidak memicu peringatan.
Trigger Condition
Parameter ini tersedia hanya jika Anda mengatur Alert for Data Backfill ke Yes. Atur kondisi pemicu peringatan:
Alert on Failure or Success: Peringatan dipicu terlepas dari apakah tugas Pengisian Ulang Data berhasil atau gagal.
Alert on Success: Peringatan dipicu hanya jika tugas Pengisian Ulang Data berhasil.
Alert on Failure: Peringatan dipicu hanya jika tugas Pengisian Ulang Data gagal.
Alert Notification Method
Parameter ini tersedia hanya jika Anda mengatur Alert for Data Backfill ke Yes. Anda dapat memilih menerima peringatan melalui Text Message and Email, SMS, atau Email. Penerima peringatan adalah pengguna yang memulai Pengisian Ulang Data.
CatatanKlik Check Contact Information untuk memverifikasi apakah nomor ponsel atau alamat email penerima telah terdaftar. Jika belum, lihat View and configure alert contacts untuk petunjuk.
Order
Pilih apakah akan mengisi ulang data dalam urutan Ascending by Business Date atau Descending by Business Date.
Resource Group for Scheduling
Tentukan Resource Group yang akan digunakan untuk menjalankan Instans Pengisian Ulang Data.
Follow Task Configuration: Gunakan Resource Group yang awalnya dikonfigurasi untuk Instans yang Dipicu Otomatis untuk menjalankan Instans Pengisian Ulang Data.
Specify Resource Group for Scheduling: Gunakan Resource Group tertentu untuk menjalankan Instans Pengisian Ulang Data. Ini mencegah konflik sumber daya antara Instans Pengisian Ulang Data dan Instans yang Dipicu Otomatis.
CatatanPastikan Resource Group memiliki konektivitas jaringan. Jika tidak, tugas mungkin gagal. Jika Resource Group yang ditentukan tidak terikat ke Ruang Kerja terkait, Resource Group dari Instans yang Dipicu Otomatis asli akan digunakan.
Gunakan Serverless Resource Group atau Exclusive Resource Group for Scheduling. Jika tugas berjalan dengan konkurensi tinggi dan tidak dapat diatur waktunya, resource group ini menyediakan sumber daya komputasi khusus untuk memastikan transmisi data yang cepat dan stabil.
Execution Period
Tentukan periode waktu di mana Tugas Pengisian Ulang Data yang dihasilkan dapat berjalan.
Follow Task Configuration: Jalankan Instans Pengisian Ulang Data pada waktu terjadwalnya.
Specify Time Period: Tetapkan periode waktu tertentu di mana Tugas Pengisian Ulang Data dapat dipicu. Tetapkan periode eksekusi yang wajar berdasarkan volume data yang akan diisi ulang.
CatatanTugas yang tidak berjalan tidak akan dimulai setelah periode ini berakhir. Tugas yang sedang berjalan akan terus berjalan hingga selesai, meskipun periode telah berakhir.
Computing Resources
Saat ini, hanya sumber daya komputasi EMR dan Serverless Spark yang dapat diatur sebagai sumber daya komputasi untuk Pengisian Ulang Data.
Pastikan sumber daya komputasi yang dipetakan tersedia dan aktif. Jika tidak, penjadwalan tugas mungkin terpengaruh.
Konfigurasi kebijakan verifikasi tugas pengisian ulang data.
Pengaturan ini menentukan apakah tugas akan dihentikan jika verifikasi pengisian ulang data gagal. Platform memeriksa informasi dasar dan risiko potensial dari tugas pengisian ulang data sebagai berikut:
Informasi dasar: Jumlah tugas dalam pengisian ulang data, jumlah instans yang akan dihasilkan, dan apakah ada masalah seperti loop node, node terisolasi, atau instans tanpa izin.
Deteksi risiko: Memeriksa loop node dan node terisolasi. Masalah ini menyebabkan tugas berjalan tidak normal. Anda dapat mengonfigurasi tugas pengisian ulang data untuk berhenti jika pemeriksaan gagal.
Klik Submit. Tugas Pengisian Ulang Data dibuat.
Langkah 3: Jalankan tugas pengisian ulang data
Data Backfill Task berjalan secara otomatis pada waktu yang dikonfigurasi jika tidak ditemukan masalah.
Data Backfill Task tidak dapat berjalan jika salah satu kondisi berikut terpenuhi:
Pemeriksaan validasi diaktifkan untuk
Data Backfill Taskdan pemeriksaan gagal. Untuk informasi lebih lanjut, lihat Langkah 4 di Create a data backfill task.Pemeriksaan program ekstensi diaktifkan untuk operasi
Data Backfilldan pemeriksaan gagal. Untuk informasi lebih lanjut, lihat Overview of extension programs.
Kelola instans pengisian ulang data
Temukan instans pengisian ulang data
Di panel navigasi kiri, pilih untuk membuka halaman Data Backfill.

Di sisi kanan halaman Data Backfill, klik Show Search Options. Anda dapat memfilter instans berdasarkan kondisi seperti Retroactive Instance Name, Running Status, dan Node Type. Anda juga dapat menghentikan beberapa Instans Pengisian Ulang Data yang sedang berjalan sekaligus.
Lihat status instans pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang Data Backfill Instance, termasuk:
Task Name: Menampilkan nama instans pengisian ulang data. Klik ikon
sebelum nama instans untuk menampilkan tanggal eksekusi, status eksekusi, node yang disertakan, dan detail eksekusinya.Check Status: Status validasi
Data Backfill Instance.Running Status: Status instans, seperti
Succeeded,Failed,Waiting for resources, atauWaiting for Trigger. Anda dapat memecahkan masalah berdasarkan status tersebut.Nodes: Jumlah node dalam
Data Backfill Instance.Data Timestamp: Tanggal untuk mana
Data Backfill Instancedijalankan.Max Concurrent Instances: Menampilkan jumlah maksimum instans konkuren yang dikonfigurasi untuk node tersebut. Nilainya dapat berupa Unlimited atau angka spesifik dari 1 hingga 10.000. Pengaturan ini membatasi berapa banyak instans dari node yang sama yang dapat berjalan secara bersamaan, dan kuota ini dibagi antara Instans yang Dipicu Otomatis, Instans Pengisian Ulang Data, dan instans pengujian.
View Task Analysis Results: Lihat perkiraan jumlah instans yang akan dihasilkan, tanggal eksekusi, dan hasil validasi risiko untuk menyelesaikan masalah pemblokiran secara tepat waktu.

Actions: Lakukan operasi seperti Stop, Batch Rerun, dan Reuse pada Instans Pengisian Ulang Data.
Aksi
Deskripsi
Stop
Hentikan sejumlah Instans Pengisian Ulang Data yang berada dalam status Running. Setelah melakukan aksi ini, status instans diatur menjadi Failed.
CatatanAnda tidak dapat menghentikan instans yang berada dalam status Not Running, Succeeded, atau Failed.
Batch Rerun
Jalankan ulang Instans Pengisian Ulang Data secara batch.
CatatanAnda hanya dapat menjalankan ulang instans yang berada dalam status Succeeded atau Failed.
Batch rerun langsung menjalankan ulang semua instans yang dipilih sekaligus, tanpa mempertimbangkan ketergantungannya. Untuk menjalankan instans dalam urutan ketergantungan yang benar, gunakan aksi Rerun Descendent Nodes atau buat tugas Data Backfill baru.
Reuse
Gunakan kembali set node dari
Data Backfill Tasksebelumnya untuk membuat tugas baru dengan node yang sama secara cepat.
Kelola node pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang node individual yang disertakan dalam Data Backfill Instance, termasuk:
Name: Klik nama node untuk melihat detail lebih lanjut.
Scheduling Time: Waktu eksekusi terjadwal node tersebut.
Start run time: Waktu saat node mulai berjalan.
End Time: Waktu saat node selesai berjalan.
Runtime: Durasi eksekusi node tersebut.
Actions: Lakukan operasi pada node individual, seperti melihat DAG, atau memilih untuk Stop atau Rerun node tersebut.
Aksi
Deskripsi
DAG
Lihat Directed Acyclic Graph (DAG) node tersebut untuk menganalisis Ancestor dan Descendant Node-nya. Untuk informasi lebih lanjut, lihat Introduction to DAG features.
Stop
Hentikan node yang berada dalam status Running. Setelah melakukan aksi ini, status node diatur menjadi Failed.
CatatanAnda tidak dapat menghentikan node yang berada dalam status Not Running, Succeeded, atau Failed.
Aksi ini menyebabkan instans gagal dan memblokir Descendant Node-nya dari berjalan. Sadari risikonya dan lakukan dengan hati-hati.
Rerun
Jalankan ulang node target.
CatatanAnda hanya dapat menjalankan ulang node yang berada dalam status
SucceededatauFailed.More
Rerun Descendent Nodes
Jalankan ulang Descendant Node dari node target.
Set as Successful
Atur status node ini secara manual menjadi
Succeeded.Freeze
Atur node saat ini ke status
Frozendan hentikan penjadwalannya.CatatanAnda tidak dapat membekukan node yang berada dalam status Waiting for resources, Waiting for Scheduling Time, atau Running.
Unfreeze
Lanjutkan penjadwalan untuk node yang dibekukan.
View Lineage
Lihat graf Data Lineage node tersebut.
Pilih satu atau beberapa node dan klik Stop atau Rerun untuk menghentikan atau menjalankan ulang secara batch.
Status instance
Tipe status | Ikon status |
Succeeded |
|
Not Running |
|
Failed |
|
Running |
|
Waiting |
|
Frozen |
|
FAQ
Mengapa beberapa instans dihasilkan saat saya mengisi ulang data untuk periode 00:00 hingga 01:00?
Mengapa instans menunjukkan status 'Waiting for resources' selama pengisian ulang data skala besar?
Bagaimana cara mengisi ulang data untuk node mingguan dan bulanan?
Instans yang tidak dipilih dalam alur kerja sementara melakukan dry run selama pengisian ulang data





