Anda dapat melakukan pengisian ulang data untuk periode historis atau masa depan guna menulis data ke partisi berbasis waktu yang sesuai. Selama proses pengisian ulang data, parameter penjadwalan dalam kode secara otomatis diganti dengan nilai spesifik berdasarkan Waktu bisnis yang dipilih. Kode bisnis tersebut kemudian menulis data untuk waktu yang sesuai ke partisi yang ditentukan. Partisi tujuan ditentukan oleh logika dan konten kode tugas.
Batasan izin
Anda harus memiliki izin operasi untuk semua node dalam alur kerja pengisian ulang data. Jika Anda tidak memiliki izin untuk salah satu node, konsekuensi berikut akan terjadi:
Tidak memiliki izin pada node target langsung: Jika Anda tidak memiliki izin operasi untuk node akar atau salah satu node turunannya, pengisian ulang data tidak dapat dijalankan.
Tidak memiliki izin pada node perantara: Jika node yang tidak memiliki izin merupakan node perantara dalam proses pengisian ulang data—artinya dependensi hulu dan hilirnya berada dalam cakupan pengisian ulang—sistem akan melakukan dry-run pada node tersebut.
Deskripsi dry-run: Setelah node dimulai, logika komputasi aktual tidak dijalankan. Sebaliknya, status "Succeeded" langsung dikembalikan untuk memastikan node turunannya dapat dipicu.
Peringatan risiko: Dry-run pada node perantara tidak menghasilkan data aktual. Hal ini dapat menyebabkan node turunannya menghasilkan output abnormal atau gagal karena kurangnya input. Lakukan dengan hati-hati.
Perhatian
Untuk memastikan stabilitas dan prediktabilitas operasi pengisian ulang data, bacalah aturan eksekusi berikut dengan cermat.
I. Siklus hidup instans dan kebijakan retensi log
Pembersihan instans: Instans pengisian ulang data tidak dapat dihapus secara manual. Platform secara otomatis membersihkannya sekitar 30 hari setelah pembuatan. Jika suatu tugas tidak perlu lagi dijalankan, Anda dapat membekukan instansnya untuk menghentikan penjadwalannya.
Kebijakan retensi: Periode retensi untuk instans dan log bervariasi tergantung jenis kelompok sumber daya.
Jenis kelompok sumber daya
Kebijakan retensi instance
Kebijakan retensi log
Shared resource group for scheduling
30 hari
7 hari
Exclusive resource group for scheduling
30 hari
30 hari
Serverless resource group
30 hari
30 hari
Pembersihan log besar: Untuk instans yang telah selesai, platform secara rutin membersihkan log eksekusi yang melebihi 3 MB setiap hari.
II. Aturan eksekusi instans
Dependensi harian yang ketat: Pengisian ulang data dilakukan secara sekuensial berdasarkan Waktu data. Instans untuk hari berikutnya hanya dimulai setelah semua instans hari sebelumnya berhasil. Jika ada instans yang gagal, eksekusi semua tugas untuk tanggal berikutnya akan diblokir.
Perilaku konkurensi tugas per jam dan per menit: Saat Anda melakukan pengisian ulang data untuk semua instans pada hari tertentu, metode eksekusinya ditentukan oleh properti self-dependency tugas tersebut:
Self-dependency tidak diatur: Semua instans dalam satu hari, seperti pukul 00:00 dan 01:00, diizinkan berjalan dalam kelompok, selama dependensi hulunya terpenuhi.
Self-dependency diatur: Semua instans dalam satu hari dijalankan secara eksekusi sekuensial. Misalnya, instans pukul 01:00 menunggu instans pukul 00:00 berhasil sebelum dijalankan.
Konflik dengan instans yang dipicu otomatis: Untuk memastikan penjadwalan reguler, instans yang dipicu otomatis memiliki prioritas lebih tinggi daripada instans pengisian ulang data. Jika keduanya berjalan bersamaan, Anda harus secara manual menghentikan instans pengisian ulang data.
Penanganan node dalam blacklist: Jika node yang masuk daftar hitam merupakan node perantara dalam alur kerja pengisian ulang data, node tersebut juga akan melakukan dry-run, yang dapat memengaruhi output data dari node turunannya.
III. Sumber daya penjadwalan dan prioritas
Konfigurasikan sumber daya secara wajar: Terlalu banyak instans pengisian ulang data atau tingkat paralelisme yang tinggi akan mengonsumsi banyak sumber daya penjadwalan, yang dapat memengaruhi operasi normal tugas yang dipicu otomatis. Konfigurasikan sumber daya sesuai kebutuhan.
Kebijakan degradasi prioritas: Untuk melindungi Operasi bisnis inti, platform secara dinamis menyesuaikan prioritas tugas berdasarkan Waktu data dari pengisian ulang:
Mengisi ulang data untuk hari sebelumnya (T-1): Prioritas tugas tidak berubah dan ditentukan oleh prioritas garis dasar tempat tugas tersebut berada.
Mengisi ulang data historis (T-2 atau lebih awal): Prioritas tugas secara otomatis diturunkan sesuai aturan berikut:
Prioritas awal 7 atau 8 → Diturunkan menjadi 3
Prioritas awal 5 atau 3 → Diturunkan menjadi 2
Prioritas awal 1 → Tetap tidak berubah
Membuat tugas pengisian ulang data
Langkah 1: Buka halaman Pengisian Ulang Data
Buka halaman Operation Center.
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Operation Center.
Di panel navigasi kiri, klik .
Untuk mengisi ulang data tugas yang dipicu otomatis, Anda juga dapat mengklik Backfill Data untuk tugas yang sesuai di halaman .
Langkah 2: Buat tugas pengisian ulang data
Di halaman Data Backfill, klik Create Data Backfill Task dan konfigurasikan parameter sesuai kebutuhan.
Konfigurasikan Basic Information.
Platform secara otomatis menghasilkan nama pengisian ulang data dalam format default. Anda dapat mengubah nama tersebut sesuai kebutuhan.
Pilih node yang akan diisi ulang datanya.
Anda dapat mengisi ulang data untuk tugas yang memiliki izin operasi menggunakan salah satu metode berikut: Manually Select, Select by Link, Select by Workspace, dan Specify Task and All Descendent Tasks. Berdasarkan tugas yang dipilih, Anda juga dapat memilih tugas lain untuk diisi ulang datanya. Parameter konfigurasi berbeda untuk setiap metode.
Manually Select
Pilih satu atau beberapa node sebagai node akar, lalu pilih node turunan dari node akar tersebut sebagai cakupan pengisian ulang data ini. Metode ini kompatibel dengan solusi pengisian ulang data asli: Current Node, Current Node and Descendant Nodes, dan Advanced Mode.
Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Task Selection Method
Pilih Manually Select.
Add Root Tasks
Anda dapat mencari dan menambahkan tugas akar berdasarkan nama atau ID. Anda juga dapat mengklik Batch Add dan menentukan kondisi seperti kelompok sumber daya, siklus penjadwalan, dan ruang kerja untuk menambahkan beberapa tugas akar sekaligus.
CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Selected Root Tasks
Node yang akan diisi ulang datanya. Daftar ini menampilkan node akar yang telah ditambahkan. Anda dapat memilih node turunan yang akan diisi ulang datanya berdasarkan node akar tersebut.
CatatanAnda dapat memfilter node turunan berdasarkan tingkat dependensi. Node turunan langsung dari node akar berada di tingkat pertama secara default, dan seterusnya.
Jumlah maksimum node akar yang dapat diisi ulang datanya secara bersamaan adalah 500. Jumlah total maksimum node (node akar dan node turunannya) adalah 2.000 (3.000 di wilayah China (Beijing) dan China (Hangzhou)).
Blocklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke daftar hitam. Node dalam daftar hitam tidak akan dimasukkan dalam pengisian ulang data ini.
CatatanAnda hanya dapat menambahkan tugas akar ke daftar hitam. Jika pengisian ulang data tidak diperlukan untuk tugas anak dari tugas akar, hapus dari SSelected Root Tasks.
Jika node dalam daftar hitam merupakan node perantara dalam pengisian ulang data ini (artinya dependensi hulu dan hilirnya berada dalam cakupan pengisian ulang), node tersebut akan melakukan dry-run untuk memastikan node turunannya dapat berjalan. Dry-run langsung mengembalikan status sukses tanpa benar-benar dijalankan. Namun, hal ini dapat menyebabkan output data abnormal pada node turunannya.
Select by link
Pilih satu node awal dan satu atau beberapa node akhir. Melalui analisis otomatis, semua node di antara node awal dan akhir termasuk dalam cakupan pengisian ulang data ini, termasuk node awal dan akhir tersebut.
Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Task Selection Method
Select by Link.
Select Tasks
Cari berdasarkan nama atau ID untuk menambahkan node awal dan satu atau beberapa node akhir. Platform akan menganalisis node perantara berdasarkan node awal dan akhir tersebut. Node perantara adalah turunan langsung atau tidak langsung dari node awal dan leluhur langsung atau tidak langsung dari node akhir.
Intermediate Tasks
Daftar node perantara yang dianalisis secara otomatis oleh platform berdasarkan node awal dan akhir.
CatatanDaftar hanya menampilkan 2.000 node. Node yang melebihi batas ini tidak akan ditampilkan tetapi akan dieksekusi secara normal.
Blocklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke daftar hitam. Node dalam daftar hitam tidak akan dimasukkan dalam pengisian ulang data ini.
CatatanJika node dalam daftar hitam merupakan node perantara dalam pengisian ulang data ini (artinya dependensi hulu dan hilirnya berada dalam cakupan pengisian ulang), node tersebut akan melakukan dry-run untuk memastikan node turunannya dapat berjalan. Dry-run langsung mengembalikan status sukses tanpa benar-benar dijalankan. Namun, hal ini dapat menyebabkan output data abnormal pada node turunannya.
Select by Workspace
Pilih satu node sebagai node akar dan tentukan cakupan pengisian ulang data ini berdasarkan ruang kerja tempat node turunannya berada.
CatatanRencana awal untuk mengisi ulang data dalam jumlah besar kompatibel dengan metode ini.
Konfigurasi daftar hitam node tidak didukung.
Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Task Selection Method
Select by Workspace.
Add Root Tasks
Cari dan tambahkan node akar berdasarkan nama atau ID. Platform akan mengisi ulang data untuk node di ruang kerja tempat node turunan dari node akar berada.
CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Include Root Node
Menentukan apakah pengisian ulang data ini mencakup node akar.
Workspaces for Data Backfill
Berdasarkan ruang kerja tempat node turunan dari node akar berada, pilih ruang kerja mana yang nodenya perlu diisi ulang datanya.
CatatanAnda hanya dapat memilih ruang kerja DataWorks di Wilayah saat ini untuk operasi pengisian ulang data.
Setelah memilih ruang kerja, data diisi ulang untuk semua node di ruang kerja tersebut secara default. Anda dapat menyesuaikan daftar putih dan daftar hitam untuk pengisian ulang data sesuai kebutuhan.
Allowlist
Node yang tetap memerlukan pengisian ulang data, selain node yang termasuk dalam ruang kerja yang dipilih.
Blocklist
Node di ruang kerja yang dipilih yang tidak memerlukan pengisian ulang data.
Specify Task and All Descendant Tasks
Setelah memilih node akar, platform secara otomatis menganalisis dan memasukkan node tersebut beserta semua node turunannya ke dalam cakupan pengisian ulang data ini.
PentingAnda hanya dapat melihat node yang dipicu saat tugas pengisian ulang data sedang berjalan. Gunakan fitur ini dengan hati-hati.
Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Task Selection Method
Specify Task and All Descendent Tasks.
Add Root Tasks
Cari dan tambahkan node akar berdasarkan nama atau ID. Platform akan mengisi ulang data untuk node akar dan semua node turunannya.
CatatanAnda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.
Jika node akar yang dipilih tidak memiliki node turunan, hanya data untuk node akar saat ini yang akan diisi ulang setelah tugas pengisian ulang data dikirim.
Blocklist
Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke daftar hitam. Node dalam daftar hitam tidak akan dimasukkan dalam pengisian ulang data ini.
CatatanJika node dalam daftar hitam merupakan node perantara dalam pengisian ulang data ini (artinya dependensi hulu dan hilirnya berada dalam cakupan pengisian ulang), node tersebut akan melakukan dry-run untuk memastikan node turunannya dapat berjalan. Dry-run langsung mengembalikan status sukses tanpa benar-benar dijalankan. Namun, hal ini dapat menyebabkan output data abnormal pada node turunannya.
Konfigurasikan kebijakan eksekusi pengisian ulang data.
Konfigurasikan informasi seperti waktu eksekusi, apakah akan dijalankan dalam kelompok, apakah akan memicu peringatan, dan kelompok sumber daya yang akan digunakan untuk tugas pengisian ulang data, sesuai kebutuhan.
Tabel berikut menjelaskan parameter-parameternya.
Parameter
Deskripsi
Data Timestamp
Anda dapat menentukan tanggal bisnis untuk tugas pengisian ulang data. Metode yang didukung meliputi entri manual, generasi AI, dan entri batch.
Sistem akan menerapkan strategi eksekusi berbeda berdasarkan tanggal dan opsi yang Anda pilih:Skenario 1: Mengisi ulang data historis (Waktu data < Tanggal saat ini)
Ini adalah skenario pengisian ulang data paling umum. Saat Waktu data yang dipilih lebih awal dari hari ini, sistem langsung membuat dan menjalankan instans tugas untuk tanggal historis tersebut guna menelusuri kembali dan menghitung ulang data masa lalu.
Kasus penggunaan: Memperbaiki kesalahan data historis, mengisi data yang hilang.
Metode eksekusi: Eksekusi segera.
Skenario 2: Menjadwalkan tugas masa depan (Waktu data > Tanggal saat ini)
Jika Anda memilih Waktu data masa depan dan tidak memilih opsi khusus apa pun, ini akan membuat tugas terjadwal satu kali untuk masa depan.
Kasus penggunaan: Menjadwalkan eksekusi tugas satu kali untuk tanggal masa depan yang telah diketahui.
Metode eksekusi: Eksekusi pada waktu yang dijadwalkan. Instans dibuat dan masuk ke status menunggu. Instans akan berjalan secara otomatis sesuai konfigurasi penjadwalan tugasnya saat Waktu data yang sesuai tiba.
Skenario 3: Menjalankan tugas masa depan lebih awal (Waktu data > Tanggal saat ini, dengan opsi Run immediately dipilih)
Run Retroactive Instances Scheduled to Run after the Current Time adalah opsi lanjutan yang memungkinkan Anda segera memulai instans yang dijadwalkan untuk berjalan di masa depan. Waktu eksekusi tugas adalah sekarang, tetapi logika bisnis dan partisi data yang diproses adalah untuk tanggal masa depan.
Kasus penggunaan: Memvalidasi logika tugas untuk tanggal masa depan lebih awal, atau menyiapkan data di partisi tertentu untuk migrasi atau pengujian data.
Metode eksekusi: Eksekusi segera setelah dipilih.
Contoh: Tanggal saat ini adalah
2024-03-12. Anda memilih untuk mengisi ulang data untuk2024-03-17dan memilih opsi Run Retroactive Instances Scheduled to Run after the Current Time. Maka, instans tugas akan segera dimulai pada2024-03-12, tetapi parameter Waktu data yang digunakan saat runtime (misalnya, untuk menentukan partisi data) adalah2024-03-17.
CatatanKonsep Waktu data: Dalam komputasi offline, tugas biasanya memproses data kemarin (T-1) hari ini (T). Fitur pengisian ulang data memungkinkan Anda mengontrol secara tepat data hari mana yang diproses oleh tugas dengan menghasilkan instans untuk "Waktu data" tertentu.
Rentang waktu ganda: Untuk mengisi ulang data untuk beberapa tanggal tidak berurutan, klik [Add] untuk mengonfigurasi beberapa rentang waktu.
Perencanaan sumber daya: Satu pengisian ulang data sebaiknya tidak mencakup periode panjang. Banyak instans pengisian ulang data akan mengonsumsi sumber daya penjadwalan dan dapat memengaruhi operasi tugas rutin yang dipicu otomatis.
Time Range
Menentukan periode waktu saat tugas yang dipilih perlu dijalankan. Instans yang waktu penjadwalannya berada dalam periode waktu tersebut dapat dihasilkan dan dijalankan. Anda dapat mengonfigurasi parameter ini agar tugas yang dijadwalkan per jam atau per menit hanya mengisi ulang data dalam periode waktu tertentu. Nilai default:
00:00 hingga 23:59.CatatanInstans yang waktu penjadwalannya tidak berada dalam periode waktu tersebut tidak akan dihasilkan. Jika tugas dengan siklus lebih panjang bergantung pada tugas dengan siklus lebih pendek (misalnya, tugas harian bergantung pada tugas per jam), instans terisolasi dapat dihasilkan dan memblokir eksekusi tugas.
Ubah parameter ini hanya saat tugas yang dijadwalkan per jam atau per menit perlu mengisi ulang data untuk periode tertentu.
Run by Group
Jika Anda mengisi ulang data untuk beberapa Waktu data, Anda dapat menentukan jumlah kelompok untuk menjalankan tugas pengisian ulang data secara konkuren. Nilainya adalah:
Yes: Platform akan menghasilkan beberapa batch pengisian ulang data berdasarkan jumlah kelompok yang ditentukan dan menjalankan batch tersebut secara konkuren dalam kelompok.
No: Instans pengisian ulang data dijalankan secara sekuensial sesuai urutan Waktu datanya, di mana instans baru dimulai hanya setelah instans sebelumnya selesai.
CatatanSaat Anda mengisi ulang data untuk hari tertentu untuk tugas yang dijadwalkan per jam atau per menit, apakah instans tugas dijalankan secara konkuren dalam kelompok tergantung pada apakah self-dependency diatur untuk tugas tersebut.
Anda dapat menentukan jumlah kelompok dalam rentang
2~10. Berikut ini penjelasan cara beberapa instans dijalankan secara konkuren dalam kelompok:Jika rentang waktu Waktu data lebih kecil dari jumlah kelompok, tugas dijalankan secara konkuren dalam kelompok.
Misalnya, jika Waktu data dari
11 Januari hingga 13 Januaridan jumlah kelompok adalah 4, hanya tiga instans pengisian ulang data yang dihasilkan, satu untuk setiap Waktu data. Ketiga instans tersebut dijalankan secara konkuren dalam kelompok.Jika jumlah Waktu data lebih besar dari jumlah kelompok, platform menjalankan kombinasi tugas serial dan paralel berdasarkan urutan Waktu data.
Misalnya, jika Waktu data dari
11 Januari hingga 13 Januaridan Anda mengatur jumlah kelompok menjadi 2, dua instans pengisian ulang data dihasilkan dan dijalankan secara paralel. Salah satu instans tersebut berisi dua Waktu data, dan tugas yang sesuai dengan Waktu data tersebut dijalankan secara sekuensial.
Alert for Data Backfill
Atur apakah operasi pengisian ulang data ini akan memicu peringatan.
Yes: Peringatan dihasilkan untuk pengisian ulang data jika kondisi pemicu terpenuhi.
No: Pengisian ulang data ini tidak akan memicu peringatan.
Trigger Condition
Hanya saat Alert for Data Backfill diatur ke Yes, Anda dapat menentukan kondisi pemicu peringatan:
Alert on Failure or Success: Peringatan dihasilkan terlepas dari keberhasilan atau kegagalan pengisian ulang data.
Alert on Success: Peringatan dihasilkan jika pengisian ulang data berhasil.
Alert on Failure: Peringatan dihasilkan jika pengisian ulang data gagal.
Alert Notification Method
Anda dapat memilih untuk menerima peringatan melalui Text Message and Email, Text Message, atau Email hanya jika Alert for Data Backfill diatur ke Yes. Penerima peringatan adalah inisiator pengisian ulang data.
CatatanAnda dapat mengklik Check Contact Information untuk memverifikasi apakah nomor ponsel atau alamat email kontak peringatan telah terdaftar. Jika belum terdaftar, Anda dapat merujuk ke View and set alert contacts untuk mengonfigurasi informasi tersebut.
Order
Pilih Ascending by Business Date atau Descending by Business Date sebagai urutan pengisian ulang data.
Resource Group for Scheduling
Tentukan kelompok sumber daya yang digunakan untuk menjalankan instans pengisian ulang data.
Follow Task Configuration: Menggunakan kelompok sumber daya yang dikonfigurasi untuk tugas yang dipicu otomatis guna mengeksekusi instans pengisian ulang data.
Specify Resource Group for Scheduling: Gunakan kelompok sumber daya tertentu untuk mengeksekusi instans pengisian ulang data. Ini mencegah instans pengisian ulang data bersaing sumber daya dengan instans berulang.
CatatanPastikan kelompok sumber daya memiliki konektivitas jaringan, jika tidak tugas mungkin gagal. Jika kelompok sumber daya yang ditentukan tidak disambungkan ke ruang kerja terkait, kelompok sumber daya asli dari tugas yang dipicu otomatis akan digunakan.
Kami menyarankan Anda menggunakan Serverless Resource Groups atau Exclusive Resource Groups for Scheduling, yang menyediakan kelompok sumber daya komputasi khusus untuk memastikan transmisi data cepat dan stabil saat tugas berjalan dengan konkurensi tinggi dan tidak dapat di-stagger.
Execution Period
Tentukan kapan tugas pengisian ulang data yang dihasilkan kali ini akan dieksekusi.
Follow Task Configuration: Instans pengisian ulang data dijalankan pada waktu yang dijadwalkan.
Specify Time Period: Tugas pengisian ulang data dipicu untuk dijalankan hanya dalam periode waktu yang ditentukan. Tetapkan periode waktu eksekusi yang sesuai berdasarkan jumlah tugas yang perlu diisi ulang datanya.
CatatanTugas yang berada dalam status tidak berjalan di luar periode waktu ini tidak akan dieksekusi. Tugas yang sedang berjalan di luar periode waktu ini akan terus dieksekusi.
Computing Resource
Saat ini, hanya sumber daya komputasi EMR dan Serverless Spark yang dapat diatur sebagai sumber daya komputasi untuk pengisian ulang data.
Pastikan sumber daya komputasi yang dipetakan tersedia dan aktif, jika tidak penjadwalan tugas mungkin terpengaruh.
Konfigurasikan kebijakan validasi tugas pengisian ulang data.
Ini digunakan untuk mengonfigurasi apakah eksekusi tugas akan dihentikan jika validasi pengisian ulang data gagal. Platform memeriksa informasi dasar dan risiko potensial dari tugas pengisian ulang data ini, sebagai berikut:
Informasi dasar: Jumlah node yang terlibat dalam pengisian ulang data ini, jumlah instans yang dihasilkan, dan apakah ada situasi seperti loop node, node terisolasi, atau instans tanpa izin.
Deteksi risiko: Memeriksa loop dependensi tugas dan node terisolasi. Salah satu kondisi ini dapat menyebabkan tugas berjalan abnormal. Anda dapat mengatur opsi untuk menghentikan tugas pengisian ulang data jika pemeriksaan gagal.
Klik Submit. Tugas pengisian ulang data dibuat.
Langkah 3: Jalankan tugas pengisian ulang data
Saat waktu eksekusi yang dikonfigurasi untuk tugas pengisian ulang data tiba dan tidak ditemukan anomali, tugas pengisian ulang data secara otomatis dipicu dan dijalankan.
Tugas pengisian ulang data tidak dijalankan jika kondisi berikut terpenuhi:
Fitur verifikasi diaktifkan untuk tugas pengisian ulang data dan verifikasi gagal. Untuk informasi selengkapnya, lihat Langkah 2: Buat tugas pengisian ulang data.
Jika pemeriksaan ekstensi diaktifkan untuk operasi pengisian ulang data, pemeriksaan yang gagal akan memblokir tugas dari eksekusi. Untuk informasi selengkapnya, lihat Extension Program Overview.
Kelola instans pengisian ulang data
Kueri instans pengisian ulang data
Di panel navigasi kiri, klik .

Di sisi kanan halaman Data Backfill, klik Show Search Options dan tentukan kondisi filter, seperti Retroactive Instance Name, Status, dan Node Type, untuk mencari instans. Anda juga dapat menghentikan beberapa tugas pengisian ulang data yang sedang berjalan sekaligus.
Lihat status instans pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang instans pengisian ulang data, termasuk:
Node Name: Nama instans pengisian ulang data. Klik ikon
di sebelah nama instans untuk melihat tanggal eksekusi, status eksekusi, serta node yang termasuk dan detail eksekusinya.Check Status: Status pemeriksaan instans pengisian ulang data saat ini.
Running Status: Status instans pengisian ulang data. Nilai yang valid adalah Succeeded, Run failed, Waiting for resources, dan Pending. Anda dapat melakukan pemecahan masalah berdasarkan status abnormal.
Nodes: Jumlah node dalam instans pengisian ulang data.
Data Timestamp: Tanggal saat instans pengisian ulang data dijalankan.
View Task Analysis Results: Anda dapat melihat perkiraan jumlah instans yang dihasilkan, tanggal eksekusi, dan hasil pemeriksaan risiko untuk segera menangani tugas yang terblokir.

Actions: Anda dapat melakukan operasi seperti Stop, Batch Rerun, dan Reuse pada instans pengisian ulang data.
Nama Operasi
Deskripsi
Stop
Anda dapat menghentikan instans pengisian ulang data secara batch yang berada dalam status Running. Setelah operasi ini dilakukan, instans terkait diatur ke status Failed.
CatatanAnda tidak dapat menghentikan instans dengan status Not Running, Succeeded, atau Failed.
Batch Rerun
Menjalankan ulang instans pengisian ulang data secara batch.
CatatanHanya instans dalam status Succeeded atau Failed yang dapat dijalankan ulang.
Jika Anda melakukan operasi ini, instans pengisian ulang data yang dipilih segera dijalankan ulang secara bersamaan. Dependensi penjadwalan antar instans tidak dipertimbangkan. Jika Anda ingin menjalankan ulang instans pengisian ulang data secara berurutan, Anda dapat memilih Rerun Descendant Nodes atau melakukan operasi Data Backfill lagi.
Reuse
Anda dapat memilih untuk menggunakan kembali set node dari operasi pengisian ulang data sebelumnya, sehingga memudahkan pemilihan cepat node yang akan diisi ulang datanya.
Kelola tugas pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang node yang termasuk dalam instans pengisian ulang data, termasuk:
Name: Klik nama node untuk membuka halaman detail node dan melihat informasi node lebih lanjut.
Scheduling Time: Waktu eksekusi terjadwal untuk tugas node.
Start Run Time: Waktu saat tugas node mulai dijalankan.
End Time: Waktu saat tugas node selesai dijalankan.
Runtime: Durasi waktu tugas node dijalankan.
Actions: Anda dapat melihat DAG, atau Stop atau Rerun tugas node pengisian ulang data.
Nama Operasi
Deskripsi
DAG
Lihat DAG tugas untuk mengidentifikasi tugas leluhur dan turunan tugas tersebut. Untuk informasi selengkapnya, lihat Appendix: DAG graph features.
Stop
Anda dapat menghentikan node yang berada dalam status Running. Setelah operasi ini dilakukan, status node diatur ke Failed.
CatatanAnda tidak dapat menghentikan node dalam status Not Running, Succeeded, atau Failed.
Operasi ini akan menyebabkan instans gagal dan memblokir eksekusi node turunannya. Waspadai risikonya dan lakukan dengan hati-hati.
Rerun
Menjalankan ulang tugas node target.
CatatanAnda hanya dapat menjalankan ulang node dengan status Succeeded atau Failed.
More
Rerun Descendant Nodes
Menjalankan ulang node turunan dari tugas node target.
Set Status to Successful
Atur status tugas node ini menjadi Succeeded.
Freeze
Mengatur node saat ini ke status dijeda (dibekukan) dan menghentikan penjadwalannya.
CatatanAnda tidak dapat membekukan tugas yang berada dalam status Waiting for Resources, Waiting for Scheduling Time, atau Running. Status Running mencakup kasus di mana kode node sedang berjalan atau pemeriksaan kualitas data sedang berlangsung.
Unfreeze
Melanjutkan penjadwalan untuk node yang dijeda (dibekukan).
View Lineage
Lihat graf alur data node tersebut.
Anda dapat memilih satu atau beberapa node tugas dan mengklik Stop atau Rerun untuk menghentikan atau menjalankan ulang secara batch.
Deskripsi status instans
Jenis Status | Ikon Status |
Status Succeeded |
|
Status Not Run |
|
Status Failed |
|
Status Running |
|
Status Waiting |
|
Status Frozen |
|





