DataWorks:Operasi instans pengisian ulang data

1. Siklus hidup instans dan retensi log

• Pembersihan instans: Instans pengisian ulang data tidak dapat dihapus secara manual. Platform akan membersihkannya secara otomatis sekitar 30 hari setelah dibuat. Jika task tidak perlu dijalankan lagi, Anda dapat membekukan instans-nya untuk menghentikan penjadwalan.

• Kebijakan retensi: Periode retensi instans dan log bervariasi berdasarkan jenis kelompok sumber daya.

  Jenis kelompok sumber daya	Kebijakan retensi instans	Kebijakan retensi log
  Shared resource group for scheduling	30 hari	7 hari
  Exclusive resource group for scheduling	30 hari	30 hari
  Serverless resource group	30 hari	30 hari

• Pembersihan log besar: Untuk instans yang telah selesai, jika log waktu prosesnya melebihi 3 MB, platform akan membersihkannya sesuai jadwal harian.

2. Aturan waktu proses instans

• Ketergantungan ketat hari demi hari: Pengisian ulang data dijalankan secara serial berdasarkan tanggal bisnis. Instans untuk hari berikutnya baru mulai dijalankan setelah semua instans untuk hari sebelumnya berhasil. Jika ada instans yang gagal, semua task untuk tanggal berikutnya akan diblokir.

• Ketergantungan lintas hari tidak berlaku: Ketergantungan lintas hari antar task tidak berlaku selama pengisian ulang data. Jika Anda mengisi ulang task untuk periode yang mencakup beberapa hari, secara default instans untuk hari berikutnya hanya dijalankan setelah semua instans untuk hari sebelumnya selesai, bukan dipicu berdasarkan ketergantungan lintas hari aslinya.

• Penanganan lintas hari untuk ketergantungan tipe rentang/set yang ditentukan: Untuk ketergantungan tipe rentang atau set yang ditentukan, jika ketergantungan tersebut mencakup beberapa hari, hanya ketergantungan dalam hari yang sama yang ditambahkan saat instans pengisian ulang data dihasilkan. Ketergantungan lintas hari secara otomatis diabaikan.

• Perilaku konkurensi untuk task per jam/per menit: Saat Anda mengisi ulang semua instans untuk satu hari tertentu, cara menjalankannya ditentukan oleh atribut self-dependency task tersebut:

  • Self-dependency tidak diatur: Semua instans dalam satu hari (misalnya, 00:00, 01:00, dan seterusnya) dapat berjalan dalam grup, selama ketergantungan upstream masing-masing terpenuhi.

  • Self-dependency diatur: Semua instans dalam satu hari dijalankan secara serial (misalnya, instans 01:00 hanya dijalankan setelah instans 00:00 berhasil).

• Konflik dengan instans terjadwal: Untuk memastikan penjadwalan reguler, instans terjadwal memiliki prioritas lebih tinggi daripada instans pengisian ulang data. Jika keduanya berjalan bersamaan, hentikan instans pengisian ulang data secara manual.

• Penanganan task dalam blacklist: Jika task yang masuk dalam blacklist merupakan node perantara dalam rantai pengisian ulang data, task tersebut juga dijalankan sebagai dry run, yang dapat memengaruhi output data task downstream-nya.

3. Sumber daya penjadwalan dan prioritas

• Konfigurasi sumber daya secara wajar: Terlalu banyak instans pengisian ulang data atau tingkat paralelisme yang terlalu tinggi akan mengonsumsi sumber daya penjadwalan dalam jumlah besar, yang dapat memengaruhi operasi normal task terjadwal. Konfigurasikan secara wajar sesuai kebutuhan.

• Kebijakan penurunan prioritas: Untuk memastikan bisnis inti, platform menyesuaikan prioritas task secara dinamis berdasarkan tanggal bisnis pengisian ulang data:

  • Mengisi ulang data kemarin (T-1): Prioritas task tidak berubah dan ditentukan oleh prioritas garis dasar tempat task tersebut berada.

  • Mengisi ulang data historis (T-2 dan sebelumnya): Task secara otomatis diturunkan sesuai aturan berikut:

    • Tingkat asli 7 atau 8 → diturunkan ke tingkat 3

    • Tingkat asli 5 atau 3 → diturunkan ke tingkat 2

    • Tingkat asli 1 → tidak berubah

Langkah 1: Buka halaman pengisian ulang data

1. Login ke DataWorks console. Di wilayah target, klik Data Development and O&M > Operation Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.

2. Di panel navigasi kiri, klik O&M Assistant > Run untuk membuka halaman pengisian ulang data.

Untuk mengisi ulang data task terjadwal tertentu, Anda juga dapat membuka halaman Auto Triggered Task O&M > Auto Triggered Node dan klik Run di sebelah task yang sesuai.

Langkah 2: Buat tugas pengisian ulang data

Di halaman pengisian ulang data, klik Create Data Backfill Task dan konfigurasikan task pengisian ulang data sesuai kebutuhan bisnis Anda.

1. Konfigurasikan Basic information.

   Platform secara otomatis menghasilkan nama pengisian ulang data dalam format default, yang dapat Anda modifikasi sesuai kebutuhan.

2. Pilih task yang akan diisi ulang.

   Anda dapat menggunakan metode seperti Manually Select, Select by Link, Select by Workspace, dan Specify Task and All Descendant Tasks untuk memulai pengisian ulang data untuk task yang memiliki izin operasi, lalu memilih task lain untuk diisi ulang berdasarkan task tersebut. Parameter konfigurasi berbeda-beda tergantung metodenya.

   Pemilihan manual

   Pilih satu atau beberapa task sebagai task akar, lalu pilih task downstream dari task akar tersebut sebagai cakupan task untuk pengisian ulang data ini. Metode ini kompatibel dengan solusi pengisian ulang data sebelumnya: Current Node, Current Node and Descendant Nodes, dan Advanced Mode.

   Parameter detail dijelaskan di bawah ini.

   Parameter	Deskripsi
   Method	Pilih Manually Select.
   Add Root Task	Cari dan tambahkan task akar berdasarkan nama atau ID. Anda juga dapat mengklik Batch Add untuk mencari berdasarkan kondisi seperti kelompok sumber daya, jadwal, dan ruang kerja, lalu menambahkan beberapa task akar sekaligus. Catatan Anda hanya dapat memilih task di ruang kerja yang telah Anda ikuti (yaitu ruang kerja tempat Anda menjadi anggota).
   Selected Data Backfill List	Task yang akan diisi ulang. Daftar ini menampilkan task akar yang telah ditambahkan. Berdasarkan task akar tersebut, Anda dapat memilih task downstream yang akan diisi ulang. Catatan Anda dapat memfilter task downstream berdasarkan tingkat ketergantungan. Task downstream langsung dari task akar berada di tingkat 1 secara default, dan seterusnya. Anda dapat mengisi ulang hingga 500 task akar sekaligus, dengan maksimal 2000 task total (task akar dan task downstream-nya) (3000 di wilayah China (Beijing) dan China (Hangzhou)). Saat task dikonfigurasi dengan jumlah maksimum instans paralel, instans pengisian ulang data juga tunduk pada batasan ini dan berbagi kuota konkurensi dengan instans terjadwal.
   Task Blacklist	Jika task tidak perlu diisi ulang, Anda dapat menambahkannya ke blocklist. Task dalam blocklist tidak berpartisipasi dalam pengisian ulang data ini. Catatan Hanya task akar yang dapat ditambahkan ke blocklist. Jika task anak dari task akar tidak perlu diisi ulang, hapus dari Selected Data Backfill List. Jika task dalam blocklist merupakan task perantara dalam pengisian ulang data ini (yaitu ketergantungan upstream dan downstream-nya berada dalam cakupan pengisian ulang data ini), task tersebut dijalankan sebagai dry run untuk memastikan task downstream-nya berjalan (tidak benar-benar dijalankan dan langsung mengembalikan status success setelah dimulai), tetapi hal ini dapat menyebabkan output data abnormal untuk task downstream-nya.

   Pemilihan berdasarkan rantai

   Pilih satu task awal dan satu atau beberapa task akhir. Melalui analisis otomatis, semua task antara task akar dan task akhir digunakan sebagai cakupan task untuk pengisian ulang data ini (termasuk task awal dan akhir).

   Parameter detail dijelaskan di bawah ini.

   Parameter	Deskripsi
   Method	Pilih Select by Link.
   Search Tasks	Cari berdasarkan nama atau ID untuk menambahkan task awal dan satu atau beberapa task akhir. Platform menganalisis task perantara berdasarkan task awal dan akhir (yaitu task perantara merupakan task downstream langsung atau tidak langsung dari task awal dan task upstream langsung atau tidak langsung dari task akhir).
   Intermediate Task List	Daftar task perantara yang dianalisis secara otomatis oleh platform berdasarkan task awal dan akhir. Catatan Daftar hanya menampilkan 2000 task. Task yang melebihi 2000 tidak ditampilkan tetapi tetap berjalan normal.
   Task Blacklist	Jika task tidak perlu diisi ulang, Anda dapat menambahkannya ke blocklist. Task dalam blocklist tidak berpartisipasi dalam pengisian ulang data ini. Catatan Jika task dalam blocklist merupakan task perantara dalam pengisian ulang data ini (yaitu ketergantungan upstream dan downstream-nya berada dalam cakupan pengisian ulang data ini), task tersebut dijalankan sebagai dry run untuk memastikan task downstream-nya berjalan (tidak benar-benar dijalankan dan langsung mengembalikan status success setelah dimulai), tetapi hal ini dapat menyebabkan output data abnormal untuk task downstream-nya.

   Pemilihan berdasarkan ruang kerja

   Pilih task sebagai task akar, lalu tentukan cakupan task untuk pengisian ulang data ini berdasarkan ruang kerja node downstream. Metode ini kompatibel dengan solusi pengisian ulang data Massive Node Mode sebelumnya.

   Catatan

   • Kompatibel dengan solusi pengisian ulang data Massive Node Mode sebelumnya.

   • Konfigurasi blocklist task tidak didukung.

   Parameter detail dijelaskan di bawah ini.

   Parameter	Deskripsi
   Method	Pilih Select by Workspace.
   Add Root Task	Cari dan tambahkan task akar berdasarkan nama atau ID. Platform akan mengisi ulang task di ruang kerja task downstream dari task akar tersebut. Catatan Anda hanya dapat memilih task di ruang kerja yang telah Anda ikuti (yaitu ruang kerja tempat Anda menjadi anggota).
   Include Root Node	Tentukan apakah pengisian ulang data ini mencakup task akar.
   Data Backfill Workspaces	Berdasarkan ruang kerja task downstream dari task akar, pilih ruang kerja yang nodenya ingin Anda isi ulang. Catatan Anda hanya dapat memilih ruang kerja DataWorks di wilayah saat ini untuk operasi pengisian ulang data. Setelah memilih ruang kerja, semua node di ruang kerja tersebut diisi ulang secara default. Anda dapat menyesuaikan allowlist dan blocklist pengisian ulang data sesuai kebutuhan.
   Add to Whitelist	Node yang tetap perlu diisi ulang selain node yang terdapat di ruang kerja yang dipilih.
   Task Blacklist	Node di ruang kerja yang dipilih yang tidak perlu diisi ulang.

   Tentukan task dan semua task downstream-nya

   Setelah memilih task akar, platform secara otomatis menganalisis dan menggunakan task tersebut beserta semua task downstream-nya sebagai cakupan task untuk pengisian ulang data ini.

   Penting

   Anda hanya dapat melihat task yang dipicu saat task pengisian ulang data sedang berjalan. Gunakan dengan hati-hati.

   Parameter detail dijelaskan di bawah ini.

   Parameter	Deskripsi
   Method	Pilih Specify Task and All Descendant Tasks.
   Add Root Task	Cari dan tambahkan task akar berdasarkan nama atau ID. Platform akan mengisi ulang task akar dan semua task downstream-nya. Catatan Anda hanya dapat memilih task di ruang kerja yang telah Anda ikuti (yaitu ruang kerja tempat Anda menjadi anggota). Jika task akar yang dipilih tidak memiliki task downstream, hanya data task akar saat ini yang diisi ulang setelah task pengisian ulang data dikirim.
   Task Blacklist	Jika task tidak perlu diisi ulang, Anda dapat menambahkannya ke blocklist. Task dalam blocklist tidak berpartisipasi dalam pengisian ulang data ini. Catatan Jika task dalam blocklist merupakan task perantara dalam pengisian ulang data ini (yaitu ketergantungan upstream dan downstream-nya berada dalam cakupan pengisian ulang data ini), task tersebut dijalankan sebagai dry run untuk memastikan task downstream-nya berjalan (tidak benar-benar dijalankan dan langsung mengembalikan status success setelah dimulai), tetapi hal ini dapat menyebabkan output data abnormal untuk task downstream-nya.

   1. Konfigurasi kebijakan waktu proses pengisian ulang data.

      Konfigurasikan informasi seperti waktu proses task pengisian ulang data, apakah akan dijalankan dalam grup, apakah akan memicu peringatan, dan kelompok sumber daya yang akan digunakan, sesuai kebutuhan bisnis Anda.

      Parameter dijelaskan di bawah ini.

      Parameter	Deskripsi
      Data Timestamp	Anda dapat menentukan tanggal bisnis yang akan diisi ulang untuk task tersebut. Didukung entri manual, generasi berbasis AI, dan entri batch. Berdasarkan tanggal dan opsi yang Anda pilih, sistem menggunakan kebijakan eksekusi yang berbeda: Skenario 1: Mengisi ulang data historis (tanggal bisnis < tanggal saat ini) Ini adalah skenario pengisian ulang data paling umum. Saat tanggal bisnis yang Anda pilih lebih awal dari hari ini, sistem langsung membuat dan menjalankan instans task untuk tanggal historis tersebut guna melacak ulang dan menghitung ulang data masa lalu. Tujuan: Memperbaiki kesalahan data historis dan mengisi data yang hilang. Mode eksekusi: Jalankan segera. Skenario 2: Menjadwalkan task masa depan (tanggal bisnis > tanggal saat ini) Jika Anda memilih tanggal bisnis masa depan dan tidak memilih opsi khusus apa pun, ini setara dengan membuat task terjadwal "sekali pakai" untuk masa depan. Tujuan: Menjadwalkan eksekusi task sekali pakai di muka untuk tanggal tertentu di masa depan. Mode eksekusi: Jalankan sesuai jadwal. Instans dibuat dan masuk ke status pending. Instans akan berjalan secara otomatis berdasarkan pengaturan jadwal task-nya sendiri hanya ketika tanggal bisnis yang sesuai tiba. Skenario 3: Menjalankan instans secara langsung ketika waktu terjadwalnya berada setelah waktu saat ini (pilih Run immediately) Run Retroactive Instances Scheduled to Run after the Current Time adalah opsi lanjutan. Opsi ini ditampilkan ketika tanggal bisnis pengisian ulang data lebih lambat dari tanggal saat ini, atau ketika tanggal bisnis adalah T-1 dan task berisi instans yang waktu terjadwalnya lebih lambat dari waktu saat ini. Setelah Anda memilihnya, instans yang waktu terjadwalnya lebih lambat dari waktu saat ini akan langsung dijalankan alih-alih menunggu hingga waktu terjadwalnya tiba. Tujuan: Menjalankan instans task untuk tanggal masa depan di muka, menyiapkan data untuk partisi tertentu di muka untuk migrasi atau pengujian data, atau segera menjalankan instans per jam atau per menit yang waktu terjadwalnya belum tiba saat mengisi ulang data T-1. Mode eksekusi: Jalankan segera setelah dipilih. Contoh 1 (mengisi ulang data masa depan): Tanggal saat ini adalah 2024-03-12, dan Anda memilih untuk mengisi ulang data untuk 2024-03-17 serta memilih Run Retroactive Instances Scheduled to Run after the Current Time. Dalam kasus ini, instans task langsung dimulai pada 2024-03-12, tetapi parameter tanggal bisnis yang digunakan saat berjalan (yang memengaruhi partisi data, misalnya) adalah 2024-03-17. Contoh 2 (mengisi ulang data T-1): Waktu saat ini adalah 2024-03-12 14:30, dan Anda memilih untuk mengisi ulang data untuk 2024-03-11 (T-1). Task dijadwalkan per jam (berjalan sekali setiap jam). Jika Anda tidak memilih opsi ini, instans yang dijadwalkan untuk pukul 15:00, 16:00, dan waktu lainnya yang lebih lambat dari 14:30 harus menunggu hingga waktu terjadwal masing-masing untuk berjalan. Setelah Anda memilih Run Retroactive Instances Scheduled to Run after the Current Time, semua instans langsung dijalankan. Catatan Konsep tanggal bisnis: Dalam komputasi batch, task biasanya memproses data kemarin (T-1) hari ini (T). Fitur pengisian ulang data menghasilkan instans untuk "tanggal bisnis" yang ditentukan sehingga Anda dapat mengontrol secara tepat data hari mana yang diproses oleh task tersebut. Beberapa periode waktu: Untuk mengisi ulang data untuk beberapa tanggal tidak berurutan, klik Add untuk mengonfigurasi beberapa periode waktu. Perencanaan sumber daya: Kami menyarankan agar Anda tidak mengatur rentang waktu terlalu panjang untuk satu pengisian ulang data. Sejumlah besar instans pengisian ulang data mengonsumsi sumber daya penjadwalan, yang dapat memengaruhi operasi task terjadwal reguler.
      Period	Tentukan periode saat task yang dipilih berjalan. Task hanya menghasilkan dan menjalankan instans jika waktu terjadwalnya berada dalam periode ini. Anda dapat menggunakan fitur ini untuk hanya menjalankan instans periode tertentu untuk task terjadwal per jam atau per menit (yaitu hanya mengisi ulang data dalam periode yang ditentukan). Default-nya adalah 00:00-23:59. Catatan Jika waktu terjadwal task tidak berada dalam periode ini, task tidak menghasilkan instans. Jika terdapat kasus di mana task siklus besar bergantung pada task siklus kecil (misalnya, task harian bergantung pada task per jam), isolated instances dapat dihasilkan, yang memblokir operasi task. Kami menyarankan agar Anda hanya memodifikasi parameter ini ketika task terjadwal per jam atau per menit perlu mengisi ulang data untuk periode tertentu.
      Run by Group	Saat Anda mengisi ulang data untuk beberapa tanggal bisnis, Anda dapat menentukan jumlah grup untuk menjalankan task pengisian ulang data ini secara konkuren. Nilainya sebagai berikut: Yes: Platform membagi tanggal bisnis berdasarkan jumlah grup yang ditentukan dan menghasilkan beberapa grup batch pengisian ulang data yang berjalan secara konkuren berdasarkan hasil pengelompokan. No: Berjalan secara serial berdasarkan urutan tanggal bisnis. Instans pengisian ulang berikutnya hanya dijalankan setelah yang sebelumnya selesai. Catatan Apakah instans dalam satu hari untuk task per jam atau per menit berjalan secara konkuren dalam grup bergantung pada apakah task per jam atau per menit tersebut dikonfigurasi dengan self-dependency. Jumlah grup berkisar dari 2 hingga 10. Beberapa grup instans berjalan secara konkuren sebagai berikut: Jika rentang waktu tanggal bisnis lebih kecil dari jumlah grup, task berjalan secara konkuren dalam grup. Misalnya, jika tanggal bisnis adalah 11 hingga 13 Januari dan jumlah grup adalah 4, hanya tiga instans pengisian ulang data yang dihasilkan (setiap instans pengisian ulang data sesuai dengan satu tanggal bisnis), dan ketiga instans tersebut berjalan secara konkuren dalam grup. Jika rentang waktu tanggal bisnis lebih besar dari jumlah grup, platform menjalankan task secara serial dan paralel berdasarkan Order tanggal bisnis. Misalnya, jika tanggal bisnis adalah 11 hingga 13 Januari dan jumlah grup adalah 2, dua instans pengisian ulang data dihasilkan (satu instans pengisian ulang data berisi dua tanggal bisnis, dan task untuk kedua tanggal bisnis tersebut berjalan secara serial), dan dua instans pengisian ulang data tersebut berjalan secara paralel.
      Alert for Data Backfill	Atur apakah operasi pengisian ulang data ini memicu peringatan. Yes: Peringatan dihasilkan saat kondisi pemicu terpenuhi. No: Pengisian ulang data ini tidak memicu peringatan.
      Trigger Condition	Atur kondisi pemicu peringatan hanya saat Alert for Data Backfill diatur ke Yes: Alert on Failure or Success: Peringatan dihasilkan baik saat pengisian ulang data berhasil maupun gagal. Alert on Success: Peringatan dihasilkan hanya saat pengisian ulang data berhasil. Alert on Failure: Peringatan dihasilkan hanya saat pengisian ulang data gagal.
      Alert Notification Method	Anda hanya dapat memilih untuk menerima peringatan melalui Text Message and Email, SMS, atau Email jika Alert for Data Backfill diatur ke Yes. Penerima peringatan adalah inisiator pengisian ulang data. Catatan Klik Check Contact Information untuk memverifikasi apakah nomor telepon atau alamat email penerima peringatan telah terdaftar. Jika belum terdaftar, lihat Configure alert contacts untuk mengonfigurasinya.
      Order	Pilih menjalankan pengisian ulang data secara Ascending by Business Date atau Descending by Business Date.
      Scheduling Resource Group	Tentukan kelompok sumber daya yang digunakan untuk menjalankan instans pengisian ulang data. Inherit Task Configuration: Menggunakan kelompok sumber daya yang awalnya dikonfigurasi untuk task terjadwal guna menjalankan instans pengisian ulang data. Specify Resource Group for Scheduling: Menggunakan kelompok sumber daya tertentu untuk menjalankan instans pengisian ulang data, menghindari konflik sumber daya antara instans pengisian ulang data dan instans terjadwal. Catatan Pastikan konektivitas jaringan kelompok sumber daya telah dikonfigurasi; jika tidak, task dapat gagal. Jika kelompok sumber daya yang ditentukan tidak terkait dengan ruang kerja yang relevan, kelompok sumber daya task terjadwal asli tetap digunakan. Kami menyarankan agar Anda menggunakan serverless resource group atau exclusive resource group for scheduling, yang dapat menyediakan kelompok sumber daya komputasi khusus untuk memastikan transfer data cepat dan stabil saat task berjalan dengan konkurensi tinggi dan tidak dapat dijalankan dalam periode waktu yang diatur.
      Execution Period	Tentukan kapan task pengisian ulang data yang dihasilkan kali ini dijalankan. Inherit Task Configuration: Berjalan berdasarkan waktu terjadwal instans pengisian ulang data. Specify Time Period: Atur agar task pengisian ulang data dipicu dan dijalankan hanya dalam periode waktu tertentu. Atur periode waktu proses secara wajar berdasarkan jumlah task yang akan diisi ulang. Catatan Task yang berada dalam status belum dijalankan setelah periode ini tidak akan dijalankan, sedangkan task yang sedang berjalan setelah periode ini tetap dilanjutkan.
      Computing Resources	Saat ini, hanya sumber daya komputasi EMR dan Serverless Spark yang dapat diatur sebagai sumber daya komputasi untuk pengisian ulang data. Pastikan sumber daya komputasi yang dipetakan tersedia; jika tidak, penjadwalan task dapat terganggu.

3. Konfigurasikan kebijakan pemeriksaan tugas pengisian ulang data.

   Digunakan untuk mengonfigurasi apakah eksekusi task dihentikan saat pemeriksaan pengisian ulang data gagal. Platform memeriksa status dasar dan risiko potensial task pengisian ulang data ini, sebagai berikut:

   • Status dasar: Jumlah task yang terlibat dalam pengisian ulang data ini, jumlah instans yang dihasilkan, dan apakah terdapat siklus node, node terisolasi, atau instans tanpa izin.

   • Deteksi risiko: Mendeteksi apakah terdapat node cycles dan isolated nodes. Kedua situasi ini menyebabkan operasi task abnormal. Anda dapat mengatur agar task pengisian ulang data dihentikan saat pemeriksaan gagal.

4. Klik Submit untuk menyelesaikan pembuatan task pengisian ulang data.

Langkah 3: Jalankan task pengisian ulang data

Saat task pengisian ulang data mencapai waktu proses yang dikonfigurasi dan tidak terdapat anomali, task pengisian ulang data akan secara otomatis dipicu untuk dijalankan.

Task pengisian ulang data tidak dapat dijalankan jika kondisi berikut terpenuhi:

• Task pengisian ulang data memiliki pemeriksaan yang diaktifkan, dan kegagalan pemeriksaan memblokir operasi task. Untuk informasi lebih lanjut, lihat Create a data backfill task: Step 4.

• Operasi pengisian ulang data memiliki pemeriksaan ekstensi yang diaktifkan, dan kegagalan pemeriksaan memblokir operasi task. Untuk informasi lebih lanjut, lihat Manage extensions.

Kueri instans pengisian ulang data

Di panel navigasi kiri, klik O&M Assistant > Run untuk membuka halaman pengisian ulang data.

Di sisi kanan halaman pengisian ulang data, klik Show Search Options untuk memfilter instans yang akan dikueri berdasarkan kondisi seperti Data Backfill Instance Name, Running status, dan Task type. Anda juga dapat segera menghentikan task pengisian ulang data yang sedang berjalan secara batch.

Lihat status instans pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang instans pengisian ulang data, termasuk:

• Node Name: Menampilkan nama instans pengisian ulang data. Klik ikon sebelum nama instans untuk menampilkan tanggal proses dan status proses instans, serta node yang dikandungnya dan detail prosesnya.

• Check Status: Status pemeriksaan instans pengisian ulang data saat ini.

• Running status: Termasuk status seperti succeeded, failed, waiting for resources, dan waiting to be triggered. Anda dapat memecahkan masalah terkait berdasarkan status abnormal.

• Nodes: Jumlah node yang dikandung dalam instans pengisian ulang data.

• Data Timestamp: Tanggal saat instans pengisian ulang data dijalankan.

• Max Parallel Instances: Menampilkan jumlah maksimum instans paralel yang dikonfigurasi untuk task, yaitu Unlimited atau nilai spesifik (1 hingga 10.000). Pengaturan ini membatasi jumlah maksimum instans task yang sama yang dapat berjalan secara bersamaan. Nilai ini dibagi antara instans terjadwal, instans pengisian ulang data, dan instans uji.

• Lihat View Task Analysis Results: Anda dapat melihat instans yang diharapkan dihasilkan oleh task, tanggal proses, dan hasil pemeriksaan risiko, untuk segera menangani task yang diblokir. Halaman Data backfill task analysis result menampilkan informasi berikut: Data backfill name, Task analysis (yang mencantumkan nama setiap ruang kerja dan jumlah instans yang diharapkan dihasilkan dalam tabel), rentang Business date, rentang waktu Specified period, dan hasil Risk check (termasuk apakah deteksi siklus dan deteksi task terisolasi lolos).

• Actions: Anda dapat melakukan operasi seperti Batch Terminate, Batch Rerun, dan Reuse pada instans pengisian ulang data.

  Operasi	Deskripsi
  Batch Terminate	Anda dapat memilih dan menghentikan instans secara batch dalam status Running dalam instans pengisian ulang data. Setelah operasi ini, instans yang sesuai diatur ke status Run failed. Catatan Menghentikan instans dalam status Not Running, Succeeded, atau Run failed tidak didukung.
  Batch Rerun	Menjalankan ulang instans pengisian ulang data secara batch. Catatan Hanya instans dalam status Succeeded atau Run failed yang dapat dijalankan ulang. Batch rerun segera menjalankan ulang instans yang dipilih dan tidak menjalankannya sesuai ketergantungan antar instans. Untuk menjalankannya secara berurutan, gunakan Rerun Descendent Nodes atau lakukan operasi Run lagi.
  Reuse	Anda dapat menggunakan kembali set node dari operasi pengisian ulang data sebelumnya untuk memilih node yang akan diisi ulang dengan cepat.

Kelola task pengisian ulang data

Di area ini, Anda dapat melihat informasi tentang node yang dikandung dalam instans pengisian ulang data, termasuk:

• Name: Klik nama node untuk membuka halaman detail node dan melihat informasi node lebih lanjut.

• Timing Time: Waktu proses terjadwal yang diatur untuk task node.

• Start run time: Waktu mulai proses task node.

• End Time: Waktu akhir proses task node.

• Run when Long: Durasi eksekusi tugas node.

• Actions: Anda dapat mengelola task node pengisian ulang data dengan operasi seperti melihat DAG, Terminate, dan Rerun.

  Operasi		Deskripsi
  DAG		Lihat DAG node untuk menganalisis task upstream dan downstream dari node tersebut. Untuk informasi selengkapnya, lihat Pengenalan fitur DAG.
  Terminate		Anda dapat menghentikan node yang berada dalam status Running. Setelah operasi ini, node akan diatur ke status Run failed. Catatan Menghentikan node dalam status Not Running, Succeeded, atau Run failed tidak didukung. Operasi ini menyebabkan instans gagal dan memblokir operasi node downstream instans tersebut. Harap waspada terhadap risiko ini dan lakukan dengan hati-hati.
  Rerun		Jalankan ulang task node target. Catatan Hanya node dalam status succeeded atau failed yang dapat dijalankan ulang.
  More	Rerun Descendent Nodes	Jalankan ulang node downstream dari task node target.
  	Set to Successful	Atur status task node menjadi succeeded.
  	Pause (Freeze)	Atur node saat ini ke status paused (frozen) dan hentikan penjadwalan. Catatan Status Waiting for resources, Waiting time, dan Running (kode node sedang berjalan, pemeriksaan kualitas data sedang berlangsung) tidak mendukung operasi freeze.
  	Unfreeze	Lanjutkan penjadwalan untuk node yang sedang paused (frozen).
  	View Lineage	Lihat graf lineage node tersebut.

Untuk node task yang dipilih, klik Terminate atau Rerun untuk menghentikan atau menjalankan ulang node task yang dipilih secara batch.