All Products
Search
Document Center

DataWorks:Kelola instans pengisian ulang data

Last Updated:Mar 19, 2026

Saat melakukan pengisian ulang data (data backfill), Scheduling Parameters dalam kode Anda secara otomatis diganti dengan nilai spesifik berdasarkan Data Timestamp yang dipilih. Hal ini memastikan kode Anda menulis data ke partisi yang benar. Kode node Anda menentukan partisi target dan logika eksekusi.

Izin

Anda harus memiliki izin Action untuk semua node dalam alur kerja pengisian ulang data. Jika Anda tidak memiliki izin untuk salah satu node, konsekuensi berikut akan terjadi:

  • Tidak memiliki izin pada node target: Jika Anda tidak memiliki izin Action untuk Root Node atau salah satu Descendant Node-nya, pengisian ulang data tidak dapat dijalankan.

  • Tidak memiliki izin pada node perantara: Jika Anda tidak memiliki izin untuk node perantara (artinya baik Ancestor maupun Descendant Node-nya berada dalam cakupan pengisian ulang), sistem akan melakukan Dry Run pada node tersebut.

    • Perilaku Dry Run: Saat node dimulai, logika komputasi aktual tidak dieksekusi. Sebaliknya, status Succeeded langsung dikembalikan untuk memastikan Descendant Node-nya dapat dipicu.

    • Peringatan: Dry Run pada node perantara tidak menghasilkan data aktual. Hal ini dapat menyebabkan Descendant Node-nya gagal atau menghasilkan output yang salah karena input yang hilang. Lakukan dengan hati-hati.

Pertimbangan

Untuk memastikan stabilitas dan prediktabilitas operasi pengisian ulang data, baca dengan cermat aturan eksekusi berikut.

Siklus hidup instans dan retensi log
  • Pembersihan instans: Data Backfill Instances tidak dapat dihapus secara manual. Platform secara otomatis menghapusnya sekitar 30 hari setelah pembuatan. Jika suatu node tidak perlu lagi dijalankan, Anda dapat Freeze instans-nya untuk menghentikan penjadwalannya.

  • Kebijakan retensi: Periode retensi untuk instans dan log bervariasi berdasarkan tipe Resource Group.

    Tipe kelompok sumber daya

    Kebijakan retensi instans

    Kebijakan retensi log

    Shared Resource Group for Scheduling

    30 hari

    7 hari

    Exclusive Resource Group for Scheduling

    30 hari

    30 hari

    Serverless Resource Group

    30 hari

    30 hari

  • Pembersihan log besar: Untuk instans yang telah selesai, platform secara berkala melakukan purge terhadap log eksekusi yang melebihi 3 MB.

Aturan eksekusi instans
  • Ketergantungan harian ketat: Pengisian ulang data dilakukan secara serial berdasarkan Data Timestamp. Instans untuk suatu hari tidak akan dimulai hingga semua instans untuk hari sebelumnya berhasil. Jika ada instans yang gagal, hal ini akan memblokir semua instans untuk tanggal berikutnya.

  • Konkurensi untuk node per jam dan per menit: Saat Anda mengisi ulang data untuk semua instans suatu node pada hari tertentu, properti Self-dependency node tersebut menentukan metode eksekusinya:

    • Self-dependency tidak diatur: Semua instans dalam satu hari (misalnya, 00:00, 01:00) dapat berjalan secara paralel, selama ketergantungan masing-masing Ancestor Node-nya terpenuhi.

    • Self-dependency diatur: Semua instans dalam satu hari akan berjalan secara serial. Misalnya, instans pukul 01:00 akan menunggu instans pukul 00:00 berhasil sebelum dijalankan.

  • Konflik dengan Instans yang Dipicu Otomatis: Untuk melindungi jadwal reguler, Instans yang Dipicu Otomatis memiliki prioritas lebih tinggi daripada Instans Pengisian Ulang Data. Jika kedua jenis instans dijadwalkan berjalan pada waktu yang sama, Anda mungkin perlu secara manual menghentikan Instans Pengisian Ulang Data.

  • Penanganan node dalam blacklist: Jika suatu node dalam Blocklist merupakan node perantara dalam alur kerja pengisian ulang data, node tersebut akan melakukan Dry Run. Hal ini dapat memengaruhi output data dari Descendant Node-nya.

Sumber daya penjadwalan dan prioritas
  • Konfigurasi sumber daya: Jumlah besar Instans Pengisian Ulang Data atau tingkat paralelisme yang tinggi dapat mengonsumsi sumber daya penjadwalan secara signifikan, yang berpotensi memengaruhi operasi normal Instans yang Dipicu Otomatis. Konfigurasikan sumber daya sesuai kebutuhan Anda.

  • Kebijakan degradasi prioritas: Untuk melindungi operasi inti, platform secara dinamis menyesuaikan prioritas node berdasarkan Data Timestamp dari pengisian ulang:

    • Mengisi ulang data untuk hari sebelumnya (T-1): Prioritas node tidak berubah dan ditentukan oleh prioritas baseline tempat node tersebut berada.

    • Mengisi ulang data historis (T-2 atau lebih awal): Prioritas node secara otomatis diturunkan sesuai aturan berikut:

      • Prioritas 7 dan 8 diturunkan menjadi 3.

      • Prioritas 5 dan 3 diturunkan menjadi 2.

      • Prioritas 1 tidak berubah.

Buat Tugas Pengisian Ulang Data

Langkah 1: Buka halaman pengisian ulang data

  1. Buka halaman Operation Center.

    Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Operation Center. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Operation Center.

  2. Di panel navigasi kiri, pilih O&M Assistant > Data Backfill untuk membuka halaman Data Backfill.

Catatan

Untuk mengisi ulang data untuk node yang dipicu otomatis tertentu, Anda juga dapat membuka halaman Auto Triggered Task O&M > Auto Triggered Nodes dan klik Backfill Data di kolom Actions untuk node tersebut.

Langkah 2: Buat tugas pengisian ulang data

Di halaman Data Backfill, klik Create Data Backfill Task dan konfigurasikan parameter sesuai kebutuhan.

  1. Konfigurasi Basic Basic information.

    Platform secara otomatis menghasilkan nama untuk Data Backfill Task. Anda dapat mengubah nama tersebut sesuai kebutuhan.

  2. Pilih node untuk pengisian ulang data.

    Anda dapat menggunakan salah satu metode berikut untuk memilih node yang memiliki izin untuk dioperasikan: Manually Select, Select by Link, Select by Workspace, atau Specify Task and All Descendant Tasks. Parameter konfigurasi berbeda untuk setiap metode.

    Manually select

    Pilih satu atau beberapa node sebagai root node, lalu pilih Descendant Node-nya untuk menentukan cakupan pengisian ulang data. Metode ini kompatibel dengan opsi pengisian ulang sebelumnya: Current Node, Current and Descendant Nodes, dan Advanced Mode.

    Tabel berikut menjelaskan parameter-parameter tersebut.

    Parameter

    Deskripsi

    Node Selection Method

    Pilih Manually Select.

    Add Root Nodes

    Cari dan tambahkan root node berdasarkan nama atau ID. Anda juga dapat mengklik Batch Add dan tentukan kondisi seperti Resource Group, Scheduling Cycle, dan Workspace untuk menambahkan beberapa root node sekaligus.

    Catatan

    Anda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.

    Selected Root Nodes

    Node yang akan diisi ulang datanya. Daftar ini menampilkan root node yang telah ditambahkan. Anda dapat memilih Descendant Node yang ingin disertakan dalam pengisian ulang.

    Catatan
    • Anda dapat memfilter Descendant Node berdasarkan tingkat ketergantungannya. Descendant Node langsung dari Root Node berada di tingkat pertama.

    • Jumlah maksimum root node untuk satu pengisian ulang data adalah 500. Jumlah total maksimum node (root node dan Descendant Node-nya) adalah 2.000 (atau 3.000 di wilayah China (Beijing) dan China (Hangzhou)).

    • Jika suatu node dikonfigurasi dengan jumlah maksimum instans konkuren, Instans Pengisian Ulang Data tunduk pada batas ini dan berbagi kuota konkurensi dengan Instans yang Dipicu Otomatis.

    Task Blacklist

    Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke Blocklist. Node dalam Blocklist dikecualikan dari operasi.

    Catatan
    • Hanya root node yang dapat ditambahkan ke Blocklist. Jika Descendant Node dari Root Node tidak memerlukan pengisian ulang data, hapus dari daftar Selected Root Nodes.

    • Jika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.

    Select by link

    Pilih node awal dan satu atau beberapa node akhir. Sistem secara otomatis menganalisis ketergantungan dan menyertakan semua node di antara node awal dan akhir dalam cakupan pengisian ulang data.

    Tabel berikut menjelaskan parameter-parameter tersebut.

    Parameter

    Deskripsi

    Node Selection Method

    Pilih Select by Link.

    Select Nodes

    Cari berdasarkan nama atau ID untuk menambahkan node awal dan satu atau beberapa node akhir. Platform menganalisis node perantara, yaitu Descendant Node langsung atau tidak langsung dari node awal dan Ancestor Node langsung atau tidak langsung dari node akhir.

    Intermediate Nodes

    Daftar node perantara yang secara otomatis diidentifikasi oleh platform berdasarkan node awal dan akhir.

    Catatan

    Daftar ini menampilkan maksimal 2.000 node. Node yang melebihi batas ini tidak ditampilkan tetapi tetap disertakan dalam eksekusi.

    Task Blacklist

    Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke Blocklist. Node dalam Blocklist dikecualikan dari operasi.

    Catatan

    Jika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.

    Select by workspace

    Pilih Root Node dan tentukan cakupan pengisian ulang data berdasarkan ruang kerja dari Descendant Node-nya.

    Catatan
    • Kompatibel dengan solusi pengisian ulang data asli Massive Node Mode.

    • Konfigurasi Blocklist tidak didukung dengan metode ini.

    Tabel berikut menjelaskan parameter-parameter tersebut.

    Parameter

    Deskripsi

    Node Selection Method

    Pilih Select by Workspace.

    Add Root Nodes

    Cari dan tambahkan root node berdasarkan nama atau ID. Platform akan mengisi ulang data untuk node yang berada di ruang kerja tempat Descendant Node dari Root Node berada.

    Catatan

    Anda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.

    Include Root Node

    Menentukan apakah Root Node disertakan dalam pengisian ulang data ini.

    Workspaces for Data Backfill

    Pilih ruang kerja yang berisi node yang ingin diisi ulang datanya, berdasarkan ruang kerja tempat Descendant Node dari Root Node berada.

    Catatan
    • Anda hanya dapat memilih ruang kerja DataWorks di wilayah saat ini.

    • Setelah memilih ruang kerja, data diisi ulang untuk semua node di dalamnya secara default. Anda dapat menyesuaikan Allowlist dan Blocklist sesuai kebutuhan.

    Add to Whitelist

    Tentukan node tambahan yang memerlukan pengisian ulang data tetapi tidak berada di ruang kerja yang dipilih.

    Task Blacklist

    Tentukan node dalam ruang kerja yang dipilih yang harus dikecualikan dari pengisian ulang data.

    Specify node and descendants

    Setelah memilih Root Node, platform secara otomatis menyertakan node tersebut dan semua Descendant Node-nya dalam cakupan pengisian ulang data.

    Penting

    Anda hanya dapat melihat cakupan lengkap node yang dipicu setelah Data Backfill Task mulai berjalan. Gunakan opsi ini dengan hati-hati.

    Tabel berikut menjelaskan parameter-parameter tersebut.

    Parameter

    Deskripsi

    Node Selection Method

    Pilih Specify Task and All Descendant Tasks.

    Add Root Nodes

    Cari dan tambahkan root node berdasarkan nama atau ID. Platform akan mengisi ulang data untuk Root Node dan semua Descendant Node-nya.

    Catatan
    • Anda hanya dapat memilih node dari ruang kerja tempat Anda menjadi anggota.

    • Jika Root Node yang dipilih tidak memiliki Descendant Node, hanya data untuk Root Node tersebut yang diisi ulang setelah Anda mengirimkan tugas.

    Task Blacklist

    Jika suatu node tidak memerlukan pengisian ulang data, tambahkan ke Blocklist. Node dalam Blocklist dikecualikan dari operasi.

    Catatan

    Jika node dalam Blocklist merupakan node perantara dalam alur kerja (artinya Ancestor dan Descendant Node-nya termasuk dalam pengisian ulang), node tersebut akan melakukan Dry Run. Hal ini memastikan Descendant Node-nya dapat berjalan tetapi berpotensi menghasilkan data yang salah.

    1. Konfigurasi kebijakan eksekusi pengisian ulang data.

      Konfigurasikan pengaturan untuk Tugas Pengisian Ulang Data, seperti waktu eksekusi, eksekusi berkelompok, pemicuan peringatan, dan Resource Group yang akan digunakan, sesuai kebutuhan.

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Parameter

      Deskripsi

      Data Timestamp

      Tentukan Data Timestamp untuk data yang ingin diisi ulang. Anda dapat menentukan tanggal menggunakan metode Manual Entry, AI-powered Generation, atau Batch Entry.

      Sistem menggunakan kebijakan eksekusi berbeda berdasarkan tanggal dan opsi yang Anda pilih:

      Skenario 1: Mengisi ulang data historis (Data Timestamp < tanggal saat ini)

      Ini adalah skenario Pengisian Ulang Data paling umum. Jika Anda memilih Data Timestamp yang lebih awal dari tanggal saat ini, sistem langsung membuat dan menjalankan instans untuk tanggal historis tersebut untuk memproses ulang dan menghitung ulang data masa lalu.

      • Kasus penggunaan: Memperbaiki kesalahan data historis atau mengisi data yang hilang.

      • Metode eksekusi: Eksekusi langsung.

      Skenario 2: Menjadwalkan tugas mendatang (Data Timestamp > tanggal saat ini)

      Jika Anda memilih Data Timestamp di masa depan dan tidak memilih opsi khusus apa pun, tugas sekali jalan dijadwalkan untuk tanggal mendatang tersebut.

      • Kasus penggunaan: Menjadwalkan eksekusi tugas sekali jalan untuk tanggal mendatang tertentu yang telah diketahui.

      • Metode eksekusi: Eksekusi terjadwal. Instans dibuat dan masuk ke status menunggu. Instans tersebut berjalan secara otomatis berdasarkan konfigurasi penjadwalannya saat Data Timestamp-nya tiba.

      Skenario 3: Langsung menjalankan instans yang dijadwalkan untuk waktu mendatang (pilih Run Now)

      Opsi Run Retroactive Instances Scheduled to Run after the Current Time adalah pengaturan lanjutan. Sistem menampilkan opsi ini jika Data Timestamp lebih baru dari tanggal saat ini, atau jika Data Timestamp adalah T-1 dan tugas mencakup instans yang dijadwalkan untuk waktu setelah waktu saat ini. Jika Anda memilih opsi ini, instans yang dijadwalkan untuk waktu mendatang akan langsung dijalankan alih-alih menunggu waktu terjadwalnya.

      • Kasus penggunaan: Menjalankan instans untuk tanggal mendatang lebih awal, menyiapkan data di partisi tertentu untuk migrasi atau pengujian data, atau langsung menjalankan instans per jam atau per menit untuk data T-1 yang belum mencapai waktu terjadwalnya.

      • Metode eksekusi: Berjalan langsung setelah pemilihan.

      • Contoh 1 (Mengisi ulang data masa depan): Tanggal saat ini adalah 2024-03-12. Anda memilih untuk mengisi ulang data untuk 2024-03-17 dan memilih Immediately run Data Backfill Instances scheduled for a time later than the current time. Instans tugas akan mulai langsung pada 2024-03-12, tetapi akan menggunakan 2024-03-17 sebagai parameter Data Timestamp saat runtime, yang memengaruhi partisi data.

      • Contoh 2 (Mengisi ulang data T-1): Waktu saat ini adalah 2024-03-12 14:30. Anda memilih untuk mengisi ulang data untuk 2024-03-11 (T-1). Tugas dijadwalkan berjalan per jam. Jika Anda tidak memilih opsi tersebut, instans yang dijadwalkan untuk pukul 15:00, 16:00, dan waktu lain setelah 14:30 harus menunggu waktu terjadwalnya untuk berjalan. Jika Anda memilih Immediately run Data Backfill Instances scheduled for a time later than the current time, semua instans akan langsung dijalankan.

      Catatan
      • Konsep Data Timestamp: Dalam komputasi offline, tugas biasanya memproses data hari sebelumnya (T-1) pada hari saat ini (T). Fitur Pengisian Ulang Data memungkinkan Anda mengontrol secara tepat data hari mana yang diproses oleh tugas dengan menghasilkan instans untuk Data Timestamp tertentu.

      • Rentang waktu ganda: Untuk mengisi ulang data untuk beberapa tanggal tidak berurutan, klik Add untuk mengonfigurasi beberapa rentang waktu.

      • Perencanaan sumber daya: Jangan mengatur rentang waktu yang terlalu panjang untuk satu operasi Pengisian Ulang Data. Jumlah besar Instans Pengisian Ulang Data dapat mengonsumsi sumber daya penjadwalan dan berpotensi memengaruhi eksekusi tugas reguler yang dipicu otomatis.

      Specify Cycle

      Tentukan rentang waktu di mana tugas yang dipilih dapat berjalan. Instans hanya dihasilkan dan dijalankan jika waktu terjadwalnya berada dalam rentang waktu ini. Anda dapat menggunakan fitur ini untuk menjalankan instans tugas yang dijadwalkan per jam atau per menit hanya dalam siklus tertentu, artinya Anda hanya mengisi ulang data untuk siklus tersebut. Nilai default adalah 00:00-23:59.

      Catatan
      • Jika waktu terjadwal tugas berada di luar rentang waktu ini, tidak ada instans yang dihasilkan untuk tugas tersebut. Jika tugas dengan siklus penjadwalan lebih panjang bergantung pada tugas dengan siklus lebih pendek (misalnya, tugas harian bergantung pada tugas per jam), isolated instance mungkin dihasilkan, yang memblokir tugas tersebut dari berjalan.

      • Ubah parameter ini hanya saat Anda perlu mengisi ulang data untuk siklus tertentu dari tugas yang dijadwalkan per jam atau per menit.

      Run by Group

      Jika Anda mengisi ulang data untuk beberapa Data Timestamp, Anda dapat menentukan jumlah kelompok untuk eksekusi konkuren Tugas Pengisian Ulang Data. Nilai yang valid adalah:

      • Yes: Platform membagi Data Timestamp berdasarkan jumlah kelompok yang ditentukan. Kemudian, platform menghasilkan beberapa batch Pengisian Ulang Data untuk berjalan secara konkuren berdasarkan hasil pengelompokan.

      • No: Instans Pengisian Ulang Data berjalan secara serial sesuai urutan Data Timestamp-nya. Instans Pengisian Ulang Data hanya berjalan setelah instans sebelumnya selesai.

        Catatan

        Apakah instans tugas per jam atau per menit untuk hari tertentu berjalan secara konkuren dalam kelompok tergantung pada apakah Self-dependency dikonfigurasi untuk tugas tersebut.

      Jumlah kelompok dapat berkisar dari 2 hingga 10. Skenario berikut menggambarkan bagaimana beberapa instans berjalan secara konkuren dalam kelompok:

      • Jika jumlah hari dalam rentang Data Timestamp kurang dari jumlah kelompok, tugas berjalan secara konkuren dalam kelompok.

        Misalnya, jika rentang Data Timestamp dari January 11 hingga January 13 dan jumlah kelompok adalah 4, hanya tiga Instans Pengisian Ulang Data yang dihasilkan, satu untuk setiap Data Timestamp. Ketiga instans tersebut berjalan secara konkuren dalam kelompok.

      • Jika jumlah hari dalam rentang Data Timestamp lebih dari jumlah kelompok, platform menjalankan tugas secara serial dan paralel berdasarkan Order Data Timestamp.

        Misalnya, jika rentang Data Timestamp dari January 11 hingga January 13 dan jumlah kelompok adalah 2, dua Instans Pengisian Ulang Data dihasilkan. Satu instans mencakup dua Data Timestamp, dan tugas untuk kedua Data Timestamp tersebut berjalan secara serial. Kedua Instans Pengisian Ulang Data berjalan secara paralel.

      Alert for Data Backfill

      Tentukan apakah operasi Pengisian Ulang Data ini memicu peringatan.

      • Yes: Peringatan dipicu jika kondisi pemicu terpenuhi.

      • No: Operasi Pengisian Ulang Data ini tidak memicu peringatan.

      Trigger Condition

      Parameter ini tersedia hanya jika Anda mengatur Alert for Data Backfill ke Yes. Atur kondisi pemicu peringatan:

      • Alert on Failure or Success: Peringatan dipicu terlepas dari apakah tugas Pengisian Ulang Data berhasil atau gagal.

      • Alert on Success: Peringatan dipicu hanya jika tugas Pengisian Ulang Data berhasil.

      • Alert on Failure: Peringatan dipicu hanya jika tugas Pengisian Ulang Data gagal.

      Alert Notification Method

      Parameter ini tersedia hanya jika Anda mengatur Alert for Data Backfill ke Yes. Anda dapat memilih menerima peringatan melalui Text Message and Email, SMS, atau Email. Penerima peringatan adalah pengguna yang memulai Pengisian Ulang Data.

      Catatan

      Klik Check Contact Information untuk memverifikasi apakah nomor ponsel atau alamat email penerima telah terdaftar. Jika belum, lihat View and configure alert contacts untuk petunjuk.

      Order

      Pilih apakah akan mengisi ulang data dalam urutan Ascending by Business Date atau Descending by Business Date.

      Resource Group for Scheduling

      Tentukan Resource Group yang akan digunakan untuk menjalankan Instans Pengisian Ulang Data.

      • Follow Task Configuration: Gunakan Resource Group yang awalnya dikonfigurasi untuk Instans yang Dipicu Otomatis untuk menjalankan Instans Pengisian Ulang Data.

      • Specify Resource Group for Scheduling: Gunakan Resource Group tertentu untuk menjalankan Instans Pengisian Ulang Data. Ini mencegah konflik sumber daya antara Instans Pengisian Ulang Data dan Instans yang Dipicu Otomatis.

      Catatan
      • Pastikan Resource Group memiliki konektivitas jaringan. Jika tidak, tugas mungkin gagal. Jika Resource Group yang ditentukan tidak terikat ke Ruang Kerja terkait, Resource Group dari Instans yang Dipicu Otomatis asli akan digunakan.

      • Gunakan Serverless Resource Group atau Exclusive Resource Group for Scheduling. Jika tugas berjalan dengan konkurensi tinggi dan tidak dapat diatur waktunya, resource group ini menyediakan sumber daya komputasi khusus untuk memastikan transmisi data yang cepat dan stabil.

      Execution Period

      Tentukan periode waktu di mana Tugas Pengisian Ulang Data yang dihasilkan dapat berjalan.

      • Follow Task Configuration: Jalankan Instans Pengisian Ulang Data pada waktu terjadwalnya.

      • Specify Time Period: Tetapkan periode waktu tertentu di mana Tugas Pengisian Ulang Data dapat dipicu. Tetapkan periode eksekusi yang wajar berdasarkan volume data yang akan diisi ulang.

        Catatan

        Tugas yang tidak berjalan tidak akan dimulai setelah periode ini berakhir. Tugas yang sedang berjalan akan terus berjalan hingga selesai, meskipun periode telah berakhir.

      Computing Resources

      Saat ini, hanya sumber daya komputasi EMR dan Serverless Spark yang dapat diatur sebagai sumber daya komputasi untuk Pengisian Ulang Data.

      Pastikan sumber daya komputasi yang dipetakan tersedia dan aktif. Jika tidak, penjadwalan tugas mungkin terpengaruh.

  3. Konfigurasi kebijakan verifikasi tugas pengisian ulang data.

    Pengaturan ini menentukan apakah tugas akan dihentikan jika verifikasi pengisian ulang data gagal. Platform memeriksa informasi dasar dan risiko potensial dari tugas pengisian ulang data sebagai berikut:

    • Informasi dasar: Jumlah tugas dalam pengisian ulang data, jumlah instans yang akan dihasilkan, dan apakah ada masalah seperti loop node, node terisolasi, atau instans tanpa izin.

    • Deteksi risiko: Memeriksa loop node dan node terisolasi. Masalah ini menyebabkan tugas berjalan tidak normal. Anda dapat mengonfigurasi tugas pengisian ulang data untuk berhenti jika pemeriksaan gagal.

  4. Klik Submit. Tugas Pengisian Ulang Data dibuat.

Langkah 3: Jalankan tugas pengisian ulang data

Data Backfill Task berjalan secara otomatis pada waktu yang dikonfigurasi jika tidak ditemukan masalah.

Data Backfill Task tidak dapat berjalan jika salah satu kondisi berikut terpenuhi:

  • Pemeriksaan validasi diaktifkan untuk Data Backfill Task dan pemeriksaan gagal. Untuk informasi lebih lanjut, lihat Langkah 4 di Create a data backfill task.

  • Pemeriksaan program ekstensi diaktifkan untuk operasi Data Backfill dan pemeriksaan gagal. Untuk informasi lebih lanjut, lihat Overview of extension programs.

Kelola instans pengisian ulang data

Temukan instans pengisian ulang data

Di panel navigasi kiri, pilih O&M Assistant > Data Backfill untuk membuka halaman Data Backfill.

image

Di sisi kanan halaman Data Backfill, klik Show Search Options. Anda dapat memfilter instans berdasarkan kondisi seperti Retroactive Instance Name, Running Status, dan Node Type. Anda juga dapat menghentikan beberapa Instans Pengisian Ulang Data yang sedang berjalan sekaligus.

Lihat status instans pengisian ulang data

image

Di area ini, Anda dapat melihat informasi tentang Data Backfill Instance, termasuk:

  • Task Name: Menampilkan nama instans pengisian ulang data. Klik ikon Expand sebelum nama instans untuk menampilkan tanggal eksekusi, status eksekusi, node yang disertakan, dan detail eksekusinya.

  • Check Status: Status validasi Data Backfill Instance.

  • Running Status: Status instans, seperti Succeeded, Failed, Waiting for resources, atau Waiting for Trigger. Anda dapat memecahkan masalah berdasarkan status tersebut.

  • Nodes: Jumlah node dalam Data Backfill Instance.

  • Data Timestamp: Tanggal untuk mana Data Backfill Instance dijalankan.

  • Max Concurrent Instances: Menampilkan jumlah maksimum instans konkuren yang dikonfigurasi untuk node tersebut. Nilainya dapat berupa Unlimited atau angka spesifik dari 1 hingga 10.000. Pengaturan ini membatasi berapa banyak instans dari node yang sama yang dapat berjalan secara bersamaan, dan kuota ini dibagi antara Instans yang Dipicu Otomatis, Instans Pengisian Ulang Data, dan instans pengujian.

  • View Task Analysis Results: Lihat perkiraan jumlah instans yang akan dihasilkan, tanggal eksekusi, dan hasil validasi risiko untuk menyelesaikan masalah pemblokiran secara tepat waktu.image

  • Actions: Lakukan operasi seperti Stop, Batch Rerun, dan Reuse pada Instans Pengisian Ulang Data.

    Aksi

    Deskripsi

    Stop

    Hentikan sejumlah Instans Pengisian Ulang Data yang berada dalam status Running. Setelah melakukan aksi ini, status instans diatur menjadi Failed.

    Catatan

    Anda tidak dapat menghentikan instans yang berada dalam status Not Running, Succeeded, atau Failed.

    Batch Rerun

    Jalankan ulang Instans Pengisian Ulang Data secara batch.

    Catatan
    • Anda hanya dapat menjalankan ulang instans yang berada dalam status Succeeded atau Failed.

    • Batch rerun langsung menjalankan ulang semua instans yang dipilih sekaligus, tanpa mempertimbangkan ketergantungannya. Untuk menjalankan instans dalam urutan ketergantungan yang benar, gunakan aksi Rerun Descendent Nodes atau buat tugas Data Backfill baru.

    Reuse

    Gunakan kembali set node dari Data Backfill Task sebelumnya untuk membuat tugas baru dengan node yang sama secara cepat.

Kelola node pengisian ulang data

image

Di area ini, Anda dapat melihat informasi tentang node individual yang disertakan dalam Data Backfill Instance, termasuk:

  • Name: Klik nama node untuk melihat detail lebih lanjut.

  • Scheduling Time: Waktu eksekusi terjadwal node tersebut.

  • Start run time: Waktu saat node mulai berjalan.

  • End Time: Waktu saat node selesai berjalan.

  • Runtime: Durasi eksekusi node tersebut.

  • Actions: Lakukan operasi pada node individual, seperti melihat DAG, atau memilih untuk Stop atau Rerun node tersebut.

    Aksi

    Deskripsi

    DAG

    Lihat Directed Acyclic Graph (DAG) node tersebut untuk menganalisis Ancestor dan Descendant Node-nya. Untuk informasi lebih lanjut, lihat Introduction to DAG features.

    Stop

    Hentikan node yang berada dalam status Running. Setelah melakukan aksi ini, status node diatur menjadi Failed.

    Catatan
    • Anda tidak dapat menghentikan node yang berada dalam status Not Running, Succeeded, atau Failed.

    • Aksi ini menyebabkan instans gagal dan memblokir Descendant Node-nya dari berjalan. Sadari risikonya dan lakukan dengan hati-hati.

    Rerun

    Jalankan ulang node target.

    Catatan

    Anda hanya dapat menjalankan ulang node yang berada dalam status Succeeded atau Failed.

    More

    Rerun Descendent Nodes

    Jalankan ulang Descendant Node dari node target.

    Set as Successful

    Atur status node ini secara manual menjadi Succeeded.

    Freeze

    Atur node saat ini ke status Frozen dan hentikan penjadwalannya.

    Catatan

    Anda tidak dapat membekukan node yang berada dalam status Waiting for resources, Waiting for Scheduling Time, atau Running.

    Unfreeze

    Lanjutkan penjadwalan untuk node yang dibekukan.

    View Lineage

    Lihat graf Data Lineage node tersebut.

Pilih satu atau beberapa node dan klik Stop atau Rerun untuk menghentikan atau menjalankan ulang secara batch.

Status instance

Tipe status

Ikon status

Succeeded

1

Not Running

2

Failed

3

Running

4

Waiting

5

Frozen

6

FAQ