Auto-triggered Task adalah task yang berjalan secara otomatis sesuai jadwal. Di Operation Center, Anda dapat melihat dan mengelola task tersebut beserta konfigurasi Production Environment-nya di halaman Auto-triggered Nodes.
Informasi latar belakang
Di DataWorks, Auto-triggered Task adalah task yang dijadwalkan untuk berjalan secara otomatis. Anda dapat melihat semua task tersebut di halaman manajemen Auto-triggered Tasks. Task ini dapat dijalankan secara manual maupun otomatis. Saat menjalankan task secara manual, Anda dapat menggunakan fitur Data Backfill dan Test untuk menghasilkan Data Backfill Instance atau Test Instance guna pemrosesan data atau debugging tertentu. Auto-triggered Task yang dikonfigurasi untuk penjadwalan otomatis akan secara otomatis membuat dan menjalankan Auto-triggered Instance baru ketika kondisi tertentu terpenuhi (misalnya, setiap malam pukul 23:30, Auto-triggered Instances yang dijadwalkan berjalan keesokan harinya akan dibuat).
Perubahan pada Auto-triggered Task di Production Environment biasanya hanya memengaruhi instance yang dihasilkan setelah perubahan tersebut. Sebagian besar modifikasi pada Auto-triggered Task baru berlaku pada waktu penjadwalan berikutnya karena Auto-triggered Instances untuk hari ini telah dibuat pada pukul 23:30 hari sebelumnya. Sebaliknya, Data Backfill Instance dibuat langsung berdasarkan konfigurasi Task saat ini dan berjalan segera setelah dipicu secara manual. Untuk informasi selengkapnya tentang operasi seperti membuat, menerapkan, menjalankan, membekukan, dan menonaktifkan Task, lihat Operasi dasar untuk auto-triggered tasks.
Batasan
Hanya pengguna DataWorks Professional Edition atau edisi yang lebih tinggi yang dapat menggunakan fitur agregasi node, analisis hulu, dan analisis hilir dalam DAG (Directed Acyclic Graph). Untuk informasi selengkapnya tentang cara meningkatkan edisi DataWorks, lihat Editions.
Peringatan
Jangan melakukan operasi pada node
WorkspaceName_root. Ini adalah Node root ruang kerja. Semua Auto-triggered Task Instances bergantung pada Node ini. Jika Anda membekukan Node ini, Auto-triggered Task Instances tidak dapat berjalan.Perubahan pada Task harus diterapkan agar berlaku di Production Environment. Penerapan (deployment) bisa gagal, diblokir, atau menghasilkan versi yang tidak diharapkan. Oleh karena itu, setelah menerapkan Task, kami menyarankan Anda memverifikasi perubahan tersebut di halaman .
Periksa DAG untuk memastikan dependensi hulu dan hilir sudah benar.
Periksa detail node untuk memastikan konfigurasi parameter Task di Production Environment sesuai harapan.
Buka halaman auto-triggered nodes
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Operation Center.
Di panel navigasi kiri halaman Operation Center, pilih . Di halaman Auto-triggered Nodes, Anda dapat melihat daftar Task atau DAG.
Lihat auto-triggered tasks
Halaman Auto-triggered Nodes mencantumkan semua Task yang dijadwalkan. Anda dapat menggunakan fitur Intelligent Search dan Filter untuk menemukan Task yang diinginkan.
Mode pencarian cerdas
Fitur pencarian cerdas mengurai kueri pencarian Anda untuk dengan cepat menemukan dan menampilkan task yang sesuai.
Lakukan pencarian cerdas.
Klik tombol Intelligent Search di kotak filter. Di kotak dialog yang muncul, masukkan kueri pencarian Anda, misalnya
sort by node type, lalu tekan tombol Enter. Sistem secara otomatis akan menemukan dan menampilkan Task yang sesuai.Simpan tampilan baru.
Jika ingin menggunakan kembali kriteria pencarian tersebut, klik di bilah pencarian. Di kotak dialog Save View, masukkan View Name kustom, lalu klik Save. Anda kemudian dapat menemukan dan menggunakan tampilan baru ini dari bilah pencarian tampilan.
CatatanJika tidak lagi memerlukan tampilan ini, Anda dapat menemukannya di bilah pencarian tampilan. Arahkan kursor ke nama tampilan tersebut, klik tombol ..., lalu pilih Edit atau Delete.
Nonaktifkan pencarian cerdas.
Untuk menggunakan penyaringan kondisional guna pencarian yang lebih tepat, tekan tombol Esc atau klik tombol Disable Intelligent Search di toolbar untuk keluar dari mode pencarian cerdas.
Mode filter
Fitur filter memungkinkan Anda mempersempit daftar Task secara tepat berdasarkan kriteria tertentu.
Penyaringan sederhana.
Di toolbar, Anda dapat memilih beberapa kriteria, seperti Task Name/ID, Node Type, Expired Within Last 180 Days, dan Referenced, untuk menyaring daftar Task.
Penyaringan lanjutan.
Klik tombol Filter di kotak filter untuk menggabungkan beberapa kondisi, seperti Task Name/ID, Computing Resource Group Type, Baseline, dan Priority, guna menemukan Task yang diinginkan secara tepat.
Node yang dibekukan tidak dijadwalkan secara otomatis. Node tersebut menghasilkan Instance yang berstatus beku, tidak berjalan, dan memblokir dependensi hilirnya.
Node yatim (orphaned) adalah Node yang tidak memiliki Node induk. Jenis Node ini tidak dijadwalkan untuk berjalan secara otomatis. Jika Node yatim memiliki banyak dependensi hilir, eksekusi Task hilirnya akan terpengaruh. Untuk informasi selengkapnya, lihat Tangani node yatim.
Node kedaluwarsa adalah Node yang berada di luar periode validitasnya. Node tersebut tidak menghasilkan Instance dan tidak berjalan.
Operasi Tugas yang Dipicu Secara Otomatis
Operasi single-task
Untuk mengoperasikan satu Auto-triggered Task, temukan task tersebut di daftar dan gunakan opsi di kolom Actions. Opsi yang tersedia dijelaskan dalam tabel berikut.
Fitur | Deskripsi | |
DAG | DAG menampilkan dependensi hulu dan hilir dari Auto Triggered Task. Anda dapat melakukan operasi pada Task di dalam DAG. Untuk informasi selengkapnya, lihat Lihat DAG auto-triggered task. | |
Test | Memverifikasi apakah Auto Triggered Task berjalan sesuai harapan. Saat melakukan pengujian, Test Instance akan dibuat. Anda dapat melihat status pengujian di halaman Test Instances. Untuk informasi selengkapnya, lihat Jalankan pengujian dan lihat test instance. Catatan Pengujian juga menghasilkan data bisnis. Gunakan fitur ini dengan hati-hati. | |
Data Backfill | Menjalankan Task untuk rentang waktu historis atau masa depan. Saat melakukan pengisian ulang data, Data Backfill Instance akan dibuat. Anda dapat melihat status task pengisian ulang di halaman Data Backfill Instance. Untuk informasi selengkapnya, lihat Lihat dan kelola data backfill instances. | |
More | Freeze | Anda dapat membekukan Task jika Task tersebut dan Task hilirnya tidak perlu berjalan untuk sementara waktu. Auto Triggered Task yang dibekukan akan menghasilkan Instance yang juga berstatus beku. Instance yang dibekukan tidak berjalan dan memblokir dependensi hilirnya. Catatan Jangan melakukan operasi pada Node |
Unfreeze | Mengembalikan Auto Triggered Task yang dibekukan ke status aktif. | |
Change Owner | Mengubah Pemilik Task saat ini. | |
Modify Scheduling Resource Group | Memodifikasi Scheduling Resource Group yang digunakan untuk menjalankan Task. | |
Modify Tag | Memodifikasi, menambahkan, atau melepas Tag pada aset Task. Untuk mengelola semua Tag secara terpusat, buka halaman Tag Management. | |
Configure Data Quality Rules | Mengonfigurasi aturan Kualitas Data untuk Task saat ini guna memvalidasi data selama waktu proses. Untuk informasi selengkapnya, lihat Ikhtisar kualitas data. | |
View Instances | Klik untuk membuka halaman Auto-triggered Instances untuk Task saat ini. | |
View Lineage | Menampilkan Data Lineage untuk Task saat ini. | |
View Cycle Task Details | Menampilkan properti dasar Task. Untuk informasi selengkapnya tentang parameter-parameter tersebut, lihat Lihat detail node. | |
Add Alert Rule | Menyesuaikan aturan alert untuk membantu Anda memantau status harian Auto Triggered Task. Setelah dikonfigurasi, Anda dapat melihat aturan yang ditambahkan di halaman . Untuk informasi selengkapnya, lihat Kelola aturan alert kustom. | |
Add Baseline | Menambahkan Task saat ini ke Baseline untuk pemantauan. Untuk informasi selengkapnya tentang penggunaan Baseline, lihat Ikhtisar. | |
Operasi batch
Untuk mengoperasikan beberapa Auto-triggered Task sekaligus, pilih task tersebut di daftar, lalu gunakan operasi massal seperti Freeze atau Unfreeze dari opsi yang muncul di bawah daftar.
Lihat DAG task
Klik DAG di kolom Actions untuk sebuah Task guna membuka halaman detail DAG-nya.
Fitur panel DAG
Di halaman detail DAG, Anda dapat menggunakan fitur-fitur berikut di panel DAG untuk mengagregasi Node, melakukan analisis hilir, dan menyesuaikan gaya tampilan DAG.
Fitur | Deskripsi | |
| Anda dapat mengklik ikon-ikon ini di pojok kiri atas untuk mengagregasi Node berdasarkan dimensi berikut:
| |
| Saat jumlah Task atau tingkat hierarki terlalu banyak, Anda dapat menggunakan fitur Downstream analysis untuk menghitung jumlah Task hilir yang terpengaruh oleh Task saat ini. | |
| Anda dapat mengklik ikon-ikon ini di pojok kanan atas untuk menyesuaikan gaya tampilan DAG. | |
Operasi DAG
Di halaman detail DAG, Anda dapat mengklik kanan sebuah node di DAG untuk melakukan beberapa operasi. Operasi yang tersedia adalah sebagai berikut:
Show Ancestor Nodes: Memperluas Task hulu dari Task saat ini berdasarkan level, hingga enam level ke atas. Gunakan ini untuk memahami Task mana yang memengaruhi output data Task saat ini.
Show Descendant Nodes: Memperluas Task hilir dari Task saat ini berdasarkan level, hingga enam level ke bawah. Gunakan ini untuk memahami Task mana yang terpengaruh oleh output data Task saat ini.
View Code: Menampilkan kode Task saat ini di Production Environment. Jika kode tidak sesuai harapan, pastikan versi terbaru Task telah berhasil diterapkan. Untuk informasi tentang cara menerapkan Task ke Production Environment, lihat Deploy tasks.
Edit Node: Membuka Task saat ini di DataStudio.
Untuk operasi lainnya, lihat Operasi pada auto-triggered tasks.
Lihat detail node
Anda dapat memeriksa apakah parameter penjadwalan, Resource Groups, dan kode Task di Production Environment sudah benar. Untuk melakukannya, Anda dapat melihat properti terperinci, parameter konteks, log operasi, dan kode-nya.
Di halaman detail DAG, klik sebuah Node di DAG. Di panel informasi yang muncul, klik Expand details untuk melihat informasi berikut.
Fitur | Deskripsi |
General | Anda dapat melihat properti penjadwalan Task di Production Environment. Untuk informasi selengkapnya tentang parameter di UI, lihat Konfigurasikan properti penjadwalan. Catatan Jika konfigurasi parameter di DataStudio tidak sesuai dengan yang ada di Operation Center, pastikan terlebih dahulu bahwa perubahan Task telah berhasil diterapkan.
|
Operation Log | Menampilkan riwayat operasi untuk Task, termasuk waktu, operator, dan aksi spesifik. |
Code | Menampilkan kode terbaru untuk Task saat ini di Production Environment. Jika kode tidak sesuai harapan, pastikan versi terbaru Task telah berhasil diterapkan. Untuk informasi selengkapnya, lihat Deploy tasks. |