Monitor Auto-Triggered Node dan Pastikan Reliabilitas Pipeline DAG - DataWorks - Alibaba Cloud - DataWorks

Tugas terjadwal adalah tugas yang berjalan secara otomatis berdasarkan pengaturan jadwalnya. Di halaman Tugas Terjadwal di Operation Center, Anda dapat melihat daftar tugas terjadwal di ruang kerja Anda, memeriksa konfigurasinya di lingkungan produksi, dan melakukan operasi manajemen.

Latar Belakang

Di DataWorks, tugas terjadwal adalah tugas yang berjalan secara otomatis sesuai jadwalnya. Anda dapat melihat semua tugas terjadwal di halaman manajemen Tugas Terjadwal. Tugas-tugas ini dapat dijalankan secara otomatis sesuai jadwal atau secara manual berdasarkan permintaan. Untuk menjalankan tugas secara manual, Anda dapat menggunakan fitur pengisian ulang data dan test untuk menghasilkan instans pengisian ulang atau instans test guna pemrosesan data atau debugging tertentu. Untuk tugas yang dijadwalkan secara otomatis, sistem membuat dan menjalankan instans terjadwal baru ketika kondisi pemicunya terpenuhi. Misalnya, pada pukul 22:00 setiap malam, sistem menghasilkan instans terjadwal untuk hari berikutnya.

Perubahan yang dilakukan pada tugas terjadwal di lingkungan produksi biasanya memengaruhi instans yang dihasilkan setelah perubahan tersebut diterapkan. Sebagian besar modifikasi pada tugas terjadwal berlaku pada waktu eksekusi terjadwal berikutnya karena instans terjadwal untuk hari ini dihasilkan pada pukul 22:00 hari sebelumnya. Sebaliknya, instans pengisian ulang data dihasilkan segera berdasarkan konfigurasi tugas saat ini dan berjalan begitu dipicu secara manual. Untuk operasi O&M terperinci seperti membuat, menerapkan, menjalankan, menjeda penjadwalan, dan mencabut penerapan tugas, lihat Operasi O&M dasar untuk tugas terjadwal.

Batasan

Hanya pengguna DataWorks Edisi Profesional atau edisi yang lebih tinggi yang dapat menggunakan fitur agregasi node, analisis hulu, dan analisis hilir di tampilan DAG. Untuk informasi selengkapnya tentang peningkatan edisi, lihat Pilih edisi dan metode penagihan.

Catatan

Jangan melakukan operasi pada node workspace-name_root. Ini adalah node akar ruang kerja. Semua instans terjadwal bergantung pada node ini. Jika Anda membekukan node ini, instans terjadwal tidak dapat berjalan.
Semua perubahan pada tugas harus diterapkan agar berlaku di lingkungan produksi. Penerapan dapat gagal, diblokir, atau menghasilkan versi yang tidak diharapkan. Oleh karena itu, setelah menerapkan tugas, buka halaman Operation Center > Auto Triggered Node untuk memverifikasi perubahan:
- Gunakan DAG untuk memeriksa apakah dependensi hulu dan hilir tugas sudah benar.
- Gunakan informasi node untuk memeriksa apakah konfigurasi parameter tugas di lingkungan produksi sesuai harapan.

Buka halaman tugas terjadwal

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Operation Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.
Setelah masuk ke Operation Center, di panel navigasi kiri, klik Auto Triggered Task O&M > Auto Triggered Node. Di halaman Auto Triggered Node, lihat daftar tugas terjadwal atau DAG.

Lihat tugas terjadwal

Daftar tugas terjadwal menampilkan tugas yang telah dikirim ke sistem penjadwalan. Anda dapat menggunakan Smart Search atau Filter untuk menemukan tugas yang ingin dilihat.

Mode pencarian cerdas

Dengan fitur pencarian cerdas untuk tugas terjadwal, Anda hanya perlu memasukkan konten pencarian, dan sistem akan secara otomatis menguraikannya serta dengan cepat menyaring daftar tugas yang ingin Anda lihat.

Lakukan pencarian cerdas.

Klik tombol Smart Search di bilah filter tugas terjadwal. Di dialog yang muncul, masukkan konten yang ingin Anda cari, misalnya Sort by task type, lalu tekan Enter untuk mengonfirmasi. Sistem secara otomatis mencocokkan dan menampilkan tugas yang relevan.
Simpan tampilan baru.

Jika Anda ingin menggunakan kembali kriteria pencarian dari pencarian cerdas nanti, klik Unsaved View > Save as New View di bilah pencarian. Di dialog Save View, tentukan View Name kustom, lalu klik Save. Anda kemudian dapat menemukan dan menggunakan tampilan baru tersebut di bilah pencarian tampilan untuk pencarian tugas di masa mendatang.

Catatan
Jika Anda tidak lagi ingin menggunakan tampilan baru tersebut untuk pencarian tugas, temukan nama tampilan yang Anda buat di bilah pencarian tampilan. Arahkan kursor ke nama tampilan tersebut dan klik tombol ... di sebelah kanan, lalu pilih Modify atau Delete tampilan tersebut.
Tutup pencarian cerdas.

Jika Anda perlu melakukan pencarian tepat menggunakan kondisi filter, tekan Esc atau klik tombol Close Smart Search di bilah alat tugas untuk keluar dari mode pencarian cerdas.

Mode filter

Dengan fitur filter untuk tugas terjadwal, Anda dapat menggunakan kondisi filter yang tersedia untuk menyaring daftar tugas yang Anda butuhkan secara tepat.

Filter sederhana.

Di bilah alat, Anda dapat memilih beberapa kondisi filter satu per satu berdasarkan Task Name/Task ID, Task type, Expired Within Last 180 Days, Referenced, dan kriteria lainnya untuk menyaring tugas yang ingin Anda lihat.
Filter lanjutan.

Klik tombol Filter di bilah filter tugas terjadwal. Anda dapat menggabungkan beberapa kondisi seperti Task Name/Task ID, Compute Engine Type, Baseline, dan Priority untuk menemukan tugas yang Anda butuhkan secara tepat.

Catatan

Node yang dijeda (dibekukan): Tugas yang dibekukan tidak dijadwalkan secara otomatis dan memblokir tugas hilirnya agar tidak berjalan. Secara khusus, tugas terjadwal yang dijeda (dibekukan) menghasilkan instans yang dibekukan, dan instans yang dibekukan tidak dijadwalkan untuk berjalan serta memblokir tugas hilirnya agar tidak berjalan.
Node yatim: Node yatim adalah tugas yang tidak bergantung pada node induk apa pun. Tugas jenis ini tidak dijadwalkan secara otomatis. Jika node yatim memiliki banyak dependensi hilir, hal ini memengaruhi jalannya tugas hilir. Untuk informasi selengkapnya, lihat Handle orphan nodes.
Node kedaluwarsa: Node yang berada di luar periode validitasnya tidak menghasilkan instans dan tidak berjalan.

Kelola tugas terjadwal

Kelola tugas individual

Untuk mengelola tugas terjadwal tertentu, temukan tugas tersebut di daftar tugas terjadwal dan gunakan fitur yang sesuai di kolom Actions. Tabel berikut menjelaskan fitur yang tersedia:

Fitur		Deskripsi
DAG		DAG menampilkan dependensi hulu dan hilir tugas terjadwal. Anda dapat melakukan operasi terkait pada tugas di DAG. Untuk informasi selengkapnya, lihat View the DAG of a scheduled task.
Test		Digunakan untuk menguji apakah tugas terjadwal berjalan sesuai harapan. Setelah Anda melakukan pengujian, instans test dihasilkan. Anda dapat melihat status berjalan tugas test di halaman Test Instance. Untuk informasi selengkapnya, lihat Test instances. Catatan Eksekusi test juga menghasilkan data bisnis. Lakukan dengan hati-hati.
Run		Digunakan untuk mengisi ulang data historis atau data untuk periode waktu mendatang. Setelah Anda melakukan operasi pengisian ulang data, instans pengisian ulang dihasilkan. Anda dapat melihat status berjalan tugas pengisian ulang data di halaman Data Backfill Instance. Untuk informasi selengkapnya, lihat Backfill data instances.
More	Freeze	Ketika tugas dan tugas hilirnya tidak perlu berjalan dalam periode tertentu, Anda dapat menjeda (membekukan) tugas tersebut. Tugas terjadwal yang dibekukan menghasilkan instans yang dibekukan. Instans yang dibekukan tidak dieksekusi dan memblokir eksekusi tugas hilirnya. Catatan Jangan melakukan operasi pada node `workspace-name_root`. Ini adalah node akar ruang kerja. Semua instans terjadwal bergantung pada node ini. Jika Anda membekukan node ini, instans terjadwal tidak dapat berjalan.
	Unfreeze	Digunakan untuk membuka pembekuan tugas terjadwal yang dibekukan.
	Change Owner	Digunakan untuk mengubah pemilik tugas saat ini.
	Modify Scheduling Resource Group	Digunakan untuk mengubah kelompok sumber daya penjadwalan yang digunakan oleh tugas terjadwal.
	Modify label	Anda dapat memodifikasi, menambahkan, atau melepas asosiasi tag untuk aset tugas terjadwal. Untuk mengelola tag secara terpusat, buka Tag management.
	Configure Data Quality Rules	Digunakan untuk mengonfigurasi aturan pemantauan kualitas data untuk tugas saat ini. Saat tugas berjalan, data divalidasi terhadap aturan tersebut. Untuk informasi selengkapnya, lihat Data Quality overview.
	View Instances	Klik opsi ini untuk membuka halaman Scheduled Instance yang menampilkan instans yang dihasilkan oleh tugas saat ini.
	View Lineage	Digunakan untuk melihat informasi lineage tugas saat ini.
	View cycle task details	Digunakan untuk melihat properti dasar tugas. Untuk informasi selengkapnya tentang parameter terkait, lihat View node details.
	Add Alert Rule	Digunakan untuk mengonfigurasi aturan peringatan kustom guna membantu Anda memantau status berjalan harian tugas terjadwal. Setelah konfigurasi selesai, Anda dapat melihat aturan pemantauan yang ditambahkan di halaman Perform Intelligent Monitoring > Rule Management. Untuk informasi selengkapnya, lihat Configure monitoring rules.
	Add to Baseline Monitoring	Digunakan untuk menambahkan tugas saat ini ke baseline. Untuk informasi selengkapnya tentang baseline, lihat Intelligent baseline overview.

Operasi batch tugas

Untuk melakukan operasi batch pada tugas terjadwal, pilih tugas yang diinginkan di daftar tugas terjadwal dan gunakan opsi di bawah daftar, seperti Freeze dan Unfreeze.

Lihat DAG tugas terjadwal

Klik tombol DAG di kolom Actions tugas terjadwal untuk membuka halaman detail DAG tugas tersebut.

Fitur panel DAG

Di halaman detail DAG tugas terjadwal, Anda dapat menggunakan fitur berikut untuk mengagregasi node, menganalisis tugas hilir, dan menyesuaikan gaya tampilan DAG di panel DAG.

Fitur		Deskripsi
		Anda dapat mengklik ikon fitur di pojok kiri atas sesuai kebutuhan untuk mengagregasi informasi node berdasarkan dimensi berikut: Not Aggregate. Aggregate by Workspace. Aggregate by Owner. Aggregate by Priority.



		Ketika terdapat terlalu banyak tugas terjadwal atau terlalu banyak level, Anda dapat menggunakan fitur Downstream Analysis untuk menghitung jumlah tugas hilir yang dipengaruhi oleh tugas saat ini.
		Anda dapat mengklik ikon fitur di pojok kanan atas sesuai kebutuhan untuk menyesuaikan gaya tampilan DAG.

Operasi DAG

Di halaman detail DAG tugas terjadwal, klik kanan node di alur kerja untuk melihat dependensi hulu dan hilirnya, detail kode, serta informasi terkait lainnya. Operasi yang tersedia adalah sebagai berikut:

Show Ancestor Nodes: Memperluas tugas hulu tugas saat ini berdasarkan level. Maksimal 6 level dapat diperluas. Anda dapat menggunakan fitur ini untuk mengidentifikasi tugas mana yang memengaruhi output data tugas saat ini.
Show Descendent Nodes: Memperluas tugas hilir tugas saat ini berdasarkan level. Maksimal 6 level dapat diperluas. Anda dapat menggunakan fitur ini untuk mengidentifikasi tugas mana yang dipengaruhi oleh output data tugas saat ini.
View Code: Digunakan untuk memeriksa detail kode tugas saat ini di lingkungan produksi. Jika kode tidak sesuai harapan, verifikasi apakah versi terbaru tugas telah berhasil diterapkan. Untuk informasi tentang menerapkan tugas produksi, lihat Deploy tasks.
Edit Node: Klik opsi ini untuk membuka halaman Data Studio dan membuka tugas saat ini.

Catatan

Untuk operasi lainnya, lihat Manage scheduled tasks.

Lihat informasi node

Anda dapat melihat properti tugas dan memperluas detailnya untuk melihat atribut terperinci, parameter konteks, log operasi, dan kode guna memverifikasi apakah parameter penjadwalan, kelompok sumber daya, dan kode di lingkungan produksi sesuai harapan. Prosedurnya sebagai berikut:

Di halaman detail DAG tugas terjadwal, klik node di alur kerja. Di informasi node yang muncul, klik expand details untuk melihat informasi terkait di tab-tab berikut.

Fitur	Deskripsi
Property	Anda dapat melihat pengaturan jadwal tugas di lingkungan produksi. Untuk informasi selengkapnya tentang parameter, lihat Schedule settings. Catatan Jika konfigurasi parameter di halaman Data Studio dan halaman tugas terjadwal di Operation Center tidak konsisten, verifikasi apakah perubahan tugas telah berhasil diterapkan. Aturan pemantauan: Anda dapat melihat aturan pemantauan yang terkait dengan instans saat ini. Klik Create di sebelah kanan untuk membuat aturan pemantauan secara cepat untuk status berjalan tugas. Untuk informasi selengkapnya, lihat Configure monitoring rules. Catatan Hanya detail aturan yang memantau status berjalan tugas yang dapat dilihat di sini. Aturan pemantauan kualitas data tidak ditampilkan. Pemantauan baseline: Anda dapat melihat baseline yang terkait dengan instans saat ini. Klik Create di sebelah kanan untuk membuat baseline secara cepat. Untuk informasi selengkapnya, lihat Intelligent baseline overview. Catatan Aturan baseline ditampilkan di halaman tugas terjadwal pada hari berikutnya setelah konfigurasi. Untuk memverifikasi apakah aturan baseline berhasil dibuat pada hari yang sama, buka halaman Intelligent Baselines > Baselines. Maksimum instans konkuren: Menampilkan jumlah maksimum instans konkuren yang dikonfigurasi untuk tugas. Nilainya adalah Tanpa Batas atau angka tertentu (1 hingga 10000). Pengaturan ini membatasi jumlah maksimum instans tugas yang sama yang dapat berjalan secara bersamaan. Cakupannya mencakup instans terjadwal, instans pengisian ulang data, dan instans test.
Operation Log	Digunakan untuk melihat catatan operasi tugas, termasuk waktu operasi, operator, dan operasi spesifik.
Code	Digunakan untuk melihat kode terbaru tugas saat ini di lingkungan produksi. Jika kode tidak sesuai harapan, verifikasi apakah versi terbaru tugas telah berhasil diterapkan. Untuk informasi selengkapnya, lihat Deploy tasks.