Pemantauan tugas di DataWorks - DataWorks - Alibaba Cloud Documentation Center

Konfigurasikan aturan kustom untuk memantau status tugas dan penggunaan resource, gunakan garis dasar cerdas untuk memastikan data dihasilkan tepat waktu dalam skenario dependensi yang kompleks, serta buat aturan O&M guna mengotomatiskan operasi kelompok sumber daya.

Fitur

Tabel berikut menjelaskan fitur pemantauan.

Feature	Description
Intelligent baseline	Garis dasar cerdas mendeteksi anomali yang dapat menunda penyelesaian tugas, memberikan peringatan dini, dan memastikan data dihasilkan tepat waktu dalam skenario dependensi yang kompleks. Buat dan kelola garis dasar. Manage baselines. Lihat status instans garis dasar. Manage baseline instances. Lihat peringatan event. Manage events.
Rule management	Anda dapat mengelola aturan global pada halaman Monitoring and Alerting > Rule Management. Anda juga dapat membuat aturan pemantauan kustom berdasarkan kebutuhan bisnis Anda. Aturan global: Aturan peringatan bawaan (berbeda dari aturan tingkat workspace) memantau status node auto triggered untuk mencegah gangguan penjadwalan. Monitor the status of auto triggered nodes. Aturan pemantauan kustom: Saat DataWorks menjadwalkan node auto triggered secara berkala, sistem menghasilkan instans node auto triggered. DataWorks memungkinkan Anda mengonfigurasi aturan pemantauan kustom untuk Auto Triggered Node guna memantau status berjalan instans. Monitor the running status of auto triggered node instances. Anda dapat membuat aturan kustom dan mengatur Rule Object menjadi Real-time Computing Node untuk memantau status berjalan. Monitor the running status of real-time compute tasks. Anda dapat membuat aturan kustom dan mengatur Object Type menjadi Exclusive Resource Group for Data Integration atau Exclusive Resource Group for Scheduling untuk memantau penggunaan. Monitor resource usage.
Alerts	Lihat peringatan dari aturan kustom, aturan global, dan garis dasar cerdas pada halaman Monitoring and Alerting > Alerts.
Shift schedule	Tentukan jadwal shift pada halaman Monitoring and Alerting > Shift Schedule. Pilih jadwal saat mengonfigurasi aturan pemantauan agar peringatan dialihkan ke insinyur yang bertugas. Catatan Jadwal shift menentukan insinyur utama dan cadangan yang bertugas. Peringatan dikirim ke insinyur utama secara default. Setelah dua peringatan untuk masalah yang sama, peringatan ketiga dan seterusnya dikirim ke kedua insinyur tersebut.
Automated O&M	Buat aturan O&M untuk kelompok sumber daya eksklusif dan asosiasikan dengan aturan pemantauan. Saat suatu aturan dipicu, sistem secara otomatis melakukan O&M pada tugas yang berjalan di kelompok sumber daya target dan sesuai dengan Filter Conditions. Catatan Saat ini, aturan O&M hanya dapat diasosiasikan dengan aturan pemantauan untuk resource penjadwalan.

Pemantauan status tugas

Objek yang dipantau

Aturan pemantauan (aturan kustom dan garis dasar cerdas) mencakup status node auto triggered, status instans node auto triggered, status tugas komputasi real-time, dan penggunaan resource.

Memantau status node auto triggered

Setiap malam, DataWorks menghasilkan Scheduled Instance untuk hari berikutnya berdasarkan Auto Triggered Node. Untuk memastikan instans tersebut dihasilkan dan berjalan sesuai harapan, DataWorks menyediakan aturan peringatan global bawaan (bukan tingkat workspace) untuk memantau status Auto Triggered Node. Jika terjadi anomali, sistem secara otomatis mengirim peringatan. Peringatan dipicu untuk Isolated Nodes dan Node Dependency Loop.

Rule type	Monitored object	Trigger condition	Description
Global rule	isolated node: Node tanpa dependensi induk.	Peringatan dipicu secara otomatis saat node terisolasi terdeteksi. Segera selesaikan masalah tersebut. Catatan Setiap node auto triggered, kecuali node root workspace, harus memiliki dependensi induk agar dapat dijadwalkan dan dijalankan. Node terisolasi tidak akan berjalan secara otomatis dan dapat menyebabkan masalah serius jika memiliki banyak dependensi downstream.	DataWorks memindai status node auto triggered setiap hari pukul 09.00, 12.00, dan 16.00. Jika ditemukan anomali seperti node terisolasi atau loop dependensi, sistem mengirim peringatan. Anomali yang terjadi dalam 10 menit sebelum pemindaian akan diproses pada siklus berikutnya. Aturan global merupakan aturan bawaan. Secara default, peringatan dikirim ke pemilik node melalui pesan teks dan email. Ubah penerima peringatan pada halaman Rule Management. Anda dapat menonaktifkan aturan peringatan global pada halaman Rule Management.
Global rule	node dependency loop: Node yang merupakan tugas upstream tetapi juga bergantung pada salah satu tugas downstream-nya sendiri, sehingga membentuk dependensi melingkar.	Peringatan dipicu secara otomatis saat loop dependensi terdeteksi. Segera selesaikan masalah tersebut. Catatan Penjadwal otomatis tidak akan menjalankan node yang berada dalam loop dependensi.

Memantau status berjalan instans node auto triggered

Node auto triggered menghasilkan instans saat dijadwalkan secara berkala. Konfigurasikan aturan pemantauan kustom untuk Auto Triggered Node guna memantau status berjalan Scheduled Instance-nya. Ini mencakup peringatan berbasis aturan kustom untuk objek tertentu dan peringatan garis dasar cerdas untuk peringatan proaktif pada tugas penting.

Rule type	Monitored object	Trigger condition
Custom rule	Tugas dalam Node, Baseline, Workspace, atau Workflow tertentu.	Peringatan dipicu saat tugas berstatus Complete, Incomplete, mengalami Error, Incomplete in Cycle, mengalami Timeout, atau mengalami Error Persisting After Automatic Rerun of Node. Saat tipe objek adalah Workspace, kondisi pemicu tambahan mencakup Instance Generated dan Fluctuation of Instance Count.
Intelligent baseline	Cakupan pemantauan mencakup tugas dalam garis dasar dan semua dependensi upstream-nya. Catatan Anda dapat mengatur prioritas garis dasar untuk memastikan tugas di dalamnya berjalan tepat waktu dan menghasilkan data sesuai harapan. Jika suatu tugas bersifat kritis dan memiliki dependensi upstream yang kompleks, Anda dapat menambahkannya ke garis dasar untuk memastikan stabilitasnya.	Peringatan garis dasar: Saat sistem memprediksi bahwa tugas garis dasar tidak akan selesai dalam waktu yang dijanjikan, sistem mengirim peringatan garis dasar berdasarkan metode notifikasi yang dikonfigurasi. Core logic: baseline alerts. Event Alerts: Event dihasilkan dan peringatan dikirim jika tugas garis dasar atau tugas upstream gagal, atau jika tugas pada jalur kritis mengalami perlambatan. Manage events.

Memantau status berjalan tugas komputasi real-time
- Jenis aturan: Aturan Kustom.
- Objek yang dipantau: Tugas komputasi real-time.
- Kondisi pemicu: Peringatan dipicu saat tugas mengalami Error.
Memantau penggunaan resource
- Tipe aturan: Custom rule.
- Objek yang dipantau: exclusive resource group for scheduling, exclusive resource group for Data Integration.
- Kondisi pemicu:
  - Peringatan dipicu jika Usage kelompok sumber daya melebihi nilai tertentu selama durasi tertentu.
  - Peringatan dipicu jika Number of Instances Waiting for Resources in Resource Group dalam kelompok sumber daya melebihi nilai tertentu selama durasi tertentu.

Metode notifikasi

Saat aturan pemantauan dipicu, platform mengirim notifikasi melalui email, pesan teks, panggilan telepon, atau pesan grup DingTalk.

Rule type	Notification method	Alerting frequency control
Custom rules, global rules, dan intelligent baselines	Beritahu pengguna tertentu: Anda dapat mengirim peringatan melalui Email, SMS, dan phone call kepada pemilik node, pengguna lain yang ditentukan, atau insinyur yang bertugas dari jadwal shift.Notifikasi panggilan telepon hanya tersedia untuk nomor ponsel di Tiongkok daratan. Beritahu grup: Mendukung DingTalk Chatbot dan Webhook. Catatan DataWorks Edisi Dasar mendukung pengiriman peringatan ke grup DingTalk, Feishu, dan WeCom menggunakan webhook grup. Selain fitur yang tersedia di Edisi Dasar, DataWorks Edisi Perusahaan mendukung konfigurasi webhook kustom untuk menerima peringatan. Jika Anda perlu menggunakan webhook kustom, klik tautan aplikasi untuk bergabung dengan grup komunikasi Alibaba Cloud Big Data & AI Platform. Kemudian, pindai kode QR untuk bergabung ke grup produk DataWorks di DingTalk guna konsultasi pra-penjualan dan purna-jual. Di sana, Anda dapat menyebut chatbot cerdas atau menghubungi staf yang bertugas selama jam layanan..	Anda dapat mengontrol frekuensi peringatan dengan mengatur Maximum Alerts, Minimum Alert Interval, dan Alerting Do-Not-Disturb Period. Catatan Maximum Alerts: Jumlah maksimum peringatan yang dapat dikirim. Setelah batas ini tercapai, tidak ada lagi peringatan yang dihasilkan. Minimum Alert Interval: Waktu minimum antara dua peringatan berturut-turut. Jika tugas kembali normal selama interval ini, peringatan berikutnya tidak akan dipicu. Quiet Hours: Sistem tidak mengirim peringatan selama periode yang ditentukan. Misalnya, jika Anda mengonfigurasi peringatan untuk dipicu saat tugas mengalami Timeout, mengalami Error, atau berstatus Incomplete, dan menetapkan Quiet Hours dari `00:00` hingga `08:00`, tidak ada peringatan yang dikirim selama periode tersebut. Jika tugas masih dalam kondisi abnormal pada pukul 08.00, peringatan akan dikirim.

O&M resource otomatis

O&M otomatis menggunakan aturan pemantauan dan O&M yang telah dikonfigurasi sebelumnya untuk mengelola tugas secara otomatis.

Kondisi pemicu: Aturan pemantauan terkait dipicu.
Catatan
- Pemantauan saat ini didukung untuk Resource Group Usage dan number of instances waiting for resources in a resource group.
- O&M otomatis saat ini hanya didukung untuk exclusive resource group for scheduling.
Instans target: O&M otomatis dilakukan pada instans yang sesuai dengan Filter Conditions seperti instance Type, siklus penjadwalan instans, Priority instans, Status instans, dan Workspace instans tersebut.
Aksi O&M: Menghentikan instans yang sedang berjalan.

Catatan
Anda dapat menghentikan maksimal 2.000 instans sekaligus.

Diagnosis peringatan tugas

Lihat informasi peringatan tugas dalam DAG atau pada halaman Run Diagnosis.

Lihat dalam DAG tugas

Jika sebuah instans memicu peringatan pemantauan dalam 24 jam terakhir, buka halaman Auto Triggered Task O&M > Scheduled Instance. Buka DAG untuk instans tersebut dan klik ikon peringatan merah (Area ② pada gambar) di pojok kanan atas instans. Panel Monitoring Details akan muncul, menampilkan daftar aturan atau garis dasar yang memantau tugas tersebut beserta status pemicunya. Anda dapat mengklik View Alert Content di pojok kanan atas untuk melihat detail peringatan pada halaman Alerts, atau mengklik Rule/Baseline Name untuk melihat detail konfigurasinya.

Catatan
Anda dapat memilih kotak centang Nodes that generated alarms in the past 24 hours (Area ① pada gambar) untuk memfilter instans.
Lihat pada halaman Run Diagnosis

Untuk tugas yang telah dikonfigurasi dengan peringatan pemantauan, Anda juga dapat mengklik View Details di area notifikasi pada halaman Intelligent Diagnostics. Pada jendela Monitoring Details yang muncul, ditampilkan daftar aturan atau garis dasar yang memantau tugas saat ini beserta status pemicu masing-masing. Anda dapat mengklik View Alert Content di pojok kanan atas untuk menuju halaman Alert Information dan melihat detail peringatan, atau mengklik Rule/Baseline Name untuk menuju halaman konfigurasi aturan tersebut dan melihat detail konfigurasinya.
Lihat pada halaman Alerts

Lihat semua peringatan dari modul pemantauan cerdas pada halaman Alerts. Detail peringatan menunjukkan proses pemicu, termasuk aturan, kondisi, dan alasan peringatan tersebut.