Pemantauan Tugas - DataWorks

Fitur Alarm memungkinkan Anda mengonfigurasi aturan peringatan kustom untuk memantau status dan penggunaan sumber daya node. Fitur ini juga mendukung konfigurasi baseline cerdas guna memastikan bahwa data yang dihasilkan sesuai harapan dalam skenario dengan dependensi antar-node yang kompleks. Selain itu, Anda dapat mengonfigurasi aturan O&M kustom untuk grup sumber daya berdasarkan kebutuhan bisnis, sehingga memungkinkan O&M otomatis pada instance node yang dijalankan di grup tersebut.

Modul

Tabel berikut menjelaskan modul-modul yang disediakan oleh fitur Alarm.

Modul	Deskripsi
Baseline Cerdas	Baseline memungkinkan DataWorks mengidentifikasi pengecualian yang mencegah node dalam baseline selesai sesuai jadwal dan mengirimkan pemberitahuan peringatan kepada Anda tentang pengecualian tersebut secepat mungkin. Ini memastikan bahwa data yang ingin Anda peroleh dihasilkan sesuai harapan dalam skenario di mana dependensi antar node dalam baseline kompleks. Di halaman Baseline Cerdas, Anda dapat melakukan operasi berikut: Membuat dan mengelola baseline. Untuk informasi lebih lanjut, lihat Kelola baseline. Menampilkan instance baseline dan detail instance baseline tertentu. Untuk informasi lebih lanjut, lihat Kelola instance baseline. Menampilkan acara dan detail acara tertentu. Untuk informasi lebih lanjut, lihat Kelola acara.
Manajemen Aturan	Di panel navigasi kiri halaman Pusat Operasi, pilih Alarm > Rule Management. Di halaman yang muncul, Anda dapat mengelola aturan peringatan global dan mengonfigurasi aturan peringatan kustom berdasarkan kebutuhan bisnis Anda. Aturan peringatan global: DataWorks menyediakan aturan peringatan global bawaan untuk memantau status node yang dipicu otomatis. Ini mencegah pengecualian yang terjadi pada node yang dipicu otomatis memengaruhi penjadwalan dan pelaksanaan instance node yang dipicu otomatis. Aturan peringatan global bawaan bukanlah aturan peringatan tingkat ruang kerja. Untuk informasi lebih lanjut, lihat Pemantauan status node yang dipicu otomatis. Aturan peringatan kustom: Di DataWorks, instance node yang dipicu otomatis dihasilkan ketika node yang dipicu otomatis dijadwalkan secara berkala. Anda dapat mengonfigurasi aturan peringatan kustom untuk auto triggered nodes untuk memantau status instance node yang dipicu otomatis. Untuk informasi lebih lanjut, lihat Pemantauan status instance node yang dipicu otomatis. Anda dapat mengonfigurasi aturan peringatan kustom untuk node komputasi real-time untuk memantau status node tersebut. Saat mengonfigurasi aturan peringatan kustom untuk node komputasi real-time, Anda harus menetapkan parameter Object menjadi Real-time Computing Nodes. Untuk informasi lebih lanjut, lihat Pemantauan status node komputasi real-time. Anda dapat mengonfigurasi aturan peringatan kustom untuk grup sumber daya eksklusif untuk memantau penggunaan sumber daya grup sumber daya eksklusif tersebut. Saat mengonfigurasi aturan peringatan kustom untuk grup sumber daya eksklusif, Anda harus menetapkan parameter Object Type menjadi Exclusive Resource Groups for Data Integration atau Exclusive Resource Groups for Scheduling. Untuk informasi lebih lanjut, lihat Penggunaan Sumber Daya.
Manajemen Peringatan	Di panel navigasi kiri halaman Pusat Operasi, pilih Alarm > Alert Management. Di halaman yang muncul, Anda dapat melihat peringatan, termasuk peringatan yang dihasilkan berdasarkan aturan peringatan kustom, peringatan yang dihasilkan berdasarkan aturan peringatan global, dan peringatan baseline.
Jadwal	Di panel navigasi kiri halaman Pusat Operasi, pilih Alarm > Schedule. Di halaman yang muncul, Anda dapat mengonfigurasi jadwal shift kustom. Saat menentukan metode notifikasi untuk aturan peringatan, Anda dapat memilih jadwal shift. Dengan cara ini, notifikasi peringatan dapat dikirimkan kepada insinyur yang sedang bertugas berdasarkan jadwal shift. Catatan Anda dapat mengonfigurasi insinyur utama dan sekunder dalam jadwal shift. Secara default, notifikasi peringatan dikirimkan kepada insinyur utama. Jika insinyur utama tidak menangani peringatan setelah notifikasi peringatan dikirimkan dua kali, notifikasi peringatan selanjutnya akan dikirimkan kepada insinyur utama dan sekunder.
Otomatis	Anda dapat membuat aturan O&M untuk grup sumber daya eksklusif dan mengaitkan aturan O&M dengan aturan peringatan yang telah dibuat berdasarkan kebutuhan bisnis Anda. Jika aturan peringatan yang terkait dipicu, DataWorks melakukan O&M otomatis pada instance node yang dijalankan pada grup sumber daya eksklusif tertentu dan memenuhi filter conditions yang ditentukan. Catatan Anda hanya dapat mengaitkan aturan O&M dengan aturan peringatan yang dikonfigurasi untuk grup sumber daya eksklusif untuk penjadwalan.

Pemantauan status node

Objek yang dipantau

Anda dapat mengonfigurasi aturan peringatan kustom dan baseline cerdas untuk memantau penggunaan sumber daya serta status node yang dipicu otomatis, instance node yang dipicu otomatis, dan node komputasi real-time.

Status Node yang Dipicu Otomatis

DataWorks menghasilkan auto triggered node instances yang dijadwalkan untuk dijalankan pada hari berikutnya untuk auto triggered node setiap malam. DataWorks menyediakan aturan peringatan global bawaan untuk memantau auto triggered nodes secara berkala dan memastikan bahwa instance dihasilkan dan dijadwalkan sesuai harapan. Jika terjadi pengecualian, DataWorks akan mengirimkan notifikasi peringatan. Aturan peringatan global bawaan bukan merupakan aturan tingkat ruang kerja. Aturan ini mencakup alert rules for isolated nodes dan alert rules for nodes that form a loop.

Tipe aturan	Objek yang dipantau	Kondisi pemicu	Deskripsi
Aturan peringatan global	Node terisolasi: Jenis node ini tidak bergantung pada node lain.	Notifikasi peringatan dikirimkan secara otomatis saat node terisolasi dihasilkan. Kami merekomendasikan agar Anda menangani peringatan tersebut secepat mungkin. Catatan Di DataWorks, kecuali node root di ruang kerja Anda, setiap node yang dipicu otomatis yang Anda buat harus memiliki node leluhur. Jika tidak ada node leluhur yang dikonfigurasikan untuk node yang dipicu otomatis, node tersebut tidak dapat dijadwalkan. Node terisolasi tidak dapat dijadwalkan secara otomatis untuk dijalankan. Jika node terisolasi memiliki sejumlah besar node turunan, konsekuensi serius mungkin terjadi.	DataWorks memindai status node yang dipicu otomatis pada 09:00:00, 12:00:00, dan 16:00:00 setiap hari. Jika node terisolasi atau loop dependensi node terdeteksi, DataWorks mengirimkan notifikasi peringatan menggunakan metode yang ditentukan. Namun, pengecualian yang dihasilkan dalam 10 menit sebelum pemindaian tidak termasuk dalam siklus pemindaian saat ini. Pengecualian tersebut termasuk dalam siklus pemindaian berikutnya. Aturan peringatan global adalah aturan bawaan yang secara otomatis dibuat di DataWorks. Jika peringatan dipicu berdasarkan aturan peringatan global, notifikasi peringatan dikirimkan kepada pemilik node melalui pesan teks atau email secara default. Anda dapat mengubah kontak peringatan untuk aturan peringatan global di halaman Rule Management. Anda dapat menonaktifkan aturan peringatan global di halaman Rule Management.
Aturan peringatan global	Node yang membentuk loop: Jenis node ini bergantung pada node turunannya dan membentuk loop dependensi dengan node turunannya.	Notifikasi peringatan dikirimkan secara otomatis setelah loop dependensi node terbentuk. Kami merekomendasikan agar Anda menangani peringatan tersebut secepat mungkin. Catatan Jenis node ini tidak dapat dijadwalkan secara otomatis untuk dijalankan.

Status Instance Node yang Dipicu Otomatis

Di DataWorks, instance node yang dipicu otomatis dihasilkan ketika node yang dipicu otomatis dijadwalkan secara berkala. Anda dapat mengonfigurasi aturan peringatan kustom untuk auto triggered nodes guna memantau status instances of the auto triggered nodes. Anda juga dapat mengonfigurasi aturan peringatan kustom untuk objek tertentu dan menetapkan baseline cerdas untuk node penting.

Tipe aturan	Objek yang dipantau	Kondisi pemicu
Aturan peringatan kustom	Node tipe objek Node, Baseline, Workspace, atau Workflow	Notifikasi peringatan dikirimkan jika node tipe objek tertentu berada dalam salah satu status berikut: Completed, Uncompleted, Error, Uncompleted in Cycle, Overtime, dan The error persists after the node automatically reruns. Notifikasi peringatan dikirimkan jika tipe objek node adalah Workspace dan node berada dalam salah satu status berikut dan status sebelumnya: Instance Generated dan Fluctuation of Instance Number.
Baseline cerdas	Node dalam baseline dan node leluhur yang memengaruhi pembuatan data node dalam baseline Catatan Anda dapat menentukan prioritas untuk baseline untuk memastikan bahwa node dalam baseline dijadwalkan dan data node dihasilkan sesuai harapan. Jika node yang dipicu otomatis penting dan dependensi antara node yang dipicu otomatis dan node leluhurnya kompleks, Anda dapat memindahkan node yang dipicu otomatis ke baseline tertentu.	Baseline alerts: Jika DataWorks memprediksi bahwa node dalam baseline tidak dapat selesai berjalan sebelum waktu penyelesaian yang dijanjikan, DataWorks mengirimkan notifikasi peringatan baseline kepada Anda menggunakan metode notifikasi yang ditentukan. Untuk informasi lebih lanjut, lihat Logika inti: peringatan baseline. Event alerts: Saat kesalahan dilaporkan untuk node dalam baseline, kesalahan dilaporkan untuk node leluhur dari node dalam baseline, atau node dalam jalur utama melambat, acara dihasilkan dan DataWorks mengirimkan notifikasi peringatan acara kepada Anda. Untuk informasi lebih lanjut, lihat Kelola acara.

Status Node Komputasi Real-Time
- Tipe Aturan: Aturan Peringatan Kustom
- Objek yang Dipantau: Node Komputasi Real-Time
- Kondisi Pemicu: Peringatan dilaporkan jika error terjadi pada node komputasi real-time.
Penggunaan Sumber Daya
- Tipe Aturan: Aturan Peringatan Kustom
- Objek yang Dipantau: Grup Sumber Daya Eksklusif untuk Penjadwalan dan Grup Sumber Daya Eksklusif untuk Integrasi Data
- Kondisi Pemicu:
  - Jika nilai parameter Resource Group Usage melebihi persentase tertentu selama periode waktu tertentu, peringatan dilaporkan.
  - Jika nilai parameter Number of instances Waiting for Resources in Resource Group melebihi angka tertentu selama periode waktu tertentu, peringatan dilaporkan.

Metode notifikasi

Setelah mengonfigurasi aturan peringatan, ketika DataWorks mendeteksi bahwa aturan tersebut dipicu, DataWorks akan mengirimkan notifikasi menggunakan metode yang telah ditentukan, seperti email, pesan teks, panggilan telepon, atau pesan DingTalk. Dengan cara ini, Anda dapat mengidentifikasi dan menyelesaikan masalah secepat mungkin.

Tipe aturan	Metode notifikasi	Pengendalian frekuensi peringatan
Aturan peringatan kustom, aturan peringatan global, dan baseline cerdas	Notifikasi peringatan dapat dikirimkan kepada personel tertentu seperti pemilik node, pemilik tertentu, atau insinyur yang sedang bertugas dalam jadwal shift melalui email, text message, atau phone call. Notifikasi peringatan yang dikirimkan menggunakan nomor telepon hanya di wilayah daratan Tiongkok didukung. Notifikasi peringatan dapat dikirimkan ke grup DingTalk melalui DingTalk chatbot atau webhook URL. Catatan Edition Dasar DataWorks mendukung notifikasi peringatan ke DingTalk, Lark, dan WeCom berdasarkan URL webhook berbasis grup. Selain fitur pengiriman notifikasi peringatan berdasarkan URL webhook berbasis grup di Edition Dasar, Edition Enterprise DataWorks juga memungkinkan Anda mengonfigurasi URL webhook kustom untuk mengirimkan notifikasi peringatan. Jika Anda ingin mengonfigurasi webhook kustom, Anda dapat mengklik tautan untuk aplikasi atau bergabung dengan grup DingTalk DataWorks untuk layanan pra-penjualan atau purna jual. Jika Anda bergabung dengan grup DingTalk, Anda dapat langsung menghubungi chatbot DingTalk atau menghubungi personel teknis yang sedang bertugas. Gambar berikut menunjukkan kode QR grup DingTalk DataWorks.	Anda dapat menggunakan parameter berikut untuk mengontrol frekuensi peringatan: Maximum Alerts, Minimum Alert Interval, dan Quiet Hours. Catatan Peringatan Maksimum: jumlah maksimum notifikasi peringatan yang dapat dikirimkan. Jika jumlah notifikasi peringatan yang dikirimkan melebihi ambang batas yang ditentukan, notifikasi peringatan tidak akan dikirimkan lagi. Interval Peringatan Minimum: interval minimum di mana notifikasi peringatan dikirimkan. Jika node yang dilaporkan memiliki pengecualian kembali normal selama periode waktu yang ditentukan oleh parameter ini, notifikasi peringatan tidak akan dikirimkan lagi. Jam Tenang: Notifikasi peringatan tidak dikirimkan selama periode waktu yang ditentukan oleh parameter ini. Sebagai contoh, Anda menetapkan parameter Kondisi Pemicu menjadi Overtime, Error, dan Uncompleted untuk sebuah node dan menetapkan parameter Jam Tenang ke periode waktu dari `00:00` hingga `08:00`. Selama periode waktu ini, jika node waktu habis, terjadi kesalahan pada node, atau node belum selesai, DataWorks tidak akan mengirimkan notifikasi peringatan. Jika pengecualian masih ada setelah 08:00, DataWorks mengirimkan notifikasi peringatan.

O&M Otomatis pada instance node yang dijalankan pada grup sumber daya eksklusif untuk penjadwalan

Fitur O&M Otomatis memungkinkan DataWorks melakukan operasi O&M pada instance node yang dijalankan pada grup sumber daya eksklusif untuk penjadwalan. Operasi ini dilakukan berdasarkan aturan O&M yang Anda buat dan aturan peringatan terkait.

Kondisi Pemicu: Aturan peringatan terkait dipicu.
Catatan
- resource usage of a resource group dan number of node instances that are waiting for resources in a resource group dipantau.
- O&M otomatis hanya dapat dilakukan pada instance node yang dijalankan pada grup sumber daya eksklusif untuk penjadwalan.
Instance Node Tempat O&M Otomatis Dapat Dilakukan: Anda dapat menentukan filter conditions berikut untuk mencari instance node yang diinginkan: Instance Type, Scheduling Cycle, Priority, Status, dan Workspace.
Operasi O&M: Menghentikan instance node yang sedang berjalan.
Catatan
Maksimal 2.000 instance node dapat dihentikan sekaligus.

Lihat informasi peringatan

Anda dapat melihat informasi tentang peringatan yang dihasilkan untuk instance node tertentu dalam grafik asiklik terarah (DAG) dari instance node atau di halaman Diagnosis Cerdas.

Lihat Informasi Peringatan dalam DAG Instance Node
Untuk instance node yang telah dikonfigurasikan aturan peringatan dan peringatan dihasilkan dalam 24 jam terakhir, Anda dapat melakukan langkah berikut untuk melihat informasi peringatan: Di panel navigasi kiri halaman Pusat Operasi, pilih Auto Triggered Node O&M > Auto Triggered Tasks. Di halaman yang muncul, temukan instance node dan buka DAG dari instance tersebut. Di halaman DAG, klik titik merah di sudut kanan atas instance node. Di panel Monitoring details, lihat aturan atau baseline tempat node yang dipantau ditambahkan dan lihat status setiap aturan atau baseline. Titik merah ditampilkan di area yang ditandai dengan angka 2 pada gambar berikut. Anda juga dapat mengklik View alarm information di sudut kanan atas panel Detail Pemantauan untuk pergi ke halaman Manajemen Peringatan dan melihat detail peringatan. Selain itu, Anda dapat mengklik nama aturan di kolom Rule/Baseline Name untuk pergi ke halaman Manajemen Aturan dan melihat detail konfigurasi aturan tersebut.
Catatan
Anda dapat memilih kotak centang Nodes that generated alarms in the past 24 hours di area yang ditandai dengan angka 1 pada gambar berikut untuk mencari instance node yang diinginkan.
Lihat Informasi Peringatan di Halaman Diagnosis Cerdas
Untuk node yang telah dikonfigurasikan aturan peringatan, Anda dapat melakukan langkah berikut untuk melihat informasi peringatan tentang instance yang dihasilkan: Buka halaman Intelligent Diagnosis. Temukan instance node yang diinginkan dan klik instance tersebut. Di tab Diagnostik Ujung-ke-Ujung halaman yang muncul, klik View details di sebelah pesan prompt. Di panel Monitoring details, lihat aturan atau baseline tempat node yang dipantau ditambahkan dan lihat status setiap aturan atau baseline. Anda juga dapat mengklik View alarm information di sudut kanan atas panel Detail Pemantauan untuk pergi ke halaman Manajemen Peringatan dan melihat detail peringatan. Selain itu, Anda dapat mengklik nama aturan di kolom Rule/Baseline Name untuk pergi ke halaman Manajemen Aturan dan melihat detail konfigurasi aturan tersebut.
Lihat Informasi Peringatan di Halaman Manajemen Peringatan
Anda dapat melihat semua peringatan yang dihasilkan di halaman Manajemen Peringatan dan melihat detail peringatan di halaman Detail Alarm, termasuk aturan peringatan yang memicu peringatan, kondisi pemicu, dan penyebab peringatan. Untuk informasi lebih lanjut, lihat Lihat Detail Peringatan.