Baseline cerdas mendeteksi pengecualian yang menghambat tugas menyelesaikan pekerjaannya tepat waktu dan mengirimkan peringatan dini, memastikan data penting diproduksi sesuai jadwal meskipun dalam skenario dependensi yang kompleks. Fitur ini mengurangi biaya konfigurasi, mencegah peringatan yang tidak perlu, serta secara otomatis memantau semua tugas kritis.
Kasus penggunaan
-
Mengelola prioritas tugas.
Saat sumber daya terbatas, preemption sumber daya dapat terjadi. Tambahkan tugas penting ke baseline berprioritas tinggi agar menerima sumber daya terlebih dahulu.
-
Menghitung perkiraan waktu penyelesaian tugas.
Tambahkan tugas ke baseline, dan DataWorks akan menghitung perkiraan waktu penyelesaiannya setiap hari atau setiap jam berdasarkan ketersediaan sumber daya dan status tugas ancestor.
-
Memastikan tugas selesai sebelum waktu komitmennya.
Tambahkan tugas ke baseline dan tetapkan waktu komitmen. Jika sistem memprediksi tugas tersebut akan melewatkan waktu komitmen, atau tugas ancestor gagal atau melambat, sistem akan mengirimkan peringatan sehingga Anda dapat segera menangani masalah tersebut.
Konsep
-
Baseline: Kumpulan tugas penting yang memiliki waktu komitmen penyelesaian. Sistem memantau status eksekusi dan memicu peringatan ketika tugas berisiko melewatkan tenggat tersebut.
-
committed time: Tenggat waktu di mana tugas harus berhasil diselesaikan, menjamin bahwa data output-nya siap dikonsumsi oleh downstream. Untuk memberi tim operasional waktu menangani pengecualian, tetapkan Alert Margin Threshold untuk baseline tersebut. Sistem kemudian menggunakan rumus
committed time - alert marginuntuk menentukan alert time, yaitu ambang batas pemicu peringatan. -
Baseline task: Tugas yang ditambahkan ke baseline.
-
Baseline instance: Snapshot per-run yang digunakan untuk menghitung perkiraan waktu penyelesaian setiap tugas. Instans baseline memiliki salah satu status berikut: Safe, Warning, atau Breached.
-
Safe:
Estimated completion time < Alert time. -
Warning:
Alert time < Estimated completion time < Committed time. -
Breached:
Estimated completion time > Committed time.
-
-
Key path: Jalur dengan waktu eksekusi terpanjang di antara semua jalur yang memengaruhi tugas baseline.
-
Event: Dihasilkan ketika tugas baseline atau ancestor-nya gagal, atau ketika tugas pada key-path melambat. Event dapat menyebabkan keterlambatan penyelesaian tugas baseline.
Cara kerja
Saat Anda menambahkan tugas ke baseline, DataWorks mengalokasikan sumber daya berdasarkan prioritas baseline dan menentukan cakupan pemantauan dari dependensi tugas. Peringatan dipicu berdasarkan status eksekusi aktual tugas dalam cakupan tersebut.
Cakupan pemantauan ditentukan berdasarkan tugas baseline K.
-
Node ancestor dari tugas baseline: Semua node yang memengaruhi output tugas K termasuk dalam cakupan pemantauan:
-
Node descendant dari tugas baseline: Tidak termasuk dalam cakupan pemantauan:
-
Key path: Jalur terpanjang di antara semua jalur yang memengaruhi tugas K:
-
Buat baseline:
-
Tentukan tugas K yang akan ditambahkan ke baseline.
-
Tetapkan prioritas baseline dan parameter kebijakan peringatan.
-
-
Peringatan baseline atau peringatan event dipicu berdasarkan status eksekusi aktual tugas dalam cakupan pemantauan.
Baseline cerdas menyediakan kemampuan berikut:
-
Membuat dan mengelola baselines.
Halaman Baselines memungkinkan Anda membuat dan mengelola baseline:
-
Tambahkan tugas yang memerlukan dukungan event besar ke baseline, tetapkan committed time, dan konfigurasikan kebijakan peringatan (metode dan penerima). Sistem akan memantau tugas dan mengirimkan peringatan berdasarkan pengaturan tersebut.
-
Tetapkan prioritas baseline untuk mengontrol urutan eksekusi tugas. Baseline berprioritas lebih tinggi akan menerima sumber daya terlebih dahulu saat sumber daya penjadwalan terbatas.
Catatan-
Prioritas ini dipetakan ke prioritas tugas komputasi MaxCompute jika kedua kondisi berikut terpenuhi:
-
Fitur prioritas diaktifkan untuk proyek MaxCompute.
-
Proyek MaxCompute menggunakan sumber daya komputasi subscription.
-
-
Prioritas job MaxCompute = 9 - prioritas baseline DataWorks.
-
-
-
Menentukan cakupan pemantauan.
DataWorks menentukan cakupan pemantauan berdasarkan dependensi tugas dan memantau semua tugas yang berpotensi memengaruhi output data baseline.Logika inti: Cakupan pemantauan.
-
Memicu dan mengirim peringatan.
-
Peringatan baseline.
DataWorks secara otomatis memicu peringatan berdasarkan kebijakan peringatan yang dikonfigurasi dan status eksekusi aktual tugas, lalu mengirimkan pesan peringatan ke penerima yang ditentukan secara real time. Jika sistem memprediksi tugas baseline tidak dapat selesai sebelum committed time, sistem akan mengirimkan peringatan baseline. Logika inti: Peringatan baseline.
-
Peringatan event.
Setelah cakupan pemantauan ditentukan, jika tugas baseline atau tugas upstream-nya gagal, atau tugas pada key-path melambat, sistem akan menghasilkan event dan mengirimkan peringatan. Lihat event di halaman Events DataWorks. Manajemen event.
-
Penagihan
-
Jumlah instans baseline: Semua baseline yang diaktifkan menghasilkan instans baseline. DataWorks menagih berdasarkan instans yang dihasilkan hingga pukul 23.59 setiap hari. Penagihan instans baseline cerdas.
-
Jumlah pesan teks dan panggilan telepon peringatan: Peringatan baseline dikenai biaya untuk pesan teks dan panggilan telepon. Penagihan pesan teks dan panggilan telepon peringatan.
Batasan
Hanya DataWorks Edisi Standar dan edisi yang lebih baru yang mendukung baseline cerdas. Lakukan upgrade jika Anda menggunakan edisi sebelumnya. Fitur berbagai edisi DataWorks.
Logika inti: Cakupan pemantauan
Baseline cerdas memantau tugas upstream yang memengaruhi output data, bukan semua tugas upstream dan downstream. Cakupan pemantauan mencakup:
-
Tugas upstream: Tugas yang memengaruhi output data tugas baseline dipantau.
-
Tugas downstream: Tidak dipantau. Tidak ada peringatan yang dipicu jika tugas downstream dari tugas baseline atau tugas pada cabang ancestor lain gagal.
Seperti yang ditunjukkan pada gambar sebelumnya, asumsikan terdapat enam node tugas. Tugas D dan E adalah tugas baseline. Tugas A dan B memengaruhi output datanya, sehingga A, B, D, dan E semuanya dipantau. Jika salah satu tugas tersebut gagal atau melambat, baseline cerdas akan mendeteksinya. Tugas C dan F berada di luar cakupan pemantauan.
Logika inti: Peringatan baseline
Anda dapat menambahkan tugas penting ke baseline dan menetapkan Committed Completion Time dan Alert Margin Threshold. Setelah itu:
-
DataWorks menggunakan rumus
committed time - alert marginuntuk menghitung Alerting Time. Kemudian, berdasarkan rata-rata historis waktu proses tugas dalam cakupan pemantauan, DataWorks menggunakan Baseline Instances untuk menurunkan waktu penyelesaian dan waktu mulai terbaru untuk setiap tugas dalam cakupan tersebut. -
Selama waktu proses, jika status tugas menunjukkan bahwa tugas baseline tidak akan selesai pada Alerting Time, DataWorks akan memicu peringatan baseline.
Logika inti: Peringatan event
Ketika tugas yang dipantau menjadi abnormal, sistem akan menghasilkan event dan memicu peringatan. Kondisi abnormal meliputi:
-
Error: Eksekusi tugas gagal.
-
Slow: Waktu proses tugas saat ini jauh melebihi rata-rata historisnya.
-
Event pelambatan dipicu ketika waktu proses tugas melebihi 30 menit dan setidaknya 15 menit di atas rata-rata historisnya.
-
Jika tugas yang sama pertama kali melambat lalu gagal, dua event akan dihasilkan.
Lihat detail event di halaman Event Management.
Logika inti: Key path dan key instances
Dependensi tugas pada baseline bisa sangat kompleks. DataWorks menyediakan grafik Gantt untuk membantu Anda menemukan key path dan key instances yang menghambat output data. Key path adalah jalur dengan durasi eksekusi terpanjang di antara semua jalur yang memengaruhi output tugas baseline.
Contoh
-
Skenario: Waktu saat ini pukul 06.40, dan tugas F masih berjalan.
-
Peringatan baseline:
YYYY-MM-DD HH:mm:ss
Baseline XX warning, business time XX, margin: -10 min...
-
Peringatan event:
YYYY-MM-DD HH:mm:ss
Event reminder, business time XX, task XX, status: Delayed...
Grafik Gantt menampilkan jalur eksekusi utama dari tugas target. Key path dan waktu deteksi pengecualian untuk contoh di atas: