Fitur garis dasar cerdas mendeteksi pengecualian yang menghambat tugas dalam garis dasar agar tidak dapat diselesaikan tepat waktu dan mengirimkan peringatan dini. Fitur ini memastikan data penting dihasilkan sesuai jadwal dalam skenario dengan dependensi kompleks, sekaligus membantu mengurangi biaya konfigurasi, mencegah peringatan tidak valid, serta memantau secara otomatis semua tugas penting.
Kasus penggunaan
-
Atur prioritas tugas.
Saat sumber daya terbatas, preemption sumber daya dapat terjadi. Tambahkan tugas penting ke garis dasar berprioritas tinggi agar menerima alokasi sumber daya terlebih dahulu.
-
Hitung perkiraan waktu penyelesaian tugas.
Tambahkan tugas ke garis dasar, dan DataWorks akan menghitung perkiraan waktu penyelesaian harian atau per jam berdasarkan ketersediaan sumber daya dan status tugas ancestor. Hal ini memudahkan Anda melihat waktu penyelesaian tugas yang diprediksi.
-
Pastikan tugas selesai sebelum waktu komitmennya.
Tambahkan tugas ke garis dasar dan tetapkan waktu komitmen. Jika sistem memprediksi tugas akan melewatkan waktu komitmen tersebut, atau tugas ancestor gagal atau melambat, sistem akan mengirimkan peringatan sehingga Anda dapat segera menangani masalah tersebut.
Konsep
-
Baseline: Kumpulan tugas penting yang memiliki waktu penyelesaian komitmen. Sistem memantau status eksekusi dan memicu peringatan ketika tugas berisiko melewatkan waktu komitmen tersebut.
-
committed time: Waktu paling akhir di mana tugas harus berhasil diselesaikan. Ini merupakan komitmen bahwa output data tugas akan siap digunakan oleh aplikasi downstream pada waktu tersebut. Untuk menyediakan waktu bagi tim operasional Anda menangani pengecualian, Anda dapat menetapkan Alert Margin Threshold untuk garis dasar. Sistem kemudian menggunakan rumus
committed time - alert marginuntuk menentukan alert time, yaitu ambang batas pemicu peringatan. -
Baseline task: Tugas yang ditambahkan ke garis dasar.
-
Baseline instance: Sistem menggunakan baseline instance untuk menghitung perkiraan waktu penyelesaian setiap eksekusi tugas. Baseline instance dapat memiliki salah satu status berikut: Safe, Warning, atau Breached.
-
Safe:
Estimated completion time < Alert time. -
Warning:
Alert time < Estimated completion time < Committed time. -
Breached:
Estimated completion time > Committed time.
-
-
Key path: Jalur dengan durasi eksekusi terpanjang di antara semua jalur yang memengaruhi tugas garis dasar.
-
Event: Dihasilkan ketika tugas garis dasar atau ancestor-nya gagal, atau ketika tugas pada key path melambat. Event dapat menyebabkan keterlambatan penyelesaian tugas garis dasar.
Cara kerja
Saat Anda menambahkan tugas ke garis dasar, DataWorks mengalokasikan sumber daya berdasarkan prioritas garis dasar dan menentukan cakupan pemantauan dari dependensi tugas. Peringatan dipicu berdasarkan status eksekusi tugas dalam cakupan tersebut.
Cakupan pemantauan ditentukan berdasarkan tugas garis dasar K.
-
Node ancestor dari tugas garis dasar: Semua node yang memengaruhi output tugas K termasuk dalam cakupan pemantauan:

-
Node descendant dari tugas garis dasar: Tidak termasuk dalam cakupan pemantauan:

-
Key path: Jalur terpanjang di antara semua jalur yang memengaruhi tugas K:

-
Buat garis dasar:
-
Tentukan tugas K yang akan ditambahkan ke garis dasar.
-
Tetapkan prioritas garis dasar dan parameter kebijakan peringatan.
-
-
Peringatan garis dasar atau peringatan event dipicu berdasarkan status eksekusi aktual tugas dalam cakupan pemantauan.
Garis dasar cerdas menyediakan kemampuan berikut:
-
Buat dan kelola garis dasar.
Halaman Baselines memungkinkan Anda membuat dan mengelola garis dasar:
-
Tambahkan tugas yang memerlukan dukungan acara besar ke garis dasar, tetapkan committed time, dan konfigurasikan kebijakan peringatan (metode dan penerima). Sistem memantau tugas dan mengirimkan peringatan berdasarkan pengaturan ini.
-
Tetapkan prioritas garis dasar untuk mengontrol urutan eksekusi tugas. Garis dasar berprioritas lebih tinggi menerima sumber daya terlebih dahulu saat sumber daya penjadwalan terbatas.
Catatan-
Prioritas ini dipetakan ke prioritas tugas komputasi MaxCompute jika kedua kondisi berikut terpenuhi:
-
Fitur prioritas diaktifkan untuk proyek MaxCompute.
-
Proyek MaxCompute menggunakan sumber daya komputasi subscription.
-
-
Prioritas job MaxCompute = 9 - prioritas baseline DataWorks.
-
-
-
Tentukan cakupan pemantauan.
DataWorks menentukan cakupan pemantauan berdasarkan dependensi tugas dan memantau semua tugas yang berpotensi memengaruhi output data garis dasar. Logika inti: Cakupan pemantauan.
-
Picu dan kirimkan peringatan
-
Peringatan garis dasar.
DataWorks secara otomatis memicu peringatan berdasarkan kebijakan peringatan yang dikonfigurasi dan status eksekusi tugas aktual. Sistem mengirimkan pesan peringatan ke penerima yang ditentukan secara real time. Jika sistem memprediksi tugas garis dasar tidak dapat diselesaikan sebelum committed time, sistem mengirimkan peringatan garis dasar. Logika inti: Peringatan garis dasar.
-
Peringatan event.
Setelah cakupan pemantauan ditentukan, sistem akan menghasilkan event dan mengirimkan peringatan apabila Tugas garis dasar atau tugas hulu-nya gagal, atau jika tugas pada jalur kunci mengalami perlambatan. Lihat event tersebut di halaman Events DataWorks. Manajemen event.
-
Penagihan
-
Jumlah baseline instance: Semua garis dasar yang diaktifkan menghasilkan baseline instance. DataWorks menagih berdasarkan instance yang dihasilkan hingga pukul 23.59 setiap hari. Penagihan instance garis dasar cerdas.
-
Jumlah pesan teks dan panggilan telepon peringatan: Peringatan garis dasar dikenai biaya untuk pesan teks dan panggilan telepon. Penagihan pesan teks dan panggilan telepon peringatan.
Batasan
Hanya DataWorks Edisi Standar dan versi yang lebih baru yang mendukung garis dasar cerdas. Lakukan upgrade jika Anda menggunakan edisi sebelumnya. Fitur berbagai edisi DataWorks.
Logika inti: Cakupan pemantauan
Garis dasar cerdas tidak memantau semua tugas upstream dan downstream. Cakupan pemantauan mencakup:
-
Tugas upstream: Tugas upstream yang memengaruhi output data tugas garis dasar dipantau.
-
Tugas downstream: Tugas downstream tidak dipantau. Tidak ada peringatan yang dipicu jika tugas downstream dari tugas garis dasar atau tugas pada cabang ancestor lain gagal.
Seperti yang ditunjukkan pada gambar sebelumnya, asumsikan terdapat enam node tugas dalam sistem DataWorks. Tugas D dan E adalah tugas garis dasar. Tugas A dan B memengaruhi output datanya, sehingga A, B, D, dan E semuanya dipantau. Jika salah satu tugas ini gagal atau melambat, garis dasar cerdas akan mendeteksinya. Tugas C dan F berada di luar cakupan pemantauan.
Logika inti: Peringatan garis dasar
Anda dapat menambahkan tugas penting ke garis dasar dan menetapkan Committed Completion Time dan Alert Margin Threshold. Setelah itu:
-
DataWorks menggunakan rumus
committed time - alert marginuntuk menghitung Alerting Time. Kemudian, berdasarkan rata-rata historis waktu proses tugas dalam cakupan pemantauan, DataWorks menggunakan Baseline Instances untuk menurunkan waktu penyelesaian dan waktu mulai terbaru untuk setiap tugas dalam cakupan tersebut. -
Selama waktu proses, jika status tugas menunjukkan bahwa tugas garis dasar tidak akan selesai pada Alerting Time, DataWorks memicu peringatan garis dasar.
Logika inti: Peringatan event
Ketika tugas yang dipantau mengalami anomali, sistem menghasilkan event dan memicu peringatan. Anomali mencakup:
-
Error: Eksekusi tugas gagal.
-
Slow: Waktu proses tugas saat ini jauh melebihi rata-rata historisnya.
-
Event pelambatan dipicu ketika waktu proses tugas melebihi 30 menit dan setidaknya 15 menit di atas rata-rata historisnya.
-
Jika tugas yang sama pertama kali melambat lalu gagal, dua event dihasilkan.
Lihat detail event pada halaman Manajemen Event.
Logika inti: Key path dan key instance
Dependensi tugas pada garis dasar bisa sangat kompleks. DataWorks menyediakan grafik Gantt untuk membantu menemukan key path dan key instance yang menghambat output data. Key path adalah jalur dengan durasi eksekusi terpanjang di antara semua jalur yang memengaruhi output tugas garis dasar.
Contoh
-
Skenario: Waktu saat ini pukul 06.40, dan tugas F masih berjalan.
-
Peringatan garis dasar:
YYYY-MM-DD HH:mm:ss
Peringatan garis dasar XX, Waktu bisnis XX, margin: -10 menit...
-
Peringatan event:
YYYY-MM-DD HH:mm:ss
Pengingat event, Waktu bisnis XX, tugas XX, status: Delayed...
Grafik Gantt menampilkan jalur eksekusi utama tugas target. Key path dan waktu deteksi pengecualian untuk contoh di atas: 