DataWorks:Manajemen garis dasar

Latar belakang

Smart Baseline mendeteksi pengecualian yang dapat mencegah tugas selesai tepat waktu dan mengirim peringatan lebih awal, memastikan data penting diproduksi sesuai jadwal meskipun dalam skenario dependensi yang kompleks. Untuk informasi selengkapnya, lihat Ikhtisar Smart Baseline.

Setelah garis dasar dibuat dan diaktifkan, pengaturan tersebut mulai berlaku pada hari berikutnya. Anda kemudian dapat membuka halaman Instans yang Dipicu Otomatis untuk melihat status eksekusi garis dasar.

Batasan

• Persyaratan versi:

  Manajemen garis dasar hanya tersedia di DataWorks Edisi Standar dan versi yang lebih baru. Jika Anda menggunakan versi sebelumnya, tingkatkan instans DataWorks Anda terlebih dahulu. Untuk informasi selengkapnya, lihat Fitur edisi DataWorks.

• Kontrol izin:

  • Hanya Akun Alibaba Cloud atau Pengguna RAM dengan peran administrator ruang kerja atau administrator penyewa yang dapat membuat garis dasar.

  • Hanya administrator penyewa dan pemilik garis dasar yang dapat mengaktifkan, menonaktifkan, menghapus, atau mengubah garis dasar.

  Untuk memberikan izin ini kepada pengguna, tetapkan peran yang diperlukan kepada pengguna tersebut. Untuk informasi selengkapnya, lihat Tambahkan anggota ruang kerja dan tetapkan peran.

• Metode notifikasi peringatan:

  DataWorks mendukung beberapa metode notifikasi peringatan, termasuk Email, SMS, phone calls, DingTalk Chatbot, dan Webhook. Tabel berikut menjelaskan batasan masing-masing metode.

  Metode notifikasi	Wilayah yang tersedia	Edisi yang tersedia	Deskripsi
  SMS	Semua wilayah	Edisi Standar dan versi yang lebih baru.	Untuk menerima peringatan pesan teks di wilayah lain, klik tautan aplikasi untuk bergabung ke grup chat "Alibaba Cloud Big Data AI Platform". Kemudian, pindai kode QR di bawah ini untuk bergabung ke grup DingTalk produk DataWorks guna mendapatkan dukungan. Di sana, Anda dapat meminta bantuan dari chatbot atau menghubungi insinyur piket selama jam kerja.
  Telephone	Semua wilayah	Semua edisi	Peringatan panggilan telepon hanya didukung untuk nomor ponsel di Tiongkok daratan.
  Webhook	Semua wilayah	Edisi Dasar	Mendukung pengiriman peringatan ke grup DingTalk, Lark, dan WeCom melalui webhook grup.
  		Edisi Perusahaan	Selain fitur Edisi Dasar, Edisi Perusahaan mendukung webhook kustom untuk menerima peringatan. Catatan Jika Anda perlu menggunakan webhook kustom, lihat Webhook kustom untuk pemantauan cerdas untuk detail konfigurasi. Setelah menyelesaikan konfigurasi, hubungi kami untuk bantuan lebih lanjut.

  Catatan

  Untuk mengizinkan Pengguna RAM menerima peringatan pesan teks atau panggilan telepon, tambahkan pengguna tersebut sebagai kontak peringatan di halaman Kontak Peringatan. Saat suatu tugas gagal, DataWorks memberi tahu kontak terkait. Untuk informasi selengkapnya, lihat Lihat dan kelola kontak peringatan.

Buat garis dasar

1. Buka halaman Operation Center.

Masuk ke Konsol DataWorks. Setelah memilih wilayah, klik Data Development and O&M > Operation Center di panel navigasi sebelah kiri. Dalam daftar tarik-turun, pilih ruang kerja yang diinginkan dan klik Operation Center.

2. Di panel navigasi sebelah kiri, klik Task Monitoring > Intelligent Baselines.

3. Buat garis dasar.

   1. Di tab Baselines, klik Create Baseline.

   2. Konfigurasikan properti dasar garis dasar.

      Tabel berikut menjelaskan parameter tersebut.

      Parameter	Deskripsi
      Baseline Name	Nama kustom untuk garis dasar.
      Belongs work space	Pilih ruang kerja yang berisi node yang ingin Anda pantau. Catatan Saat mengonfigurasi parameter Nodes, Anda hanya dapat memilih node dan alur kerja dalam Belongs work space ini.
      Owner	Pemilik garis dasar.
      Baseline Type	Siklus pemantauan untuk garis dasar: harian atau per jam. Day-level Baseline: Memantau tugas setiap hari. Cocok untuk tugas terjadwal harian. Hour-level Baseline: Memantau tugas setiap jam. Cocok untuk tugas terjadwal per jam.
      Nodes	Pilih tugas yang ingin Anda pantau agar selesai tepat waktu. Menambahkan node ke garis dasar akan memindahkannya dari garis dasar saat ini ke garis dasar baru. Node: Masukkan nama atau ID node dan klik tombol Add. Anda dapat menambahkan beberapa node ke garis dasar. Workflow: Masukkan nama atau ID alur kerja dan klik tombol Add. Secara default, semua node dalam alur kerja ditambahkan ke garis dasar. Catatan Setelah memilih alur kerja, disarankan untuk hanya menambahkan node paling hilirnya. Setelah ditambahkan, garis dasar secara otomatis menyertakan semua node hulu yang memengaruhi output datanya dalam cakupan pemantauan. Tidak disarankan menambahkan semua node dalam alur kerja ke garis dasar.
      Priority	Prioritas garis dasar. Nilai yang lebih besar menunjukkan prioritas lebih tinggi. Saat sumber daya penjadwalan terbatas, tugas pada garis dasar dengan prioritas lebih tinggi dijadwalkan terlebih dahulu. Pengaturan ini berlaku untuk instans yang dipicu otomatis yang dihasilkan pada hari berikutnya. Catatan Node MaxCompute: Prioritas garis dasar dipetakan ke prioritas pekerjaan komputasi MaxCompute dengan ketentuan berikut: Fitur prioritas diaktifkan untuk proyek MaxCompute. Proyek MaxCompute menggunakan sumber daya komputasi berlangganan. Prioritas pekerjaan MaxCompute = 9 - prioritas garis dasar DataWorks. Node EMR: Anda dapat memetakan prioritas garis dasar ke prioritas antrian YARN untuk menyesuaikan prioritas akhir antrian YARN suatu node. Hal ini menentukan apakah node tersebut dapat dijadwalkan dan dieksekusi secara prioritas. Untuk informasi selengkapnya, lihat Konfigurasikan pemetaan antara prioritas garis dasar dan prioritas antrian YARN. Setelah node ditambahkan ke garis dasar, prioritasnya ditentukan oleh garis dasar tersebut. Prioritas ini kemudian diwariskan ke semua dependensi hulu node tersebut. Jika suatu node memengaruhi output data dari beberapa garis dasar dengan prioritas berbeda, prioritas node tersebut ditentukan oleh prioritas tertinggi di antara garis dasar tersebut. Prioritas garis dasar tidak memengaruhi node hulu dengan dependensi lintas siklus.
      Estimated Completion Time	DataWorks menghitung waktu selesai perkiraan berdasarkan waktu penyelesaian rata-rata tugas garis dasar selama periode historis (biasanya 10 hari terakhir). Jika waktu selesai perkiraan lebih lambat dari waktu peringatan, peringatan garis dasar dipicu. Untuk detail mekanisme peringatan, lihat Lampiran: Mekanisme peringatan garis dasar. Catatan Jika data historis tidak mencukupi, sistem menampilkan pesan: The completion time cannot be estimated due to the lack of historical data.
      Committed Completion Time	Batas waktu penyelesaian tugas pada garis dasar. Ini juga merupakan batas waktu produksi data. Garis dasar menggunakan waktu ini untuk menghitung waktu peringatan. Konfigurasikan waktu selesai yang ditetapkan berdasarkan waktu selesai perkiraan. Waktu peringatan (dihitung sebagai waktu selesai yang ditetapkan - ambang batas margin peringatan) harus lebih lambat dari waktu selesai perkiraan tugas. Catatan Rumus waktu peringatan adalah waktu peringatan = waktu selesai yang ditetapkan - ambang batas margin peringatan. Peringatan dipicu jika sistem memprediksi bahwa tugas tidak akan selesai pada waktu peringatan. Misalnya, jika waktu selesai yang ditetapkan diatur ke 03:30 dan ambang batas margin peringatan adalah 10 menit, waktu peringatan adalah 03:20. Peringatan garis dasar dikirim jika sistem memprediksi tugas tidak akan selesai pada waktu tersebut. Untuk garis dasar tingkat jam, Anda harus menentukan instans per jam mana (yaitu siklus eksekusi spesifik) yang perlu dipantau dan mengatur waktu penyelesaian terakhirnya. Karena tugas pada garis dasar dapat berjalan lebih dari 24 jam, Anda dapat mengatur waktu selesai yang ditetapkan dalam rentang dua hari, dari 00:00 hingga 47:59. Misalnya, jika suatu tugas berjalan selama lebih dari satu hari, Anda dapat mengatur waktunya menjadi 36:00.
      Alert Margin Threshold	Menentukan seberapa awal peringatan dipicu sebelum waktu selesai yang ditetapkan. Waktu peringatan yang dihasilkan harus lebih lambat dari waktu selesai perkiraan untuk mencegah peringatan yang sering dan tidak perlu. Konfigurasikan ambang batas ini berdasarkan waktu proses tugas pada garis dasar. Untuk informasi selengkapnya, lihat Konfigurasikan waktu selesai yang ditetapkan dan ambang batas margin peringatan yang sesuai.

4. Konfigurasikan peringatan untuk garis dasar.

   Kebijakan peringatan mencakup peringatan garis dasar, yang dipicu ketika data diprediksi terlambat, dan peringatan event, yang dipicu oleh kesalahan atau perlambatan yang memengaruhi tugas garis dasar atau dependensinya. Sebelum mengonfigurasi pengaturan ini, disarankan untuk meninjau mekanisme peringatan. Untuk informasi selengkapnya, lihat Lampiran: Mekanisme peringatan garis dasar.

   1. Aktifkan peringatan.

      Setelah Anda mengaktifkan peringatan, DataWorks memeriksa kondisi yang sesuai dengan aturan peringatan dan mengirim notifikasi sesuai ketentuan.

      • Jika sistem memprediksi bahwa tugas pada garis dasar tidak akan selesai dalam waktu yang ditetapkan, sistem mengirim peringatan garis dasar berdasarkan metode notifikasi yang dikonfigurasi. Untuk informasi selengkapnya, lihat Logika utama: peringatan garis dasar.

      • Jika tugas garis dasar atau dependensi hulunya mengalami kesalahan, atau jika tugas pada jalur kritis melambat, sistem mengirim peringatan event berdasarkan metode notifikasi yang dikonfigurasi. Anda dapat melihat daftar event yang ada di halaman Events di DataWorks. Untuk informasi selengkapnya, lihat Kelola event.

   Catatan

   Jika Anda menonaktifkan peringatan, garis dasar tidak menghasilkan peringatan apa pun. Namun, jika garis dasar diaktifkan, instans garis dasar tetap dihasilkan dan pengaturan prioritas tetap berlaku.

   2. Pilih metode notifikasi.

      Setelah Anda mengaktifkan peringatan, pilih metode notifikasi sesuai kebutuhan. Disarankan untuk mengonfigurasi peringatan garis dasar dan peringatan event untuk tugas kritis.

      Penting

      • Peringatan garis dasar dan event hanya dipicu untuk instans yang dipicu otomatis dengan tanggal bisnis kemarin atau lusa. Instans di luar rentang ini tidak dipantau untuk peringatan.

      • Jika Anda tidak menerima peringatan, lihat Apa yang harus saya lakukan jika tidak menerima peringatan setelah mengonfigurasi pengaturan peringatan di Operation Center?

      Peringatan garis dasar

      Parameter	Deskripsi
      Enable Alerting	Mengaktifkan atau menonaktifkan peringatan untuk garis dasar ini. Catatan Jika Anda menonaktifkan peringatan, garis dasar tidak menghasilkan peringatan apa pun. Namun, jika garis dasar diaktifkan, instans garis dasar tetap dihasilkan dan pengaturan prioritas tetap berlaku.
      Alert Notification Method	Mendukung pengiriman peringatan melalui Email, SMS, or Phone call kepada pemilik garis dasar, insinyur piket dalam jadwal shift, atau penerima yang ditentukan. Untuk mengonfigurasi jadwal shift, lihat Jadwal shift. Mendukung pengiriman peringatan ke aplikasi lain seperti DingTalk, WeCom, dan Lark menggunakan DingTalk Chatbot atau Webhook. Untuk mengonfigurasi chatbot DingTalk, lihat Skenario: Kirim notifikasi peringatan ke grup DingTalk. Catatan Anda dapat menggunakan Check Contact Information atau Send Test Message untuk memverifikasi bahwa peringatan dapat dikirim dengan benar. Peringatan panggilan telepon hanya tersedia di DataWorks Edisi Profesional dan versi yang lebih baru. Jika Anda memilih peringatan panggilan telepon, DataWorks membatasi laju panggilan untuk menghindari lonjakan panggilan dalam periode singkat. Pengguna menerima paling banyak satu panggilan peringatan dalam interval penerimaan yang ditentukan, dan panggilan tambahan diturunkan ke pesan teks. Interval penerimaan default adalah 20 menit dan dapat diubah di pengaturan kebijakan peringatan penyewa pada Manajemen aturan.
      Maximum Alerts	Jumlah maksimum peringatan yang dapat dikirim. Setelah batas ini tercapai, tidak ada peringatan tambahan yang dihasilkan.
      Minimum Alert Interval	Interval waktu minimum antara dua peringatan berturut-turut.
      Alerting Do-Not-Disturb Period	Jika Anda mengatur periode jangan ganggu, sistem tidak mengirim peringatan selama periode ini. Misalnya, jika periode jangan ganggu untuk suatu tugas diatur dari 00:00 hingga 08:00, peringatan garis dasar dan event tidak dipicu selama periode ini. Jika event masih dalam kondisi abnormal pada pukul 08:00, peringatan dikirim.

      Peringatan event

      Parameter	Deskripsi
      Event Type	Jenis event yang memicu peringatan: Error: Tugas dalam cakupan pemantauan garis dasar gagal. Slow: Tugas dalam cakupan pemantauan garis dasar berjalan jauh lebih lama dari waktu proses rata-ratanya selama periode sebelumnya.
      Alert Notification Method	Mendukung pengiriman peringatan melalui Email, SMS, or Phone call kepada pemilik tugas, insinyur piket dalam jadwal shift, atau penerima yang ditentukan. Untuk mengonfigurasi jadwal shift, lihat Jadwal shift. Mendukung pengiriman peringatan ke aplikasi lain seperti DingTalk, WeCom, dan Lark menggunakan DingTalk Chatbot atau Webhook. Untuk mengonfigurasi chatbot DingTalk, lihat Skenario: Kirim notifikasi peringatan ke grup DingTalk. Catatan Anda dapat menggunakan Check Contact Information atau Send Test Message untuk memverifikasi bahwa peringatan dapat dikirim dengan benar. Peringatan panggilan telepon hanya tersedia di DataWorks Edisi Profesional dan versi yang lebih baru. Jika Anda memilih peringatan panggilan telepon, DataWorks membatasi laju panggilan untuk menghindari lonjakan panggilan dalam periode singkat. Pengguna menerima paling banyak satu panggilan peringatan dalam interval penerimaan yang ditentukan, dan panggilan tambahan diturunkan ke pesan teks. Interval penerimaan default adalah 20 menit dan dapat diubah di pengaturan kebijakan peringatan penyewa pada Manajemen aturan.
      Maximum Alerts	Jumlah maksimum peringatan yang dapat dikirim. Setelah batas ini tercapai, tidak ada peringatan tambahan yang dihasilkan.
      Minimum Alert Interval	Interval waktu minimum antara dua peringatan berturut-turut.
      Alerting Do-Not-Disturb Period	Jika Anda mengatur periode jangan ganggu, sistem tidak mengirim peringatan selama periode ini. Misalnya, jika periode jangan ganggu untuk suatu tugas diatur dari 00:00 hingga 08:00, peringatan garis dasar dan event tidak dipicu selama periode ini. Jika event masih dalam kondisi abnormal pada pukul 08:00, peringatan dikirim.

   3. Klik OK untuk membuat garis dasar.

Tambahkan node ke garis dasar

Satu node hanya dapat menjadi bagian dari satu garis dasar dalam satu waktu. Menambahkan node yang sudah berada di Garis Dasar A ke Garis Dasar B akan memindahkannya ke Garis Dasar B.

Anda dapat menambahkan node ke garis dasar dengan salah satu dari dua cara berikut:

• Buka halaman Baselines dan klik Create Baseline untuk menambahkan node.

• Buka halaman Auto Triggered Node dan pilih More > Add Baseline untuk tugas tertentu.

  Catatan

  Cara ini hanya memungkinkan Anda membuat garis dasar baru untuk tugas yang dipilih. Anda tidak dapat menggunakannya untuk menambahkan tugas ke garis dasar yang sudah ada.

  • Tambahkan satu node ke garis dasar

    Di kolom Actions tugas yang dipicu otomatis yang dituju, klik More > Add Baseline.

  • Tambahkan beberapa node ke garis dasar

    Pilih beberapa tugas yang dipicu otomatis dan, di bilah menu di bagian bawah, klik Actions > Add Baseline.

Kelola garis dasar

Di halaman Garis Dasar, filter garis dasar berdasarkan kriteria seperti Owner, Workspace, Baseline Name, dan Priority, lalu lakukan operasi berikut:

• Lihat View Details: Lihat informasi dasar tentang tugas garis dasar.

• Modify Garis Dasar: Sesuaikan pengaturan garis dasar sesuai kebutuhan.

• Lihat View Change Records: Lihat riwayat perubahan garis dasar.

• Enable atau Disable Garis Dasar: Mengontrol apakah garis dasar aktif. Garis dasar yang diaktifkan menghasilkan instans garis dasar baru setiap hari. Anda dapat melihat detail garis dasar harian di panel Instans Garis Dasar.

• Delete Baseline: Hapus garis dasar sesuai kebutuhan.

Lampiran: mekanisme peringatan garis dasar

Peringatan garis dasar adalah layanan notifikasi untuk garis dasar yang diaktifkan dan memiliki peringatan yang dinyalakan. Konfigurasikan Alert Margin Threshold dan Committed Completion Time untuk garis dasar berdasarkan Estimated Completion Time-nya. DataWorks menghitung waktu selesai perkiraan berdasarkan waktu proses rata-rata historis (biasanya 10 hari terakhir) dari tugas yang dipantau. Sistem kemudian memantau tugas berdasarkan status eksekusi aktualnya. Jika tugas pada garis dasar diprediksi melewatkan waktu peringatan (waktu selesai yang ditetapkan - ambang batas margin peringatan), peringatan garis dasar dikirim ke penerima yang dikonfigurasi.

• Kebijakan peringatan garis dasar sebelum tugas berjalan:

  Catatan

  Sebelum tugas harian berjalan, sistem garis dasar menghitung waktu penyelesaian rata-rata tugas dalam cakupan pemantauannya selama 10 hari terakhir. Jika tugas diprediksi melewatkan waktu peringatan, peringatan garis dasar dikirim segera. Dalam skenario dengan dependensi tugas yang kompleks dan sering berubah, garis dasar membantu Anda mendeteksi masalah dan menerima peringatan lebih awal.

  • Jika waktu selesai perkiraan tugas garis dasar, yang dihitung dari waktu penyelesaian rata-ratanya selama 10 hari terakhir, lebih lambat dari waktu peringatan garis dasar, platform memicu peringatan garis dasar. Anda dapat melihat waktu selesai perkiraan yang dihitung di halaman Baselines. Untuk informasi selengkapnya, lihat Buat garis dasar.

  • Jika waktu selesai perkiraan tugas hulu, yang dihitung dari waktu penyelesaian rata-ratanya selama 10 hari terakhir, lebih lambat dari waktu peringatan garis dasar, platform memicu peringatan garis dasar.

• Kebijakan peringatan garis dasar saat tugas sedang berjalan:

  Peringatan garis dasar dipicu jika tugas pada garis dasar selesai lebih lambat dari waktu peringatan garis dasar.

Langkah selanjutnya

Setelah membuat garis dasar, Anda dapat:

• Lihat instans garis dasar: Garis dasar yang diaktifkan menghasilkan instans harian. Lihat detail eksekusi garis dasar di halaman Instans Garis Dasar.

• Node EMR: Petakan prioritas garis dasar ke prioritas antrian YARN untuk menyesuaikan prioritas akhir antrian YARN node EMR, mengontrol apakah node tersebut diprioritaskan untuk penjadwalan dan eksekusi.

• Lihat catatan operasi garis dasar: Lihat riwayat semua operasi yang dilakukan pada garis dasar Anda di Operation Center.