DataWorks:Mulai dengan Operation Center

Masuk ke Operation Center

Login ke Konsol Operation Center. Beralihlah ke Wilayah target, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Operation Center.

Prosedur

Fase 1: Verifikasi node yang dipicu secara otomatis

1. Langkah 1: Lihat konfigurasi node yang dipicu secara otomatis

   Untuk mencegah node yang dipicu secara otomatis dijadwalkan secara tidak terduga, periksa konfigurasinya—seperti parameter penjadwalan dan kelompok sumber daya penjadwalan—setelah dipublikasikan. Jika konfigurasi salah, ubah lalu publikasikan ulang node tersebut.

2. Langkah 2: Uji node yang dipicu secara otomatis

   Gunakan fitur smoke test untuk memverifikasi bahwa node yang dipicu secara otomatis berjalan sesuai harapan di lingkungan produksi. Jika terjadi error, segera tangani agar node dapat berjalan dengan baik.

3. Langkah 3: Isi ulang data historis untuk node yang dipicu secara otomatis

   Anda dapat menggunakan fitur pengisian ulang data untuk menghitung ulang data historis.

4. Langkah 4: Lihat instans berulang

   Setelah node yang dipicu secara otomatis dipublikasikan, instans berulang akan dibuat berdasarkan siklus penjadwalannya. Jika Instance generation method diatur ke T +1 generated next day di DataStudio, tugas tersebut dijadwalkan untuk dijalankan mulai hari berikutnya. Jika parameter diatur ke Instant generation after publishing, tugas tersebut dijadwalkan untuk dijalankan pada hari yang sama. Anda dapat melihat status pembuatan dan eksekusi instans berulang untuk memverifikasi bahwa tugas dijadwalkan dengan benar.

5. Langkah 5: Lihat hasil eksekusi

   Setelah menjalankan smoke test atau pengisian ulang data untuk suatu node, Anda dapat memverifikasi bahwa data ditulis dengan benar.

Fase 2: Pantau node yang dipicu secara otomatis

1. Langkah 6: Buat aturan pemantauan kustom

   Berdasarkan kebutuhan bisnis Anda, Anda dapat mengonfigurasi aturan pemantauan cerdas untuk node yang dipicu secara otomatis guna memantau status penjadwalan dan waktu prosesnya, serta memastikan node tersebut terus berjalan sesuai jadwal.

2. Langkah 7: Buat garis dasar cerdas (advanced)

   Untuk memastikan tugas prioritas tinggi menghasilkan data pada waktu tertentu, Anda dapat mengonfigurasi pemantauan garis dasar cerdas untuk tugas tersebut. Jika sistem memprediksi bahwa tugas tidak dapat diselesaikan pada waktu yang telah ditentukan, garis dasar akan mengirimkan peringatan exception tugas secara proaktif. Hal ini membantu Anda menerima dan menangani exception secara efisien.

3. Langkah 8: Buat aturan O&M otomatis untuk kelompok sumber daya

   Anda dapat membuat aturan pemantauan kustom untuk grup sumber daya eksklusif guna memantau penggunaannya dan jumlah instans yang menunggu di grup sumber daya tersebut, serta melakukan operasi O&M terkait.

Langkah 1: Lihat konfigurasi node

Untuk mencegah node yang dipicu secara otomatis berjalan secara tidak terduga, periksa konfigurasinya—seperti parameter penjadwalan dan dependensi node—setelah dipublikasikan.

1. Masuk ke Operation Center.

2. Cari node target.

   1. Di panel navigasi kiri, pilih Auto Triggered Task O&M > Auto Triggered Node.

   2. Di halaman Auto Triggered Node, cari node target.

3. Lihat detail node.

   1. Klik node target untuk membuka Grafik asiklik terarah (DAG)-nya.

   2. Klik Show Details untuk melihat informasi detail tentang node tersebut.

Contoh ini menunjukkan cara menemukan node result_table yang telah dipublikasikan dalam daftar node yang dipicu secara otomatis dan memeriksa apakah Scheduling Parameters dan Scheduling Resource Group-nya dikonfigurasi dengan benar.

Langkah 2: Uji node yang dipicu secara otomatis

Jalankan smoke test untuk node yang dipicu secara otomatis guna memverifikasi bahwa node tersebut berjalan sesuai harapan di lingkungan produksi. Operasi ini menjalankan logika kode aktual.

1. Buka halaman smoke test.

   Anda dapat menggunakan salah satu metode berikut:

   • Metode 1: Di daftar node yang dipicu secara otomatis, temukan tugas target lalu klik Test di kolom Actions.

   • Metode 2: Di DAG node target, klik kanan node tersebut lalu pilih Test.

2. Konfigurasi waktu data dan waktu proses untuk pengujian, lalu klik OK.

   Saat smoke test dijalankan, sebuah instans uji akan dibuat. Halaman Auto Triggered Task O&M > Test Instance menampilkan detail dan status instans tersebut.

   Catatan

   • Untuk informasi selengkapnya tentang smoke test, lihat Lakukan smoke test.

   • Untuk informasi selengkapnya tentang cara melihat instans uji, lihat Jalankan pengujian dan lihat instans uji.

Contoh ini menunjukkan cara menguji node result_table untuk memeriksa apakah node tersebut berhasil dijalankan. Anda dapat mengikuti langkah-langkah pada gambar untuk menjalankan pengujian dan melihat status eksekusi instans uji yang dihasilkan.

Langkah 3: Isi ulang data historis

Setelah node yang dipicu secara otomatis dikembangkan dan dipublikasikan, node tersebut dijalankan pada interval terjadwal berdasarkan konfigurasinya. Jika Anda perlu menghitung ulang data historis, Anda dapat menggunakan fitur pengisian ulang data.

1. Buka halaman pengisian ulang data.

   Anda dapat menggunakan salah satu metode berikut:

   • Metode 1: Di daftar node yang dipicu secara otomatis, temukan tugas target lalu klik Run di kolom Actions.

   • Metode 2: Di DAG node target, klik kanan node tersebut lalu pilih Run.

2. Pilih mode pengisian ulang data.

   Anda dapat memilih mode sesuai kebutuhan:

   Mode	Deskripsi	Kasus Penggunaan
   Manual selection	Pilih satu atau beberapa node sebagai root node. Anda kemudian dapat memilih secara manual node turunannya untuk pengisian ulang data. Anda dapat menentukan subset dari node turunan tersebut. Catatan Mode ini kompatibel dengan rencana pengisian ulang data sebelumnya seperti Backfill Data for Current Node, Current and Descendant Nodes Retroactively, dan Advanced Mode. Maksimal 500 root node dan total 2.000 node (root dan turunan) dapat diisi ulang dalam satu operasi.	Pengisian ulang data batch untuk node saat ini dan node turunannya. Pilih secara fleksibel sekelompok node untuk pengisian ulang data. Node-node tersebut tidak perlu memiliki dependensi satu sama lain.
   Select by link	Pilih node awal sebagai root node dan satu atau beberapa node akhir. Sistem secara otomatis menganalisis dan memasukkan semua node antara node awal dan akhir ke dalam cakupan pengisian ulang data, termasuk node awal dan akhir tersebut.	Pengisian ulang data end-to-end untuk tugas dengan dependensi kompleks.
   Select by workspace	Pilih root node dan tentukan cakupan pengisian ulang data berdasarkan ruang kerja node turunannya. Catatan Mode ini kompatibel dengan rencana pengisian ulang data Massive Node Mode sebelumnya. Maksimal 20.000 node dapat diisi ulang dalam satu operasi. Blacklist tugas tidak didukung.	Gunakan mode ini jika node turunan dari node saat ini ada di beberapa ruang kerja dan Anda perlu mengisi ulang data untuk node di ruang kerja tersebut.
   Specified node and all descendants	Setelah Anda memilih root node, sistem secara otomatis menganalisis dan memasukkan node tersebut beserta semua node turunannya ke dalam cakupan pengisian ulang data. Penting Node yang dipicu hanya akan terlihat saat tugas pengisian ulang data sedang berjalan. Gunakan mode ini dengan hati-hati.	Isi ulang data untuk root node dan semua node turunannya.

3. Konfigurasi parameter pengisian ulang data.

   Konfigurasi parameter seperti waktu data dan node yang akan diisi ulang sesuai kebutuhan bisnis Anda. Parameter yang tersedia bervariasi tergantung mode yang dipilih. Untuk informasi selengkapnya, lihat Kelola instans pengisian ulang data.

Contoh ini menggunakan mode Backfill Data for Current Node untuk mengisi ulang data node result_table untuk rentang waktu data dari 2024-09-17 hingga 2024-09-19, untuk periode antara 00:00 dan 01:00 setiap hari. Untuk langkah-langkah konfigurasinya, lihat gambar berikut.

Langkah 4: Lihat instans berulang

Setelah node yang dipicu secara otomatis dipublikasikan, instans berulang akan dibuat berdasarkan siklus penjadwalannya. Jika Instance generation method diatur ke T +1 generated next day di DataStudio, tugas tersebut dijadwalkan untuk dijalankan mulai hari berikutnya. Jika parameter diatur ke Instant generation after publishing, tugas tersebut dijadwalkan untuk dijalankan pada hari yang sama. Anda dapat melihat instans berulang yang dihasilkan untuk menentukan apakah tugas dijadwalkan dan dijalankan dengan benar.

1. Buka halaman instans berulang.

   Di panel navigasi kiri Operation Center, pilih Auto Triggered Task O&M > Scheduled Instance.

2. Lihat instans berulang.

   Berdasarkan konfigurasi penjadwalan node yang dipicu secara otomatis, periksa apakah instans berulang yang sesuai telah dibuat dan dijalankan sesuai harapan. Untuk informasi selengkapnya tentang instans berulang, lihat Lihat instans berulang.

   Jika sebuah instans berada dalam status Not Run, lakukan operasi berikut:

   1. Gunakan fitur Upstream Analysis di panel DAG untuk mengidentifikasi dengan cepat tugas upstream utama yang menghambat tugas saat ini.

   2. Gunakan fitur Run Diagnostics untuk mendiagnosis mengapa tugas upstream utama gagal dijalankan atau mengidentifikasi masalah lainnya. Untuk tugas dengan rantai dependensi yang dalam, fitur ini membantu Anda menemukan masalah dengan cepat dan meningkatkan efisiensi O&M.

Contoh ini menunjukkan instans berulang yang dihasilkan oleh node result_table yang dijadwalkan per jam pada tanggal 2024.09.19.

Langkah 5: Lihat hasil eksekusi

Langkah 6: Buat aturan pemantauan kustom

Setelah memverifikasi bahwa node berfungsi sesuai harapan, Anda dapat membuat aturan pemantauan kustom untuk memantau status eksekusinya. Ketika terjadi error pada node, DataWorks akan mengirimkan peringatan berdasarkan konfigurasi Anda. Hal ini memungkinkan Anda mendeteksi dan menangani exception secara tepat waktu guna memastikan node dapat dijadwalkan sesuai harapan.

1. Masuk ke Operation Center.

2. Di panel navigasi kiri, pilih Monitoring and Alerting > Rule Management.

3. Buat aturan kustom.

   1. Klik Create Custom Rule.

   2. Konfigurasi aturan.

      Anda dapat membuat aturan kustom sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat aturan pemantauan kustom.

      Dalam contoh ini, aturan pemantauan dikonfigurasi untuk mengirimkan peringatan ketika node result_table gagal dijalankan. Gambar berikut menunjukkan konfigurasinya.Ketika node result_table gagal dijalankan, aturan Test rules dipicu, dan peringatan pesan teks dikirimkan kepada Pemilik node. Maksimal tiga peringatan dapat dikirimkan dengan interval 30 menit.

      Catatan

      Konfigurasikan kontak peringatan terlebih dahulu. Untuk informasi selengkapnya, lihat Lihat dan konfigurasi kontak peringatan.

Langkah 7: Buat garis dasar cerdas (advanced)

Untuk memastikan tugas menghasilkan data dalam waktu tertentu, Anda dapat mengonfigurasi pemantauan garis dasar untuk tugas tersebut. Tambahkan tugas ke garis dasar dan atur prioritas serta waktu komitmen. DataWorks menghitung perkiraan waktu penyelesaian tugas garis dasar berdasarkan status eksekusinya dan memberikan resource penjadwalan secara prioritas kepada tugas prioritas tinggi. Jika sistem memprediksi tugas garis dasar akan melewatkan waktu komitmennya, DataWorks akan mengirimkan peringatan. Anda kemudian dapat menangani exception tersebut secara cepat berdasarkan peringatan tersebut.

1. Masuk ke Operation Center.

2. Di panel navigasi kiri, klik Intelligent Baselines.

3. Buat garis dasar cerdas.

   1. Di tab Baselines, klik Create Baseline.

   2. Konfigurasi garis dasar.

      Anda dapat mengonfigurasi garis dasar sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat garis dasar.

      Contoh ini menunjukkan cara mengonfigurasi garis dasar per jam untuk node result_table untuk memantau output data node tersebut secara per jam. Gambar berikut menunjukkan konfigurasinya.Berikut ini penjelasan beberapa parameter:

      • Priority: Semakin besar nilainya, semakin tinggi prioritasnya. Tugas prioritas tinggi akan diberikan resource penjadwalan secara prioritas jika terjadi konflik sumber daya.

      • Estimated Completion Time: Waktu penyelesaian yang diperkirakan dihitung berdasarkan riwayat penyelesaian node selama periode tertentu.

      • Committed Completion Time: Waktu terakhir node harus menghasilkan data. Anda dapat mengonfigurasi parameter ini berdasarkan kebutuhan bisnis dan riwayat penyelesaian node selama periode tertentu.

      • Alert Margin Threshold: Buffer sebelum Committed Completion Time yang digunakan untuk menangani exception tugas. Hal ini memastikan tugas dapat diselesaikan pada waktu yang telah ditentukan.

        Catatan

        Interval antara margin peringatan dan waktu komitmen harus minimal 5 menit.

      Jika instans per jam dari node result_table tidak dapat diselesaikan dalam 30 menit pertama setiap jam, garis dasar Test Baselines dipicu, dan peringatan dikirimkan melalui pesan teks kepada Pemilik node. Maksimal tiga peringatan dapat dikirimkan dengan interval 30 menit.

Langkah 8: Buat aturan O&M otomatis untuk kelompok sumber daya

Jika Anda menggunakan grup sumber daya eksklusif untuk menjalankan tugas, Anda dapat membuat aturan O&M otomatis untuk grup sumber daya eksklusif tersebut sesuai kebutuhan bisnis Anda. Hal ini memungkinkan Anda mengatur peringatan pemantauan untuk penggunaan grup sumber daya dan jumlah instans yang menunggu di grup sumber daya tersebut, serta melakukan operasi O&M terkait.

Fitur O&M otomatis bekerja dengan mengaitkan aturan pemantauan untuk grup sumber daya eksklusif, menyesuaikan metrik pemantauan untuk instans yang berjalan di grup sumber daya target, serta mendefinisikan aturan O&M dengan logika bisnis. Ketika sebuah instans memenuhi kondisi filter, aksi O&M yang ditentukan akan dipicu secara otomatis.

1. Masuk ke Operation Center.

2. Buat aturan pemantauan untuk grup sumber daya.

   1. Di panel navigasi kiri, pilih Monitoring and Alerting > Rule Management.

   2. Buat dan konfigurasi aturan pemantauan untuk grup sumber daya.

      Prosedur konfigurasi aturan pemantauan untuk grup sumber daya mirip dengan konfigurasi untuk node. Anda hanya perlu mengatur Object Type ke Exclusive Resource Group for Scheduling. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat aturan pemantauan kustom.

      Dalam contoh ini, penggunaan resource dari grup sumber daya Exclusive_Scheduling_Resource dipantau. Gambar berikut menunjukkan konfigurasinya.

      Catatan

      Topik ini hanya memberikan contoh konfigurasi untuk demonstrasi. Saat melakukan konfigurasi, buatlah aturan pemantauan untuk grup sumber daya yang Anda gunakan.

      Jika penggunaan resource dari grup sumber daya Exclusive_Scheduling_Resource melebihi 90% selama 10 menit berturut-turut, aturan Resource group monitoring rules dipicu, dan peringatan dikirimkan melalui pesan teks kepada Penerima. Maksimal tiga peringatan dapat dikirimkan.

3. Buat aturan O&M otomatis berdasarkan aturan pemantauan grup sumber daya.

   1. Di panel navigasi kiri, pilih O&M Assistant > Automatic O&M.

   2. Di tab Rule Management, klik Create Rule.

   3. Konfigurasi aturan.

      Anda dapat mengonfigurasi aturan sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat aturan O&M otomatis untuk grup sumber daya.

      Dalam contoh ini, aturan bernama Automatic_test dibuat dan dikaitkan dengan aturan pemantauan Resource group monitoring rules untuk grup sumber daya penjadwalan eksklusif. Ketika aturan Resource group monitoring rules dipicu, DataWorks secara otomatis melakukan operasi O&M pada instans dalam aturan Automatic_test yang memenuhi kondisi filter. Gambar berikut menunjukkan konfigurasinya.Berikut ini penjelasan beberapa parameter:

      • Associated Monitoring Rule: Saat ini, Anda hanya dapat mengaitkan aturan pemantauan untuk grup sumber daya eksklusif untuk penjadwalan. Anda harus membuat aturan pemantauan yang diperlukan untuk grup sumber daya tersebut terlebih dahulu.

      • O&M Operation: Saat ini, hanya Terminate Running Instance yang didukung. Setelah aturan O&M dipicu, DataWorks akan menghentikan instans yang memenuhi kondisi filter.

      Jika penggunaan resource dari grup sumber daya penjadwalan eksklusif Exclusive_Scheduling_Resource melebihi 90% selama 10 menit berturut-turut, DataWorks akan menghentikan tugas per jam dan per menit yang memiliki prioritas 1 dan sedang berjalan di grup sumber daya Exclusive_Scheduling_Resource di ruang kerja yang ditentukan. Tugas-tugas tersebut dapat berupa instans berulang, instans uji, atau instans pengisian ulang data.

Kontrol Operasi O&M (advanced)

Operation Center menyediakan titik ekstensi untuk operasi seperti membekukan node, membuka bekuan node, mengisi ulang data, dan menonaktifkan node. Anda dapat menggunakan titik ekstensi ini bersama ekstensi untuk menyesuaikan logika tugas dan operasi O&M. Untuk informasi selengkapnya, lihat Ikhtisar ekstensi dan Contoh: Periksa event yang dipicu di Operation Center.