DataWorks：Memulai dengan Operation Center

Buka Operation Center

Masuk ke Konsol Operation Center. Beralih ke Wilayah tujuan, pilih ruang kerja Anda dari daftar tarik-turun, lalu klik Enter Operation Center.

Prosedur

Fase 1: Uji dan verifikasi tugas penjadwalan

1. Langkah 1: Lihat konfigurasi node yang dipicu secara otomatis

   Untuk mencegah penjadwalan tak terduga pada node yang dipicu secara otomatis, Anda harus memeriksa konfigurasinya setelah dipublikasikan. Pastikan parameter seperti parameter penjadwalan dan grup sumber daya eksklusif untuk penjadwalan sudah benar. Jika belum, modifikasi konfigurasi tersebut dan publikasikan kembali tugasnya.

2. Langkah 2: Uji node yang dipicu secara otomatis

   Gunakan fitur Pengujian asap untuk memverifikasi bahwa node yang dipicu secara otomatis berjalan dengan benar di lingkungan produksi. Jika terjadi kesalahan, segera perbaiki agar tugas dapat berjalan sesuai harapan.

3. Langkah 3: Isi ulang data historis untuk node yang dipicu secara otomatis

   Gunakan fitur pengisian ulang data untuk menghitung ulang data periode historis.

4. Langkah 4: Lihat instans berulang

   Setelah node yang dipicu secara otomatis dipublikasikan, instans berulang akan dihasilkan berdasarkan jadwalnya. Jika Instance Generation Mode diatur ke Generate On The Next Day (T+1) di DataStudio, tugas mulai dijadwalkan pada hari berikutnya. Jika diatur ke Generate Immediately After Publishing, tugas dijadwalkan pada hari yang sama. Anda dapat melihat status pembuatan dan eksekusi instans untuk memastikan tugas dijadwalkan sesuai harapan.

5. Langkah 5: Lihat hasil eksekusi

   Setelah menguji sebuah node atau mengisi ulang data, Anda dapat memeriksa status operasi penulisan data.

Fase 2: Pantau node yang dipicu secara otomatis

1. Langkah 6: Buat aturan pemantauan kustom

   Anda dapat mengonfigurasi aturan pemantauan cerdas untuk node yang dipicu secara otomatis sesuai kebutuhan. Hal ini memungkinkan Anda memantau status penjadwalan dan eksekusi tugas guna memastikan tugas tersebut dijadwalkan dengan benar di masa depan.

2. Langkah 7: Buat garis dasar cerdas (Tingkat Lanjut)

   Untuk memastikan tugas prioritas tinggi menghasilkan data pada waktu tertentu, Anda dapat mengatur pemantauan garis dasar cerdas. Jika sistem memprediksi bahwa tugas tidak dapat diselesaikan sebelum waktu yang ditentukan, garis dasar akan mengirimkan peringatan tentang pengecualian tugas tersebut. Hal ini membantu Anda segera mendapatkan informasi dan menangani pengecualian tersebut.

3. Langkah 8: Buat aturan O&M otomatis untuk kelompok sumber daya

   Anda dapat membuat aturan pemantauan kustom untuk grup sumber daya eksklusif. Atur peringatan pemantauan untuk penggunaan grup sumber daya dan jumlah instans yang menunggu di dalamnya, lalu lakukan operasi O&M terkait.

Langkah 1: Lihat konfigurasi node yang dipicu secara otomatis

Untuk mencegah penjadwalan tak terduga pada node yang dipicu secara otomatis, Anda harus memeriksa konfigurasinya setelah dipublikasikan. Pastikan parameter seperti parameter penjadwalan dan dependensi node sudah benar.

1. Buka Operation Center.

2. Temukan node tujuan.

   1. Di panel navigasi sebelah kiri, pilih auto triggered node O&M > Auto Triggered Node.

   2. Di halaman Auto Triggered Node, cari node tujuan.

3. Periksa detail node.

   1. Klik node tujuan untuk membuka Graf Terarah Tanpa Siklus (DAG)-nya.

   2. Klik Expand Details untuk melihat informasi lengkap tentang node tersebut.

Contoh ini menunjukkan cara menemukan node result_table yang telah dipublikasikan dalam daftar node yang dipicu secara otomatis dan memeriksa apakah Scheduling Parameter dan Schedule Resource Group-nya dikonfigurasi dengan benar.

Langkah 2: Uji node yang dipicu secara otomatis

Anda dapat menggunakan fitur Pengujian asap untuk node yang dipicu secara otomatis guna memverifikasi bahwa penjadwalan dan eksekusinya di lingkungan produksi sesuai harapan Anda. Operasi ini mengeksekusi logika kode aktual.

1. Buka halaman pengujian asap.

   Anda dapat membuka halaman pengujian asap dengan salah satu metode berikut:

   • Metode 1: Di daftar node yang dipicu secara otomatis, temukan tugas tujuan lalu klik Test di kolom Operation.

   • Metode 2: Di DAG tugas tujuan, klik kanan tugas tersebut lalu pilih Test.

2. Konfigurasi Waktu data dan waktu proses untuk pengujian, lalu klik OK.

   Saat tugas diuji, sebuah instans uji akan dihasilkan. Anda dapat membuka halaman Auto Triggered Node O&M > Test Instance untuk melihat detail instans dan memeriksa status eksekusinya.

   Catatan

   • Untuk informasi selengkapnya tentang pengujian asap, lihat Lakukan pengujian asap.

   • Untuk melihat instans uji, lihat Jalankan pengujian dan lihat instans uji.

Contoh ini menunjukkan cara menguji node result_table dan melihat status eksekusi instans uji yang dihasilkan.

Langkah 3: Isi ulang data historis untuk node yang dipicu secara otomatis

Setelah node yang dipicu secara otomatis dikembangkan, dikirim, dan dipublikasikan, node tersebut berjalan pada waktu yang dijadwalkan. Jika Anda ingin menghitung ulang data untuk periode historis, Anda dapat menggunakan fitur pengisian ulang data.

1. Buka halaman pengisian ulang data.

   Anda dapat membuka halaman pengisian ulang data dengan salah satu metode berikut:

   • Metode 1: Di daftar node yang dipicu secara otomatis, temukan tugas tujuan lalu klik Backfill Data di kolom Operation.

   • Metode 2: Di DAG tugas tujuan, klik kanan tugas tersebut lalu pilih Backfill Data.

2. Pilih mode pengisian ulang data.

   Pilih mode pengisian ulang data sesuai kebutuhan:

   Mode pengisian ulang data	Deskripsi	Skenario
   Pemilihan Manual	Anda dapat memilih satu atau beberapa tugas sebagai tugas akar, lalu memilih secara manual node turunan mereka sebagai cakupan pengisian ulang data. Anda juga dapat menentukan subset node turunan. Catatan Mode ini kompatibel dengan rencana pengisian ulang data sebelumnya, seperti Current Node, Current Node and Descendant Nodes, serta Advanced Mode. Maksimal 500 tugas akar dan total 2.000 tugas, termasuk tugas akar dan node turunannya, didukung.	Mode ini digunakan untuk pengisian ulang data batch untuk node saat ini dan node turunannya. Mode ini digunakan untuk memilih secara fleksibel sekelompok node untuk pengisian ulang data. Node-node tersebut tidak perlu memiliki dependensi.
   Pilih Berdasarkan Tautan	Anda dapat memilih tugas awal sebagai tugas akar dan satu atau beberapa tugas akhir. Platform secara otomatis menganalisis dan menyertakan semua tugas antara tugas awal dan akhir, termasuk keduanya, dalam cakupan pengisian ulang data.	Mode ini digunakan untuk pengisian ulang data end-to-end untuk tugas yang memiliki dependensi kompleks.
   Pilih Berdasarkan Ruang Kerja	Anda dapat memilih tugas sebagai tugas akar dan menentukan cakupan pengisian ulang data berdasarkan ruang kerja dari node turunannya. Catatan Mode ini kompatibel dengan rencana pengisian ulang data Massive Nodes Mode sebelumnya. Maksimal 20.000 tugas didukung. Anda tidak dapat mengonfigurasi blacklist tugas.	Mode ini digunakan jika node turunan dari node saat ini berada di beberapa ruang kerja dan Anda perlu mengisi ulang data untuk node di ruang kerja tersebut.
   Tentukan Tugas dan Semua Turunan	Setelah Anda memilih tugas akar, sistem secara otomatis menyertakan tugas tersebut dan semua node turunannya dalam cakupan pengisian ulang data. Penting Anda hanya dapat melihat tugas mana yang dipicu saat tugas pengisian ulang sedang berjalan. Gunakan mode ini dengan hati-hati.	Mode ini digunakan untuk pengisian ulang data untuk tugas akar dan semua node turunannya.

3. Konfigurasi parameter pengisian ulang data.

   Konfigurasi Waktu data, node yang ingin Anda isi ulang datanya, dan parameter lain sesuai kebutuhan. Parameter yang diperlukan bervariasi tergantung pada mode yang dipilih. Untuk informasi selengkapnya, lihat Isi ulang data dan lihat instans pengisian ulang data (Baru).

Dalam contoh ini, mode pengisian ulang data Backfill Data For Current Node dipilih. Data yang dihasilkan dalam periode waktu dari 00:00 hingga 01:00 setiap hari dari 2024-09-17 hingga 2024-09-19 diisi ulang untuk node result_table. Anda dapat mengisi ulang data untuk node tersebut dengan melakukan operasi yang ditunjukkan pada gambar berikut.

Langkah 4: Lihat instans berulang

Setelah node yang dipicu secara otomatis dipublikasikan, instans berulang akan dihasilkan berdasarkan jadwalnya. Jika Instance Generation Mode diatur ke Generate On The Next Day (T+1) di DataStudio, tugas mulai dijadwalkan pada hari berikutnya. Jika diatur ke Generate Immediately After Publishing, tugas dijadwalkan pada hari yang sama. Anda dapat melihat instans berulang yang dihasilkan untuk memeriksa apakah tugas dijadwalkan dan berjalan sesuai harapan.

1. Buka halaman instans berulang.

   Di panel navigasi sebelah kiri Operation Center, pilih Auto Triggered Node O&M > Recurring Instance.

2. Lihat instans berulang.

   Periksa apakah instans berulang yang sesuai dihasilkan dan berjalan sesuai harapan berdasarkan konfigurasi jadwal tugas. Untuk informasi selengkapnya tentang instans berulang, lihat Lihat instans berulang.

   Jika sebuah instans tidak berjalan, lakukan langkah-langkah berikut:

   1. Gunakan fitur Upstream Analysis di panel DAG untuk segera menemukan tugas hulu utama yang menghambat tugas saat ini.

   2. Gunakan fitur Runtime Diagnosis untuk mendiagnosis alasan mengapa tugas hulu utama tidak berjalan atau mengidentifikasi masalah yang ada. Jika sebuah tugas memiliki lapisan dependensi yang dalam, Anda dapat menggunakan fitur diagnosis waktu proses untuk segera menemukan masalah dan meningkatkan efisiensi O&M.

Contoh ini menunjukkan instans berulang dari node result_table yang dijadwalkan per jam dan dihasilkan pada 2024-09-19.

Langkah 5: Lihat hasil eksekusi

Langkah 6: Buat aturan pemantauan kustom

Setelah node diuji dan diverifikasi, Anda dapat membuat aturan pemantauan kustom untuk node tersebut guna memantau status eksekusinya. Jika node gagal berjalan, DataWorks akan mengirimkan peringatan berdasarkan konfigurasi Anda. Hal ini membantu Anda segera mengidentifikasi dan menangani pengecualian serta memastikan node dapat dijadwalkan sesuai harapan di masa depan.

1. Buka Operation Center.

2. Di panel navigasi sebelah kiri, pilih Monitoring > Rule Management.

3. Buat aturan kustom.

   1. Klik Create Custom Rule.

   2. Konfigurasi informasi aturan.

      Anda dapat menyesuaikan aturan sesuai kebutuhan. Untuk informasi selengkapnya tentang konfigurasi, lihat Aturan pemantauan kustom.

      Contoh ini menunjukkan cara mengonfigurasi peringatan pemantauan untuk node result_table ketika node gagal berjalan. Konfigurasi spesifik ditunjukkan pada gambar berikut.Jika node result_table gagal berjalan, aturan Test rules dipicu, dan peringatan dikirimkan kepada Pemilik node melalui pesan teks. Peringatan dikirimkan maksimal 3 kali dengan interval 30 menit.

      Catatan

      Anda harus mengonfigurasi informasi kontak peringatan terlebih dahulu. Untuk informasi selengkapnya, lihat Lihat dan atur kontak peringatan.

Langkah 7: Buat garis dasar cerdas (Tingkat Lanjut)

Untuk memastikan tugas dapat menghasilkan data dalam waktu tertentu, Anda dapat mengatur pemantauan garis dasar untuk tugas tersebut. Anda dapat menambahkan tugas ke garis dasar dan mengatur prioritas serta waktu komitmennya. DataWorks menghitung perkiraan waktu penyelesaian tugas garis dasar berdasarkan riwayat eksekusinya dan memberikan akses preferensial ke sumber daya penjadwalan untuk tugas prioritas tinggi. Jika DataWorks memprediksi bahwa tugas garis dasar mungkin tidak selesai sebelum waktu komitmen, sistem akan mengirimkan peringatan. Anda dapat segera menangani pengecualian tersebut berdasarkan peringatan tersebut.

1. Buka Operation Center.

2. Di panel navigasi sebelah kiri, klik Intelligent Baseline.

3. Buat garis dasar cerdas.

   1. Di tab Baseline Management, klik Create Baseline.

   2. Konfigurasi informasi garis dasar.

      Anda dapat mengonfigurasi informasi garis dasar sesuai kebutuhan. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat garis dasar.

      Contoh ini mengonfigurasi garis dasar per jam untuk node result_table untuk memantau output data per jamnya. Konfigurasi spesifik ditunjukkan pada gambar berikut.Daftar berikut menjelaskan beberapa parameter:

      • Priority: Semakin besar nilainya, semakin tinggi prioritasnya. Tugas prioritas tinggi diberikan akses preferensial ke sumber daya penjadwalan saat sumber daya langka.

      • Estimated Finish Time: Waktu penyelesaian perkiraan dihitung berdasarkan riwayat penyelesaian node selama periode waktu tertentu.

      • Committed Time: Waktu terakhir dimana node harus menghasilkan data. Anda dapat mengatur ini berdasarkan kebutuhan bisnis dan riwayat penyelesaian aktual node.

      • Alert Margin: Anda dapat mengatur margin peringatan berdasarkan Committed Time untuk memberikan waktu penanganan pengecualian tugas. Hal ini membantu memastikan tugas dapat diselesaikan sebelum waktu komitmen.

        Catatan

        Interval antara margin peringatan dan waktu komitmen harus minimal 5 menit.

      Jika instans per jam dari node result_table tidak dapat diselesaikan dalam waktu 30 menit setiap jam, garis dasar Test Baselines dipicu. Peringatan dikirimkan kepada Pemilik node melalui pesan teks. Peringatan dikirimkan maksimal 3 kali dengan interval 30 menit.

Langkah 8: Buat aturan O&M otomatis untuk kelompok sumber daya

Jika Anda menggunakan grup sumber daya eksklusif untuk menjalankan tugas, Anda dapat membuat aturan O&M otomatis untuk grup sumber daya eksklusif tersebut sesuai kebutuhan. Hal ini memungkinkan Anda mengatur peringatan pemantauan untuk penggunaan grup sumber daya dan jumlah instans yang menunggu di dalamnya, lalu melakukan operasi O&M terkait.

Fitur O&M otomatis bekerja dengan mengaitkan aturan pemantauan dengan grup sumber daya eksklusif. Anda dapat menyesuaikan metrik pemantauan untuk instans yang berjalan di grup sumber daya tujuan dan menentukan aturan O&M berdasarkan logika bisnis Anda. Jika sebuah instans memenuhi kondisi filter, aksi O&M akan dipicu dan dieksekusi secara otomatis untuk mencapai O&M otomatis.

1. Buka Operation Center.

2. Buat aturan pemantauan untuk grup sumber daya.

   1. Di panel navigasi sebelah kiri, pilih Monitoring > Rule Management.

   2. Buat dan konfigurasi aturan pemantauan untuk grup sumber daya.

      Konfigurasi aturan pemantauan untuk grup sumber daya mirip dengan konfigurasi aturan pemantauan untuk node. Anda hanya perlu mengatur Object Type menjadi Exclusive Resource Group For Scheduling. Untuk informasi selengkapnya tentang konfigurasi, lihat Aturan pemantauan kustom.

      Contoh ini memantau utilisasi grup sumber daya dari grup sumber daya Exclusive_Scheduling_Resource. Konfigurasinya ditunjukkan pada gambar berikut.

      Catatan

      Topik ini hanya mendemonstrasikan operasi konfigurasi. Saat mengonfigurasi aturan, pastikan Anda mengonfigurasinya untuk grup sumber daya yang Anda gunakan.

      Jika utilisasi grup sumber daya dari grup sumber daya Exclusive_Scheduling_Resource melebihi 90% selama 10 menit, aturan Resource group monitoring rules dipicu. Peringatan dikirimkan kepada Penerima melalui pesan teks. Peringatan ini dikirimkan maksimal 3 kali.

3. Konfigurasi aturan O&M otomatis berdasarkan aturan pemantauan grup sumber daya.

   1. Di panel navigasi sebelah kiri, pilih O&M Assistant > Automatic O&M.

   2. Di tab Rule Management, klik Add Rule.

   3. Konfigurasi informasi aturan.

      Anda dapat mengonfigurasi informasi aturan sesuai kebutuhan. Untuk informasi selengkapnya tentang konfigurasi, lihat Buat aturan O&M otomatis untuk grup sumber daya.

      Contoh ini membuat grup sumber daya bernama Automatic_test dan mengaitkannya dengan Resource group monitoring rules, yaitu aturan pemantauan yang menggunakan grup sumber daya eksklusif untuk penjadwalan. Ketika aturan Resource group monitoring rules dipicu, DataWorks secara otomatis melakukan operasi O&M pada instans di Automatic_test yang memenuhi kondisi filter. Gambar berikut menunjukkan konfigurasinya.Bagian berikut menjelaskan beberapa parameter:

      • Associated Monitoring Rule: Saat ini, Anda hanya dapat mengaitkan aturan dengan aturan pemantauan untuk sumber daya eksklusif untuk penjadwalan. Anda harus membuat aturan pemantauan grup sumber daya yang diperlukan terlebih dahulu.

      • O&M Action: Saat ini, Anda hanya dapat memilih Stop Running Instance. Artinya, setelah aturan O&M dipicu, instans yang memenuhi kondisi akan dihentikan.

      Jika utilisasi grup sumber daya eksklusif untuk penjadwalan Exclusive_Scheduling_Resource melebihi 90% selama 10 menit, DataWorks akan menghentikan tugas prioritas-1 per jam dan per menit yang termasuk dalam instans berulang, instans uji, dan instans pengisian ulang data yang berjalan di grup sumber daya Exclusive_Scheduling_Resource di ruang kerja yang ditentukan.

Kelola dan kendalikan operasi O&M (tingkat lanjut)

Operation Center mendukung titik ekstensi, seperti pembekuan node, pemulihan node, pengisian ulang data, dan pembatalan publikasi node. Anda dapat menggunakan titik ekstensi ini dengan program ekstensi untuk menyesuaikan logika pemrosesan dan operasi O&M untuk tugas. Untuk informasi selengkapnya, lihat Ikhtisar ekstensi dan Contoh aplikasi: Periksa peristiwa pemicu di Operation Center.