Pusat Operasi adalah platform pemantauan O&M untuk data besar. Platform ini memungkinkan Anda melihat status eksekusi task secara real-time, mendiagnosis serta menjalankan ulang task yang abnormal, dan menggunakan Smart Baseline untuk memastikan task kritis selesai tepat waktu. Selain itu, Pusat Operasi menyediakan kemampuan O&M untuk engine, sumber daya, dan penjadwalan.
Modul fungsional
Setelah menerapkan node dari DataStudio, gunakan Pusat Operasi untuk mengelola Auto Triggered Nodes, Manually Triggered Nodes, dan node real-time—menjalankan task produksi, menangani masalah, memantau status, serta melihat metrik O&M.
Pusat Operasi memerlukan browser desktop dengan kernel Chrome 69 atau versi yang lebih baru.
Catatan penggunaan
Node hanya dijalankan sesuai jadwal setelah diterapkan ke lingkungan produksi. Node di lingkungan pengembangan tidak dijadwalkan secara otomatis.
Akses Pusat Operasi
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.
Tugas Operasi dan Pemeliharaan
O&M Task mencakup tiga jenis node: Auto Triggered Nodes, node real-time, dan Manually Triggered Nodes. Gunakan O&M Dashboard untuk melihat metrik eksekusi utama serta alat seperti Data Backfill, Intelligent Diagnosis, dan Automated O&M guna melakukan maintenance komprehensif.
|
Modul |
Deskripsi |
Ketersediaan lingkungan |
|
|
Menampilkan metrik O&M utama untuk scheduled tasks dalam laporan, dengan halaman khusus untuk task sinkronisasi offline dan real-time di Data Integration. |
Tidak tersedia di lingkungan pengembangan. |
||
|
Auto Triggered Task O&M |
Lihat DAG untuk Auto Triggered Nodes dan lakukan Test serta Run node. |
Lingkungan pengembangan tidak dapat menjadwalkan atau menghasilkan instans Auto Triggered secara otomatis. |
|
|
Menampilkan daftar instans yang dihasilkan setelah Auto Triggered Nodes dikirim ke sistem penjadwalan. Lihat DAG instans, lakukan Run Diagnostics, dan Rerun instans Auto Triggered. |
|||
|
Menampilkan daftar instans uji yang dihasilkan setelah Anda menguji Auto Triggered Node. Periksa status eksekusi, lihat DAG instans, lakukan Run Diagnostics, dan Rerun instans. |
|||
|
Real-time Task O&M |
Start, Stop, dan Undeploy node komputasi real-time. Monitoring Setting memberikan peringatan untuk penanganan exception secara tepat waktu. |
- |
|
|
Start, Stop, Undeploy, dan Modify Owner node sinkronisasi real-time. Monitoring Setting memberikan peringatan untuk penanganan exception secara tepat waktu. |
- |
||
|
Manually Triggered Task O&M |
Kueri Manually Triggered Nodes, alur kerja bisnis manual, dan alur kerja yang dipicu event. Lihat DAG, Run node secara manual, dan View Instances. |
- |
|
|
Gunakan DAG untuk melihat detail instans: View Runtime Log, Run Diagnostics, View Code, dan View Lineage. |
- |
||
|
O&M Assistant |
Kelola task pengisian ulang data. |
- |
|
|
Analisis end-to-end untuk diagnosis masalah secara cepat. Lihat Operation Details node, General, Influenced Baseline, dan Historical instance. |
Tidak tersedia di lingkungan pengembangan. |
||
|
Buat custom O&M rules yang menentukan metrik pemantauan untuk instans pada kelompok sumber daya target. Saat dipicu, sistem akan secara otomatis menjalankan aksi yang telah ditentukan sebelumnya. |
- |
||
Instans node yang dijadwalkan secara berkala hanya dijalankan jika kondisi berikut terpenuhi:
-
Semua instans node leluhur yang menjadi dependensi telah berhasil dijalankan.
-
Waktu eksekusi terjadwal untuk node tersebut telah tiba.
-
Sumber daya penjadwalan yang mencukupi tersedia.
-
Node tidak berada dalam status beku.
Di Pusat Operasi, warna berbeda merepresentasikan status instans yang berbeda. Untuk detail lebih lanjut mengenai status instans, lihat Lampiran: Status eksekusi instans dan diagnosis.
Pemantauan task
Pemantauan task mencakup Smart Baseline dan pemantauan Alert. Konfigurasikan Smart Baseline untuk mendeteksi exception pada node dan mengirimkan peringatan dini. Kelola aturan pemantauan, pemberitahuan peringatan, dan jadwal piket untuk penanganan alert yang tepat waktu.
|
Modul |
Deskripsi |
Ketersediaan lingkungan |
|
|
Intelligent Baselines mendeteksi exception yang menghalangi node baseline menyelesaikan tugas tepat waktu dan mengirimkan peringatan dini, sehingga memastikan data kritis dihasilkan sesuai jadwal. Manfaatnya: mengurangi biaya konfigurasi, menghindari alert yang tidak perlu, dan secara otomatis memantau semua task kritis. |
Tidak tersedia di lingkungan pengembangan. |
||
|
Monitoring and Alerting |
Konfigurasikan aturan pemantauan kustom untuk status eksekusi node atau penggunaan resource guna mendeteksi dan menangani exception secara cepat. |
||
|
Memusatkan semua alert dari modul Task Monitoring: baseline warnings dan event alerts dari Intelligent Baselines, serta alert dari custom rule dan global rule. |
|||
|
Kelola shift respons alert O&M. Setelah dikonfigurasi, DataWorks mengirimkan Alerts kepada personel piket untuk penyelesaian yang cepat. |
|||
O&M lainnya
Selain O&M task dan pemantauan, DataWorks memungkinkan Anda melihat detail engine E-MapReduce, memantau penggunaan kelompok sumber daya, serta menyesuaikan parameter penjadwalan.
|
Modul |
Deskripsi |
Ketersediaan lingkungan |
|
|
Lihat detail pekerjaan E-MapReduce. Temukan dan bersihkan pekerjaan yang error untuk mencegahnya menghambat node downstream. |
Tidak tersedia di lingkungan pengembangan. |
||
|
Memvisualisasikan penggunaan kelompok sumber daya dan status eksekusi instans. Memungkinkan pemantauan cerdas dan Automated O&M untuk kelompok sumber daya dan instans. |
- |
||
|
Buat dan kelola Scheduling Calendar dan Workspace-level Parameters untuk menyesuaikan penjadwalan task. |
- |
||
Lampiran: Status eksekusi instans dan diagnosis
Di Pusat Operasi, warna dan ikon menunjukkan status eksekusi instans seperti dijelaskan di bawah ini. Untuk prasyarat eksekusi task, lihat Diagnosis eksekusi task.
|
No. |
Jenis status |
Ikon status |
Bagan alir eksekusi |
|
1 |
Success |
|
|
|
2 |
Not running |
|
|
|
3 |
Failed |
|
|
|
4 |
Running |
|
|
|
5 |
Waiting |
|
|
|
6 |
Suspended/frozen |
|
