Pusat Operasi adalah platform terpadu untuk operasi dan maintenance (O&M) data besar. Platform ini memungkinkan Anda melihat status real-time tugas-tugas Anda serta menyediakan aksi O&M seperti Intelligent Diagnosis dan Rerun untuk menangani masalah pada tugas. Fitur Smart Baseline membantu mengatasi tantangan seperti waktu penyelesaian tugas kritis yang tidak dapat diprediksi dan kesulitan dalam memantau jumlah tugas yang sangat besar, sehingga memastikan output data tepat waktu. Pusat ini juga menyediakan kemampuan O&M komprehensif untuk engine, sumber daya, dan penjadwalan.
Modul fungsional Pusat Operasi
Setelah Anda mengembangkan, melakukan commit, dan menerapkan tugas di Data Studio, Anda dapat menggunakan Pusat Operasi untuk melakukan O&M pada node yang dipicu otomatis, node yang dipicu secara manual, dan node real-time. Aksi tersebut mencakup menjalankan tugas produksi, mendiagnosis masalah eksekusi tugas, memantau status tugas, melihat metrik O&M utama, serta memeriksa daftar tugas engine.
Pusat Operasi memerlukan browser Chrome versi desktop (engine Chromium 69 atau lebih baru).
Pertimbangan penting
Tugas hanya akan dijadwalkan dan dijalankan secara otomatis setelah diterapkan ke lingkungan produksi. Tugas di lingkungan pengembangan tidak dijadwalkan secara otomatis.
Akses Pusat Operasi
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Operation Center.
Tugas Operasi dan Pemeliharaan
Modul O&M tugas menyediakan kemampuan O&M untuk tiga jenis tugas: O&M node yang dipicu otomatis, O&M node real-time, dan O&M node yang dipicu secara manual. Anda dapat menggunakan O&M Dashboard untuk melihat metrik utama eksekusi tugas dan memanfaatkan fitur-fitur di O&M Assistant, seperti Data Backfill, Intelligent Diagnosis, dan Automated O&M, untuk berbagai aksi O&M.
Modul | Deskripsi | Ketersediaan lingkungan | |
Menampilkan metrik O&M utama untuk scheduled tasks dalam bentuk laporan dan menyediakan halaman O&M khusus untuk tugas sinkronisasi batch dan real-time di Data Integration. | Modul ini tidak tersedia di Development Operation Center. | ||
Auto Triggered Node O&M | Memungkinkan Anda melihat DAG untuk scheduled tasks dan melakukan aksi seperti Test dan Backfill Data. | Development Operation Center tidak dapat menjadwalkan dan menghasilkan instans terjadwal secara otomatis. | |
Menampilkan daftar instans yang dihasilkan setelah scheduled tasks dikirim ke sistem penjadwalan. Di halaman ini, Anda dapat melihat DAG instans, menggunakan Perform Diagnostics, dan Rerun instans tersebut. | |||
Menampilkan daftar instans yang dihasilkan setelah Anda menguji scheduled task. Anda dapat memeriksa status eksekusi test instances, melihat DAG instans, menggunakan Perform Diagnostics, dan Rerun instans tersebut. | |||
Real-time Node O&M | Memungkinkan Anda Start, Terminate, dan Undeploy tugas real-time, serta mengonfigurasi Monitoring Setting. Hal ini membantu Anda mendeteksi dan menangani exception selama eksekusi tugas secara cepat. | - | |
Memungkinkan Anda Start, Stop, Undeploy, dan Change Owner untuk tugas sinkronisasi real-time, serta mengonfigurasi Monitoring Setting. Hal ini membantu Anda mendeteksi dan menangani exception selama eksekusi tugas secara cepat. | - | ||
Manually Triggered Node O&M | Anda dapat mengkueri dan melihat DAG untuk tugas manual, alur kerja yang dipicu manual, dan alur kerja yang dipicu event. Anda juga dapat secara manual Run tugas, View Instances, dan melakukan aksi lainnya. | - | |
Anda dapat menggunakan DAG untuk melihat informasi detail instans dengan cepat dan melakukan aksi seperti View Runtime Log, Perform Diagnostics, View Code, dan View Lineage. | - | ||
O&M Assistant | Memungkinkan Anda mengelola tugas data backfill. | - | |
Menyediakan kemampuan analisis end-to-end untuk tugas Anda, membantu Anda menemukan sumber masalah dengan cepat. Anda dapat melihat Running Details, Basic Information, Impact Baselines, dan Historical Instance suatu tugas. | Modul ini tidak tersedia di Development Operation Center. | ||
Memungkinkan Anda membuat custom O&M rules. Anda dapat menentukan metrik pemantauan dan aturan untuk instans yang berjalan pada kelompok sumber daya target. Ketika suatu aturan dipicu, aksi O&M yang telah ditentukan sebelumnya akan dijalankan secara otomatis. | - | ||
Agar tugas dalam scheduled instance dapat dijalankan, kondisi-kondisi berikut harus terpenuhi:
Semua instans node leluhur tugas tersebut berada dalam status success.
Waktu eksekusi terjadwal tugas tersebut telah tiba.
Sumber daya penjadwalan yang cukup tersedia.
Tugas tidak berada dalam status Suspended atau Frozen.
Di Pusat Operasi, warna-warna berbeda menunjukkan status instans yang berbeda. Untuk detailnya, lihat: Lampiran: Status eksekusi instans dan diagnosis eksekusi.
Pemantauan tugas
Modul pemantauan tugas mencakup Smart Baseline dan Alarm. Anda dapat mengonfigurasi Smart Baseline untuk mendeteksi dan mengirim peringatan terhadap anomali tugas. Anda juga dapat menggunakan fitur Rule Management, Alert Management, dan Schedule untuk memastikan penanganan peringatan O&M dilakukan tepat waktu.
Modul | Deskripsi | Ketersediaan lingkungan | |
Mendeteksi dan mengirim peringatan dini terhadap exception yang dapat menghambat penyelesaian tugas pada baseline tepat waktu. Hal ini memastikan data kritis dihasilkan dalam jangka waktu yang diharapkan, membantu Anda mengurangi biaya konfigurasi, menghindari peringatan yang tidak perlu, dan secara otomatis memantau semua tugas kritis. | Modul ini tidak tersedia di Development Operation Center. | ||
Alarm | Memungkinkan Anda mengonfigurasi aturan pemantauan kustom. Aturan ini dapat digunakan untuk memantau status eksekusi tugas atau penggunaan sumber daya, sehingga Anda dapat mendeteksi dan menangani exception secara cepat. | ||
Memusatkan semua peringatan yang dihasilkan oleh modul Node Alarm. Ini mencakup baseline warning messages dan event alerts dari Smart Baseline, serta peringatan dari custom rules dan global rules. | |||
Menyediakan jadwal piket untuk menangani peringatan O&M, memastikan respons tepat waktu saat peringatan muncul atau instans memerlukan maintenance. Setelah Anda mengonfigurasi jadwal piket, DataWorks akan mengirim Alert Information kepada petugas piket, sehingga mereka dapat mengidentifikasi dan menyelesaikan masalah secara cepat. | |||
Fitur O&M lainnya
Selain O&M tugas dan pemantauan cerdas, Pusat Operasi memungkinkan Anda melihat detail pekerjaan Compute Engine (E-MapReduce), memantau penggunaan kelompok sumber daya, serta menyesuaikan parameter penjadwalan. Fitur-fitur ini menawarkan kemampuan O&M yang nyaman dan komprehensif.
Modul | Deskripsi | Ketersediaan lingkungan | |
Memungkinkan Anda melihat detail pekerjaan Compute Engine (E-MapReduce). Hal ini membantu Anda menemukan dan menangani pekerjaan yang mengalami error secara cepat, mencegahnya menghambat tugas downstream dan mengganggu eksekusi instans normal. | Modul ini tidak tersedia di Development Operation Center. | ||
Memvisualisasikan penggunaan kelompok sumber daya dan eksekusi tugas instans. Fitur ini memungkinkan pemantauan cerdas dan Automated O&M untuk kelompok sumber daya dan tugas instans, mengurangi upaya manual dan meningkatkan efisiensi manajemen. | - | ||
Menyediakan platform tempat Anda dapat membuat dan mengelola Scheduling Calendars dan Workspace-level Parameters, sehingga mempermudah penyesuaian penjadwalan tugas. | - | ||
Lampiran: Status eksekusi instans dan diagnosis eksekusi
Di Pusat Operasi, warna dan ikon yang berbeda merepresentasikan status tugas selama eksekusi. Tabel berikut menjelaskan setiap status beserta ikon yang sesuai. Untuk informasi lebih lanjut mengenai prasyarat eksekusi tugas, lihat Intelligent Diagnosis.
No. | Status | Ikon status | Jalankan flowchart |
1 | Success |
|
|
2 | Not Running |
| |
3 | Failed |
| |
4 | Running |
| |
5 | Pending |
| |
6 | Suspended/Frozen |
|
