Pusat Operasi adalah platform terpadu untuk operasi dan maintenance (O&M) data besar. Platform ini memungkinkan Anda melihat status real-time tugas-tugas Anda serta menyediakan aksi O&M seperti Intelligent Diagnosis dan Rerun untuk menangani masalah pada tugas. Fitur Smart Baseline membantu mengatasi tantangan seperti waktu penyelesaian tugas kritis yang tidak dapat diprediksi dan kesulitan dalam memantau jumlah tugas yang sangat besar, sehingga memastikan output data tepat waktu. Pusat ini juga menyediakan kemampuan O&M komprehensif untuk engine, sumber daya, dan penjadwalan.
Modul fungsional Pusat Operasi
Setelah Anda mengembangkan, meng-commit, dan menerapkan tugas di Data Studio, Anda dapat menggunakan Pusat Operasi untuk melakukan O&M pada node yang dipicu otomatis, node yang dipicu secara manual, dan node real-time. Aksi tersebut mencakup menjalankan tugas produksi, mendiagnosis masalah eksekusi tugas, memantau status tugas, melihat metrik O&M utama, serta memeriksa daftar tugas engine.
Pusat Operasi memerlukan browser Chrome versi desktop (engine Chromium 69 atau lebih baru).
Pertimbangan penting
Tugas hanya akan dijadwalkan dan dijalankan secara otomatis setelah diterapkan ke lingkungan produksi. Tugas di lingkungan pengembangan tidak dijadwalkan secara otomatis.
Akses Pusat Operasi
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Operation Center.
Tugas O&M
Modul O&M tugas menyediakan kemampuan O&M untuk tiga jenis tugas: O&M node yang dipicu otomatis, O&M node real-time, dan O&M node yang dipicu secara manual. Anda dapat menggunakan O&M Dashboard untuk melihat metrik utama eksekusi tugas dan memanfaatkan fitur-fitur di O&M Assistant, seperti Data Backfill, Intelligent Diagnosis, dan Automated O&M, untuk berbagai aksi O&M.
Modul | Deskripsi | Ketersediaan lingkungan | |
Menampilkan metrik O&M utama untuk scheduled tasks dalam bentuk laporan dan menyediakan halaman O&M khusus untuk tugas sinkronisasi batch dan real-time di Data Integration. | Modul ini tidak tersedia di Development Operation Center. | ||
Auto Triggered Node O&M | Memungkinkan Anda melihat DAG untuk scheduled tasks dan melakukan aksi seperti Test dan Backfill Data. | Development Operation Center tidak dapat menjadwalkan dan menghasilkan scheduled instances secara otomatis. | |
Menampilkan daftar instances yang dihasilkan setelah scheduled tasks dikirim ke sistem penjadwalan. Di halaman ini, Anda dapat melihat DAG instance, menggunakan Perform Diagnostics, dan Rerun instance tersebut. | |||
Menampilkan daftar instances yang dihasilkan setelah Anda menguji scheduled task. Anda dapat memeriksa status eksekusi test instances, melihat DAG instance, menggunakan Perform Diagnostics, dan Rerun instance tersebut. | |||
Real-time Node O&M | Memungkinkan Anda Start, Terminate, dan Undeploy tugas real-time, serta mengonfigurasi Monitoring Setting. Hal ini membantu Anda mendeteksi dan menangani exception selama eksekusi tugas secara cepat. | - | |
Memungkinkan Anda Start, Stop, Undeploy, dan Change Owner untuk tugas sinkronisasi real-time, serta mengonfigurasi Monitoring Setting. Hal ini membantu Anda mendeteksi dan menangani exception selama eksekusi tugas secara cepat. | - | ||
Manually Triggered Node O&M | Anda dapat mengkueri dan melihat DAG untuk tugas manual, alur kerja yang dipicu manual, dan alur kerja yang dipicu event. Anda juga dapat secara manual Run tugas, View Instances, dan melakukan aksi lainnya. | - | |
Anda dapat menggunakan DAG untuk melihat informasi detail instance dengan cepat serta melakukan aksi seperti View Runtime Log, Perform Diagnostics, View Code, dan View Lineage. | - | ||
O&M Assistant | Memungkinkan Anda mengelola tugas data backfill. | - | |
Menyediakan kemampuan analisis end-to-end untuk tugas Anda, membantu Anda menemukan sumber masalah dengan cepat. Anda dapat melihat Running Details, Basic Information, Impact Baselines, dan Historical Instance suatu tugas. | Modul ini tidak tersedia di Development Operation Center. | ||
Memungkinkan Anda membuat custom O&M rules. Anda dapat menentukan metrik pemantauan dan aturan untuk instances yang berjalan pada kelompok sumber daya target. Ketika suatu aturan dipicu, aksi O&M yang telah ditentukan akan dilakukan secara otomatis. | - | ||
Agar tugas dalam scheduled instance dapat dijalankan, kondisi berikut harus terpenuhi:
Semua instance node leluhur tugas tersebut berada dalam status success.
Waktu eksekusi terjadwal tugas tersebut telah tiba.
Sumber daya penjadwalan yang cukup tersedia.
Tugas tidak berada dalam status Suspended atau Frozen.
Di Pusat Operasi, warna berbeda menunjukkan status instance yang berbeda. Untuk detailnya, lihat: Lampiran: Status eksekusi instance dan diagnosis eksekusi.
Pemantauan tugas
Modul pemantauan tugas mencakup Smart Baseline dan Alarm. Anda dapat mengonfigurasi Smart Baseline untuk mendeteksi dan mengirim peringatan dini terhadap anomali tugas. Anda juga dapat menggunakan fitur Rule Management, Alert Management, dan Schedule untuk memastikan penanganan peringatan O&M secara tepat waktu.
Modul | Deskripsi | Ketersediaan lingkungan | |
Mendeteksi dan mengirim peringatan dini terhadap exception yang dapat menghambat penyelesaian tugas pada baseline tepat waktu. Hal ini memastikan data kritis dihasilkan dalam jangka waktu yang diharapkan, membantu Anda mengurangi biaya konfigurasi, menghindari peringatan yang tidak perlu, dan secara otomatis memantau semua tugas kritis. | Modul ini tidak tersedia di Development Operation Center. | ||
Alarm | Memungkinkan Anda mengonfigurasi aturan pemantauan kustom. Aturan ini dapat digunakan untuk memantau status eksekusi tugas atau penggunaan sumber daya, sehingga Anda dapat mendeteksi dan menangani exception secara cepat. | ||
Memusatkan semua peringatan yang dihasilkan oleh modul Node Alarm. Ini mencakup baseline warning messages dan event alerts dari Smart Baseline, serta peringatan dari custom rules dan global rules. | |||
Menyediakan jadwal piket untuk menangani peringatan O&M, memastikan respons tepat waktu saat peringatan muncul atau instance memerlukan maintenance. Setelah Anda mengonfigurasi jadwal piket, DataWorks akan mengirim Alert Information kepada petugas piket, sehingga mereka dapat mengidentifikasi dan menyelesaikan masalah secara cepat. | |||
Fitur O&M lainnya
Selain O&M tugas dan pemantauan cerdas, Pusat Operasi memungkinkan Anda melihat detail pekerjaan Compute Engine (E-MapReduce), memantau penggunaan kelompok sumber daya, serta menyesuaikan parameter penjadwalan. Fitur-fitur ini menawarkan kemampuan O&M yang nyaman dan komprehensif.
Modul | Deskripsi | Ketersediaan lingkungan | |
Memungkinkan Anda melihat detail pekerjaan Compute Engine (E-MapReduce). Hal ini membantu Anda menemukan dan menangani pekerjaan yang mengalami error secara cepat, mencegahnya menghambat tugas downstream dan mengganggu eksekusi instance normal. | Modul ini tidak tersedia di Development Operation Center. | ||
Memvisualisasikan penggunaan kelompok sumber daya dan eksekusi tugas instance. Fitur ini memungkinkan pemantauan cerdas dan Automated O&M untuk kelompok sumber daya dan tugas instance, mengurangi upaya manual dan meningkatkan efisiensi manajemen. | - | ||
Menyediakan platform tempat Anda dapat membuat dan mengelola Scheduling Calendars dan Workspace-level Parameters, sehingga memudahkan penyesuaian penjadwalan tugas. | - | ||
Lampiran: Status eksekusi instance dan diagnosis eksekusi
Di Pusat Operasi, warna dan ikon berbeda merepresentasikan status tugas selama eksekusi. Tabel berikut menjelaskan setiap status beserta ikon yang sesuai. Untuk informasi lebih lanjut mengenai prasyarat eksekusi tugas, lihat Intelligent Diagnosis.
No. | Status | Ikon status | Jalankan flowchart |
1 | Success |
|
|
2 | Not Running |
| |
3 | Failed |
| |
4 | Running |
| |
5 | Pending |
| |
6 | Suspended/Frozen |
|
