Operation Center adalah platform terpadu untuk operasi dan maintenance (O&M) data besar. Platform ini memungkinkan Anda melihat status waktu proses tugas secara real time serta menyediakan kemampuan O&M, seperti diagnosis cerdas dan rerun, untuk menangani pengecualian tugas. Dengan baseline cerdas, Anda dapat mengelola waktu penyelesaian tugas kritis yang tidak dapat diprediksi dan memantau jumlah besar tugas secara efisien, sehingga memastikan output data tepat waktu. Platform ini juga menawarkan fitur O&M komprehensif untuk mesin komputasi, sumber daya, dan penjadwalan.
Modul Operation Center
Setelah Anda mengembangkan, mengirimkan, dan menerapkan tugas di Data Studio, Anda dapat membuka Operation Center untuk melakukan operasi O&M pada tugas terjadwal, tugas manual, dan tugas real-time. Operasi tersebut mencakup menjalankan tugas produksi, menemukan dan menyelesaikan masalah tugas, memantau status eksekusi tugas, melihat metrik O&M utama, serta memeriksa daftar tugas engine.
Operation Center hanya didukung pada versi desktop Chrome 69 atau yang lebih baru.
Catatan
Tugas hanya akan dijadwalkan dan dijalankan secara otomatis setelah Anda menerapkannya ke lingkungan produksi. Tugas di lingkungan pengembangan tidak dijadwalkan secara otomatis.
Akses Operation Center
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Operation Center.
O&M Tugas
Modul O&M Tugas menyediakan kemampuan O&M untuk tiga jenis tugas: tugas terjadwal, tugas real-time, dan tugas manual. Anda dapat menggunakan O&M Dashboard untuk melihat metrik utama eksekusi tugas serta memanfaatkan fitur-fitur dalam O&M Assistant, seperti Data Backfill, Intelligent Diagnosis, dan Automated O&M, guna melakukan berbagai operasi O&M.
|
Modul |
Deskripsi |
Ketersediaan |
|
|
Menampilkan metrik O&M utama untuk scheduled tasks dalam laporan. Modul ini juga menyediakan halaman O&M khusus untuk tugas sinkronisasi batch dan real-time di Data Integration. |
Modul ini tidak tersedia di Operation Center untuk lingkungan pengembangan. |
||
|
Auto Triggered Task O&M |
Scheduled Tasks menyediakan tampilan DAG, Test tugas, Run, dan operasi lainnya untuk tugas terjadwal. |
Operation Center untuk lingkungan pengembangan tidak dapat menghasilkan instans terjadwal secara otomatis. |
|
|
Scheduled Instances menampilkan daftar instans yang dihasilkan setelah tugas terjadwal dikirimkan ke sistem penjadwalan. Anda dapat melihat DAG, menjalankan Run Diagnostics, Rerun instans terjadwal, serta melakukan operasi lainnya dalam daftar tersebut. |
|||
|
Daftar Test Instances menampilkan instans pengujian yang dihasilkan setelah Anda melakukan operasi pengujian pada tugas terjadwal. Anda dapat memeriksa status eksekusi instans pengujian serta melihat DAG, menjalankan Run Diagnostics, Rerun instans, dan melakukan operasi lainnya dalam daftar tersebut. |
|||
|
Real-time Task O&M |
Halaman Real-time Computing Tasks memungkinkan Anda Start, Stop, dan Undeploy tugas komputasi real-time, serta mengonfigurasi peringatan Monitoring Setting untuk mendeteksi dan menangani pengecualian tugas secara cepat. |
- |
|
|
Halaman Real-time Synchronization Tasks memungkinkan Anda Start, Stop, Undeploy, dan Change Owner untuk tugas sinkronisasi real-time. Halaman ini mendukung Alert Conditions guna mendeteksi dan menangani pengecualian tugas secara cepat. |
- |
||
|
Manually Triggered Task O&M |
Pada Manual Tasks, Anda dapat mengkueri tugas manual, alur kerja manual, dan alur kerja berbasis pemicu, serta melakukan operasi seperti melihat DAG, memicu secara manual Run, View Instances, dan lainnya. |
- |
|
|
Pada Manual Instances, Anda dapat dengan cepat melihat informasi detail instans melalui DAG serta melakukan operasi seperti View Runtime Log, View Code, dan View Lineage. |
- |
||
|
O&M Assistant |
Halaman Data Backfill memungkinkan Anda mengelola tugas pengisian ulang data. |
- |
|
|
Intelligent Diagnosis menyediakan kemampuan analisis lintas seluruh rantai untuk tugas, sehingga Anda dapat dengan cepat menemukan masalah. Anda dapat melihat Operation Details, General, Influenced Baseline, dan Historical instance. |
Modul ini tidak tersedia di Operation Center untuk lingkungan pengembangan. |
||
|
Automated O&M menyediakan custom O&M rules. Anda dapat menentukan metrik pemantauan dan aturan O&M kustom untuk instans yang berjalan pada kelompok sumber daya target. Ketika suatu aturan dipicu, aksi O&M yang sesuai akan dieksekusi secara otomatis untuk mencapai O&M terotomatisasi. |
- |
||
Ambil tugas dalam scheduled instances sebagai contoh. Syarat-syarat berikut harus dipenuhi sebelum tugas mulai berjalan:
-
Semua instans node induk yang menjadi dependensi tugas berada dalam status berhasil.
-
Waktu eksekusi terjadwal yang dikonfigurasi untuk node tugas telah tercapai.
-
Sumber daya penjadwalan yang tersedia mencukupi.
-
Tugas tidak berada dalam status beku.
Di Operation Center, warna instans yang berbeda merepresentasikan status instans yang berbeda. Untuk detail mengenai status eksekusi instans, lihat Status eksekusi instans dan diagnostik.
Pemantauan Tugas
Modul Pemantauan Tugas mencakup fitur baseline cerdas dan peringatan pemantauan. Anda dapat mengonfigurasi fitur baseline cerdas untuk mendeteksi pengecualian tugas dan mengirimkan peringatan dini. Anda juga dapat mengonfigurasi serta mengelola aturan pemantauan, informasi peringatan, dan jadwal piket guna menangani peringatan O&M secara tepat waktu.
|
Modul |
Deskripsi |
Ketersediaan |
|
|
Intelligent Baselines dapat mendeteksi secara cepat pengecualian yang berpotensi menghambat penyelesaian tugas dalam baseline tepat waktu dan mengirimkan peringatan dini untuk memastikan data kritis diproduksi dalam waktu yang diharapkan. Fitur ini membantu Anda mengurangi biaya konfigurasi, menghindari peringatan yang tidak perlu, dan secara otomatis memantau semua tugas kritis. |
Modul ini tidak tersedia di Operation Center untuk lingkungan pengembangan. |
||
|
Monitoring and Alerting |
Rule Management memungkinkan Anda mengonfigurasi aturan pemantauan kustom. Anda dapat menggunakan aturan pemantauan untuk memantau status eksekusi tugas atau penggunaan sumber daya serta mendeteksi dan menangani pengecualian tugas secara cepat. |
||
|
Fitur Alerts menyediakan manajemen terpusat untuk semua peringatan yang dihasilkan oleh modul Task Monitoring, termasuk baseline early warning alerts, event alerts, custom rule alerts, dan global rule alerts yang dihasilkan oleh Intelligent Baselines. |
|||
|
Jadwal piket menyediakan pengaturan jadwal untuk menangani peringatan O&M, sehingga memastikan respons tepat waktu ketika peringatan dipicu atau instans memerlukan maintenance. Setelah Anda mengonfigurasi jadwal piket, DataWorks akan mengirimkan Alerts kepada personel piket yang bersangkutan agar mereka dapat segera mendeteksi dan menangani masalah. |
|||
O&M Lainnya
Selain O&M tugas dan pemantauan cerdas, DataWorks memungkinkan Anda melihat detail mesin komputasi (E-MapReduce), memantau dan mengelola penggunaan kelompok sumber daya, serta menyesuaikan parameter penjadwalan, sehingga memberikan kemampuan O&M yang lebih nyaman dan komprehensif untuk pekerjaan sehari-hari Anda.
|
Modul |
Deskripsi |
Ketersediaan |
|
|
Engine O&M memungkinkan Anda melihat informasi detail tentang pekerjaan mesin komputasi (E-MapReduce), mengidentifikasi dan membersihkan pekerjaan yang berjalan secara salah dengan cepat, serta mencegah pekerjaan tersebut menghambat tugas downstream dan memengaruhi eksekusi instans normal. |
Modul ini tidak tersedia di Operation Center untuk lingkungan pengembangan. |
||
|
Resource O&M menyediakan tampilan visual penggunaan kelompok sumber daya dan eksekusi tugas instans, sehingga memungkinkan pemantauan cerdas dan O&M terotomatisasi untuk kelompok sumber daya dan tugas instans guna mengurangi operasi manual serta meningkatkan efisiensi O&M. |
- |
||
|
Scheduling Settings menyediakan platform bagi Anda untuk membuat dan mengelola Scheduling Calendar dan Workspace-level Parameters, sehingga mempermudah penyesuaian penjadwalan tugas. |
- |
||
Lampiran: Status eksekusi instans dan diagnostik
Operation Center menggunakan warna dan ikon berbeda untuk menunjukkan tahapan tugas dalam proses eksekusi. Warna dan ikon instans yang berbeda merepresentasikan status yang berbeda. Tabel berikut menjelaskan status tugas yang sesuai dengan setiap warna dan ikon instans. Untuk detail prasyarat menjalankan tugas, lihat Prasyarat menjalankan tugas.
|
No. |
Jenis status |
Ikon status |
Bagan alir eksekusi |
|
1 |
Succeeded |
|
|
|
2 |
Not run |
|
|
|
3 |
Failed |
|
|
|
4 |
Running |
|
|
|
5 |
Pending |
|
|
|
6 |
Paused/Frozen |
|
