DataWorks:Engine O&M

Batasan

• Fitur Engine O&M di DataWorks hanya mendukung pekerjaan EMR. Anda harus submit a ticket untuk melakukan upgrade paket eksekusi EMR guna memastikan data O&M diambil dengan benar.

• Menu Engine O&M tidak muncul di panel navigasi sebelah kiri Operation Center untuk ruang kerja yang tidak memiliki kluster EMR terdaftar.

• Jika Anda menggunakan grup sumber daya eksklusif untuk penjadwalan, Anda harus submit a ticket untuk meminta peningkatan. Jika tidak, beberapa bidang pada halaman Engine O&M akan ditampilkan sebagai tanda hubung (-).

Catatan

Ketika sebuah aplikasi YARN digunakan kembali, Job ID (application ID)-nya pada halaman Engine O&M tetap sama, meskipun Anda menjalankan task tersebut di modul DataWorks yang berbeda.

• Halaman Engine O&M hanya menampilkan application ID yang dihasilkan saat pertama kali pekerjaan EMR dijalankan di DataWorks.

• Setelah instans task DataWorks untuk pekerjaan EMR selesai dijalankan (dengan status Successful atau Failed), aplikasi YARN mungkin masih dalam status RUNNING. Sebagai contoh, pada Kyuubi, timeout sesi idle yang ditentukan oleh kyuubi.session.engine.idle.timeout biasanya menentukan apakah aplikasi YARN dipertahankan untuk periode tertentu. Pengaturan PT30M untuk kyuubi.session.engine.idle.timeout berarti aplikasi YARN dipertahankan selama 30 menit setelah pekerjaan EMR Kyuubi selesai. Anda dapat membuka Konsol EMR on ECS untuk melihat konfigurasi layanan yang sesuai.

Prasyarat

Anda telah mendaftarkan kluster EMR ke ruang kerja DataWorks dan menjalankan task EMR terkait.

1. Daftarkan kluster: Lihat DataStudio (legacy): Bind EMR compute resources.

2. Jalankan task EMR: Lihat DataWorks On EMR usage notes.

Mengakses halaman engine O&M

1. Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Operation Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Operation Center.

2. Di panel navigasi sebelah kiri, pilih Others > Engine O&M > E-MapReduce untuk membuka halaman Engine O&M E-MapReduce.

Pekerjaan engine

Halaman Engine O&M E-MapReduce mencantumkan semua pekerjaan E-MapReduce dari seluruh ruang kerja DataWorks di wilayah saat ini. Di halaman ini, Anda dapat melihat detail pekerjaan dan melakukan operasi O&M.

• Filter pekerjaan E-MapReduce

  Di bilah menu atas halaman Engine O&M E-MapReduce, gunakan filter untuk menemukan pekerjaan tertentu berdasarkan kriteria seperti Job ID atau jenis pekerjaan.

  Catatan

  • Secara default, halaman Engine O&M menampilkan data instans engine dari tiga hari terakhir.

  • Saat melakukan filter berdasarkan DataWorks Instance ID, Anda hanya dapat mencari ID dari Operation Center. Pencarian berdasarkan Job ID atau DataWorks Instance ID dibatasi hanya untuk instans pekerjaan dari tujuh hari terakhir.

• Lakukan operasi pada pekerjaan E-MapReduce

  Di area ini, Anda dapat melihat detail pekerjaan yang dipilih dan melakukan operasi O&M sesuai kebutuhan.

  Fitur	Deskripsi
  Lihat detail pekerjaan	Anda dapat melihat informasi dasar tentang pekerjaan E-MapReduce, termasuk Job ID, status pekerjaan, waktu eksekusi, sumber pekerjaan, dan instans DataWorks tempat pekerjaan tersebut berada. Deskripsi status pekerjaan: NEW: Pekerjaan baru saja dibuat. NEW_SAVING: Pekerjaan sedang disimpan. SUBMITTED: Permintaan untuk menjalankan pekerjaan telah dikirim. ACCEPTED: Penjadwal telah menerima permintaan untuk menjalankan pekerjaan. RUNNING: Pekerjaan sedang berjalan. Catatan Jika pekerjaan tetap dalam status RUNNING dalam waktu lama, Anda dapat secara manual menghentikan instans task DataWorks yang menjalankan pekerjaan tersebut. Hal ini mencegah pekerjaan bermasalah memakan resource dalam jangka waktu lama dan menghambat task downstream. FINISHED: Pekerjaan telah selesai dijalankan. SUCCEEDED: Pekerjaan berhasil dijalankan. FAILED: Pekerjaan gagal dijalankan. Jika pekerjaan berada dalam status ini, Anda harus segera mengidentifikasi dan menyelesaikan kesalahan untuk menghindari penghambatan job downstream dan memengaruhi eksekusi task normal. Klik Job ID atau ID instans DataWorks untuk membuka halaman detail task guna troubleshooting. KILLED: Pekerjaan dihentikan oleh pelaksana atau administrator. DataWorks Instance ID: Pekerjaan E-MapReduce yang berbeda mungkin memiliki DataWorks instance ID yang sama. Namun, jika nilai Start time-nya berbeda, maka pekerjaan tersebut berasal dari instans task DataWorks yang berbeda. Oleh karena itu, Anda harus menggunakan kombinasi DataWorks Instance ID dan Start time untuk mengidentifikasi secara unik sebuah instans task DataWorks. Catatan Task yang dipicu dari beberapa modul DataWorks, seperti Data Quality, DataStudio, dan DataAnalysis, tidak memiliki instance ID. Untuk task tersebut, platform menampilkan tanda hubung (-). Jenis pekerjaan EMR: Anda hanya dapat melihat pekerjaan jenis MAPREDUCE dan SPARK. Urutkan berdasarkan waktu eksekusi: Anda dapat mengurutkan berdasarkan Start time atau End Time secara ascending atau descending untuk memeriksa urutan eksekusi dan durasi pekerjaan serta memahami status eksekusinya. Sumber pekerjaan: Menampilkan modul DataWorks tempat pekerjaan E-MapReduce dijalankan. Anda dapat membuka modul yang sesuai di kolom Actions untuk melihat detail task. Penggunaan antrian (%): persentase kapasitas antrian yang digunakan oleh pekerjaan saat ini. Ini merupakan proporsi resource yang dialokasikan oleh resource manager kluster YARN ke antrian saat pekerjaan berjalan.
  Lakukan operasi pada instans task	Hentikan instans task DataWorks Anda sebaiknya secara manual menghentikan pekerjaan E-MapReduce yang tetap dalam status RUNNING dalam waktu yang tidak wajar. Pekerjaan semacam ini sering gagal menghentikan diri secara otomatis akibat error internal. Menghentikan pekerjaan tersebut mencegahnya mengonsumsi resource tanpa batas dan menghambat task lain. Untuk menghentikan satu pekerjaan, klik Terminate di kolom Actions untuk pekerjaan yang bersangkutan. Untuk menghentikan beberapa pekerjaan, pilih pekerjaan target lalu klik Stop DataWorks Node Instances di pojok kiri bawah. Penting Hanya Workspace Administrator, pengguna dengan role O&M, dan pemilik task yang dapat menghentikan instans task. Jika beberapa pekerjaan E-MapReduce berasal dari instans task DataWorks yang sama, menghentikan salah satu pekerjaan akan menyebabkan instans task DataWorks tersebut masuk ke status FAILED. Anda hanya dapat menghentikan instans task DataWorks yang sedang berjalan. Menghentikan instans task akan mengubah statusnya menjadi FAILED. Instans dengan status FAILED akan menghambat eksekusi node downstream, jadi lakukan dengan hati-hati. Buka modul untuk melihat task Klik tautan modul di kolom Actions (misalnya, Go to DataStudio) untuk membuka modul DataWorks asal dan melihat detail eksekusi task. Catatan DataAnalysis: Hanya pemilik file yang dapat membuka file kueri SQL. DataStudio: Setelah Anda membuka halaman DataStudio, semua developer di ruang kerja dapat melihat task tersebut. Namun, hanya pengguna yang menjalankan task yang dapat melihat catatan eksekusi historisnya.