Sebuah instance tugas DataWorks yang berjalan pada mesin komputasi E-MapReduce (EMR) mencakup beberapa tugas EMR. Tugas-tugas ini dijalankan secara berurutan. Anda dapat menggunakan fitur pemeliharaan mesin yang disediakan oleh DataWorks untuk melihat detail setiap tugas EMR, menemukan tugas yang gagal, dan menghapus tugas tersebut. Hal ini mencegah tugas yang gagal memengaruhi jalannya instance tugas DataWorks serta instance turunannya.
Batasan
DataWorks hanya memungkinkan Anda melakukan pemeliharaan pada tugas EMR. Untuk meningkatkan paket eksekusi EMR, Anda harus submit a ticket.
Engine Maintenance ditampilkan di panel navigasi sebelah kiri halaman Operation Center setelah kluster EMR didaftarkan ke ruang kerja DataWorks Anda.
Jika Anda telah membeli grup sumber daya eksklusif untuk penjadwalan, Anda harus submit a ticket untuk meningkatkan konfigurasinya. Jika tidak, nilai bidang tertentu akan ditampilkan sebagai tanda hubung (-) di halaman engine O&M.
Perhatian
Tugas layanan EMR tertentu dapat menggunakan kembali aplikasi YARN ketika dijalankan. Setelah aplikasi YARN digunakan kembali, job ID (ID aplikasi) yang sama akan ditampilkan di halaman engine O&M untuk tugas tersebut saat dijalankan di layanan DataWorks yang berbeda.
Sebagai contoh, parameter kyuubi.engine.share.level yang menentukan tingkat berbagi mesin EMR Kyuubi diatur ke USER secara default. Ini menunjukkan bahwa setiap pengguna menggunakan satu mesin. Semua tugas yang diinisiasi oleh pengguna yang sama pada mesin tersebut berbagi ID aplikasi yang sama. Ketika Anda menjalankan tugas EMR Kyuubi di DataWorks DataStudio, ID aplikasi dibuat untuk tugas tersebut. Jika Anda melanjutkan untuk menganalisis tugas di DataAnalysis, tidak ada ID aplikasi baru yang dibuat di halaman engine O&M. ID aplikasi yang dibuat saat Anda menjalankan tugas di DataStudio digunakan kembali. Penggunaan aplikasi YARN bervariasi tergantung pada jenis layanan EMR.
Halaman engine O&M hanya menampilkan ID aplikasi yang dibuat saat Anda menjalankan tugas EMR di DataWorks untuk pertama kalinya.
Setelah instance tugas DataWorks tempat tugas EMR berada berhasil atau gagal dijalankan, aplikasi YARN yang sesuai mungkin masih dalam status RUNNING. Sebagai contoh, parameter
kyuubi.session.engine.idle.timeoutyang menentukan periode waktu habis untuk sesi idle digunakan untuk menentukan apakah akan mempertahankan aplikasi YARN selama periode tertentu. Jika parameterkyuubi.session.engine.idle.timeoutdiatur kePT30M, aplikasi YARN tetap dipertahankan selama 30 menit setelah tugas EMR Kyuubi selesai dijalankan. Anda dapat pergi ke halaman EMR on ECS untuk melihat pengaturan parameter Kyuubi.
Prasyarat
Kluster EMR telah didaftarkan ke ruang kerja DataWorks Anda, dan tugas EMR yang relevan dijalankan di DataWorks.
Untuk informasi lebih lanjut tentang cara mendaftarkan kluster EMR, lihat Daftarkan Kluster EMR ke DataWorks.
Untuk informasi lebih lanjut tentang cara menjalankan tugas EMR, lihat Catatan Penggunaan untuk Pengembangan Node EMR di DataWorks.
Pergi ke halaman pemeliharaan mesin EMR
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Operation Center.
Di panel navigasi sebelah kiri halaman Pusat Operasi, pilih .
Lihat tugas EMR
Di halaman pemeliharaan mesin EMR, Anda dapat melihat daftar tugas EMR yang dibuat di semua ruang kerja DataWorks di wilayah saat ini. Anda juga dapat melihat detail tugas dan melakukan operasi pemeliharaan sesuai dengan kebutuhan bisnis Anda.
Cari tugas EMR di Area 1.
Anda dapat menentukan kondisi seperti ID tugas dan jenis tugas di bagian atas halaman pemeliharaan mesin EMR untuk mencari tugas EMR.
CatatanSecara default, halaman EMR engine O&M menampilkan data tiga hari sebelumnya.
Jika Anda ingin mencari tugas EMR berdasarkan ID instance DataWorks, Anda hanya dapat memasukkan ID instance yang dijalankan di Pusat Operasi di kolom DataWorks Instance ID. Jika Anda mencari tugas EMR berdasarkan job ID atau DataWorks instance ID, Anda hanya dapat menanyakan instance tempat tugas EMR berada dalam tujuh hari terakhir.
Lakukan operasi pemeliharaan pada tugas EMR di Area 2.
Di bagian ini, Anda dapat melihat detail tugas yang dipilih dan melakukan operasi pemeliharaan sesuai dengan kebutuhan bisnis Anda.
Fitur
Deskripsi
Lihat detail tugas
Anda dapat melihat informasi dasar tentang tugas EMR, termasuk ID tugas, status tugas, durasi berjalan, sumber tugas, dan instance tugas DataWorks tempat tugas tersebut berada.
Status tugas:
NEW: Tugas EMR baru dibuat.
NEW_SAVING: Tugas EMR sedang disimpan.
SUBMITTED: Tugas EMR dikirimkan untuk dijalankan.
ACCEPTED: Permintaan untuk menjalankan tugas disetujui oleh sistem penjadwalan.
RUNNING: Pekerjaan EMR sedang berlangsung.
CatatanJika tugas EMR berada dalam status RUNNING untuk jangka waktu yang lama, Anda dapat secara manual menghentikan instance tugas DataWorks tempat tugas EMR berada. Hal ini mencegah tugas EMR menghabiskan sumber daya dan mempengaruhi instance turunan.
FINISHED: Tugas EMR selesai dijalankan.
SUCCESSED: Tugas EMR berhasil dijalankan.
FAILED: Tugas EMR gagal dijalankan. Jika tugas EMR berada dalam status FAILED, Anda harus mengidentifikasi dan menyelesaikan masalah sesegera mungkin. Hal ini dapat mencegah tugas EMR mempengaruhi jalannya instance tugas DataWorks tempat tugas EMR berada dan instance tugas turunannya. Anda dapat mengklik ID tugas atau ID instance DataWorks tempat tugas berada untuk pergi ke halaman detail dan menyelesaikan masalah.
KILLED: Tugas EMR dihentikan oleh pengguna yang menjalankan tugas atau administrator.
ID Instance DataWorks:
Tugas EMR yang berbeda mungkin milik instance tugas DataWorks yang sama. Jika tugas EMR start to run pada titik waktu yang berbeda, tugas EMR tersebut dianggap milik instance tugas DataWorks yang berbeda. Untuk menentukan apakah tugas EMR milik DataWorks task instance yang sama, Anda dapat melihat ID di kolom Node Instance ID untuk setiap tugas EMR.
CatatanTidak ada ID instance yang dihasilkan untuk tugas yang dipicu untuk dijalankan di layanan DataWorks tertentu, seperti Data Quality, DataStudio, dan DataAnalysis. Dalam hal ini, sistem menampilkan tanda hubung (-) di kolom Node Instance ID untuk tugas yang sesuai.
Jenis tugas EMR: Anda hanya dapat melihat tugas EMR dengan jenis MapReduce dan Spark.
Pengurutan berdasarkan waktu berjalan: Anda dapat mengurutkan tugas berdasarkan start time atau end time dalam urutan menaik atau menurun. Dengan cara ini, Anda dapat dengan jelas melihat urutan berjalan, durasi berjalan, dan status tugas EMR.
Sumber tugas: Anda dapat melihat layanan DataWorks tempat tugas EMR dijalankan. Anda dapat pergi ke halaman layanan yang sesuai untuk melihat detail instance tempat tugas berada dengan mengklik tombol di kolom Tindakan.
Penggunaan antrian (%): persentase sumber daya antrian yang dialokasikan oleh pengelola sumber daya kluster YARN ketika Anda menjalankan tugas saat ini.
Lakukan operasi pada instance tempat tugas EMR berada
Hentikan instance tugas DataWorks.
Jika tugas EMR berada dalam status RUNNING untuk jangka waktu yang lama, Anda dapat secara manual menghentikan tugas tersebut. Tugas EMR mungkin berada dalam status RUNNING untuk jangka waktu yang lama karena kesalahan internal, dan tugas tersebut tidak dapat dihentikan secara otomatis. Untuk mencegah tugas tersebut menghabiskan sumber daya dan mempengaruhi jalannya tugas lain, Anda harus secara manual menghentikan tugas dan menyelesaikan masalah sesegera mungkin.
Hentikan satu tugas: Temukan tugas yang ingin Anda hentikan dan klik Terminate Running di kolom Tindakan.
Hentikan beberapa tugas sekaligus: Pilih tugas yang ingin Anda hentikan dan klik Stop DataWorks Node Instances di pojok kiri bawah halaman pemeliharaan mesin EMR untuk menghentikan instance tugas DataWorks tempat tugas yang dipilih berada sekaligus.
PentingHanya workspace administrator, pengguna yang diberi peran O&M, dan pemilik tugas yang dapat menghentikan instance tugas.
Jika beberapa tugas EMR milik instance tugas DataWorks yang sama dan Anda menghentikan salah satu tugas EMR, instance tugas DataWorks memasuki status FAILED.
Hanya instance tugas DataWorks yang berada dalam status berjalan yang dapat dihentikan.
Setelah Anda menghentikan tugas EMR yang sedang berjalan di instance tugas DataWorks, instance tugas DataWorks memasuki status FAILED. Dalam hal ini, instance turunan dari instance tugas DataWorks diblokir. Berhati-hatilah saat Anda menghentikan tugas EMR yang sedang berjalan.
Pergi ke halaman layanan untuk melihat detail instance
Jika Anda ingin melihat detail instance tempat tugas EMR berada, Anda dapat menemukan tugas EMR di halaman pemeliharaan mesin EMR dan mengklik tombol yang sesuai dengan layanan, seperti DataStudio, di kolom Tindakan untuk pergi ke halaman layanan tempat instance dipicu untuk dijalankan.
CatatanDataAnalysis: Hanya pemilik file yang dapat pergi ke halaman DataAnalysis untuk melihat file kueri SQL.
DataStudio: Untuk instance yang dipicu untuk dijalankan di DataStudio, semua pengembang di ruang kerja saat ini dapat melihat instance di halaman DataStudio. Hanya pengguna yang memicu instance untuk dijalankan yang dapat melihat riwayat berjalan dari instance tersebut.