Topik ini merangkum masalah umum terkait Hive.
- Cara mengatasi pekerjaan yang macet dalam status waiting
- Cara memeriksa apakah tahap map membaca file kecil
- Cara menentukan apakah tugas reduce yang berjalan lama disebabkan oleh kesenjangan data
Pekerjaan macet dalam status waiting
Ikuti langkah-langkah berikut untuk mengidentifikasi masalah:
- Di Konsol E-MapReduce, buka halaman Access Links and Ports dan klik tautan YARN UI.
- Klik ID aplikasi.
- Klik Tracking URL.Halaman ini menampilkan beberapa pekerjaan dalam status waiting.
- Di panel navigasi kiri, klik Scheduler.Pada bagian Application Queues, periksa persentase Capacity dan Used untuk setiap antrian guna mengidentifikasi kendala sumber daya. Jika suatu antrian mengalami kendala, pertimbangkan untuk memindahkan pekerjaan ke antrian yang tidak aktif. Jika tidak, Anda mungkin perlu mengoptimalkan kode Anda.
File kecil pada tahap map
Ikuti langkah-langkah berikut untuk mengidentifikasi masalah:
- Di Konsol E-MapReduce, buka halaman Access Links and Ports dan klik tautan YARN UI.
- Klik ID aplikasi.Halaman ini menampilkan detail tugas map, termasuk jumlah data yang dibaca oleh setiap tugas. Misalnya, suatu tugas mungkin hanya membaca data sebesar 2 byte. Jika sebagian besar tugas map memproses data dalam jumlah sangat kecil, pertimbangkan untuk melakukan penggabungan file kecil.
Anda juga dapat memeriksa log setiap tugas map untuk informasi lebih lanjut.
Kesenjangan data pada tugas reduce
Ikuti langkah-langkah berikut untuk mengidentifikasi masalah:
- Di Konsol E-MapReduce, buka halaman Access Links and Ports dan klik tautan YARN UI.
- Klik ID aplikasi.
- Di halaman tugas Reduce, urutkan tugas berdasarkan waktu penyelesaian secara menurun untuk mengidentifikasi tugas yang paling lama berjalan. Periksa kolom State untuk memastikan status tugas, lalu tinjau kolom Successful Attempt, Shuffle Finish Time, Merge Finish Time, dan Finish Time guna menganalisis durasi setiap fase dan menentukan kemungkinan adanya kesenjangan data.
- Klik nama tugas yang berjalan lama.
- Di halaman detail tugas, klik Counters di panel navigasi kiri.
Temukan bagian Map-Reduce Framework, lalu periksa nilai Reduce input records dan Reduce shuffle bytes. Jika nilai-nilai tersebut jauh lebih besar pada satu tugas dibandingkan tugas lainnya, hal ini mengindikasikan adanya kesenjangan data.