全部产品
Search

搜索本产品

    E-MapReduce：FAQ

    文档中心

    E-MapReduce：FAQ

    更新时间：Jul 06, 2025

    Topik ini menjawab beberapa pertanyaan umum tentang Flume.

    Apa yang harus saya lakukan jika jumlah log yang ditulis ke Hive lebih sedikit daripada jumlah log yang dihasilkan?

    • Deskripsi masalah: Jumlah log yang ditulis ke Hive menggunakan Flume lebih sedikit daripada jumlah log yang dihasilkan.
    • Solusi: Tambahkan parameter hdfs.batchSize di konsol EMR. Untuk informasi lebih lanjut, lihat Tambahkan parameter. HDFS Sink menggunakan parameter hdfs.batchSize untuk menentukan jumlah event yang ditulis ke file sebelum file tersebut digulung ke HDFS. Jika parameter hdfs.batchSize tidak ditentukan, sebuah file akan digulung ke HDFS setiap kali 100 event ditulis ke file. Akibatnya, data tidak diperbarui tepat waktu.

    Apa yang harus saya lakukan jika terjadi kesalahan DeadLock saat saya menghentikan proses Flume?

    • Deskripsi masalah: Saat memanggil metode exit untuk menghentikan proses Flume, kesalahan DeadLock kadang-kadang terjadi.
    • Solusi: Jalankan perintah kill -9 untuk secara paksa menghentikan proses Flume.

    Bagaimana cara menangani pengecualian sesekali yang terjadi pada File Channel setelah saya menjalankan perintah kill -9 untuk secara paksa menghentikan proses Flume?

    • Masalah 1
      • Deskripsi masalah: File Channel digunakan. Setelah menjalankan perintah kill -9 untuk secara paksa menghentikan proses Flume, penguncian direktori gagal diperoleh. Akibatnya, Anda tidak dapat memulai ulang Flume. Pesan kesalahan berikut muncul: 
        Karena java.io.IOException: Tidak dapat mengunci data/checkpoints/xxx. Direktori sudah terkunci.
      • Solusi: Hapus file in_use.lock sebelum memulai ulang Flume. Disarankan untuk hanya menjalankan perintah kill -9 jika benar-benar diperlukan.
    • Masalah 2
      • Deskripsi masalah: File Channel digunakan. Setelah menjalankan perintah kill -9 untuk secara paksa menghentikan proses Flume, direktori data gagal diuraikan. Akibatnya, Anda tidak dapat memulai ulang Flume. Pesan kesalahan berikut muncul: 
        org.apache.flume.channel.file.CorruptEventException: Tidak dapat mengurai event dari file data.
      • Solusi: Hapus checkpoint dan direktori data sebelum memulai ulang Flume. Disarankan untuk hanya menjalankan perintah kill -9 jika benar-benar diperlukan.