All Products
Search

This Product

    ApsaraMQ for Kafka:Reset offset konsumen

    Document Center

    ApsaraMQ for Kafka:Reset offset konsumen

    Last Updated:Jul 10, 2026

    Reset offset konsumen untuk mengonsumsi ulang pesan dari posisi sebelumnya atau offset partisi tertentu, atau lewati ke posisi terbaru guna melewati backlog pesan.

    Prasyarat

    Hentikan semua klien konsumen. ApsaraMQ for Kafka tidak mendukung pengaturan ulang offset untuk konsumen yang aktif.

    Penting

    Setelah Anda menghentikan klien konsumen, broker akan menganggapnya offline hanya setelah periode ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG berlalu (default: 10.000 ms).

    Informasi latar belakang

    ApsaraMQ for Kafka mendukung metode pengaturan ulang berikut:

    • Mulai mengonsumsi dari offset terbaru: Mengatur ulang offset ke posisi terbaru, sehingga melewatkan semua backlog pesan.

    • Mulai mengonsumsi dari titik waktu tertentu: Mengatur ulang offset ke timestamp masa lalu berdasarkan waktu penyimpanan pesan. Selama pesan masih berada dalam periode retensi Kafka (default: 3 hari), memilih opsi ini menjamin bahwa semua pesan sejak timestamp yang ditentukan akan dikonsumsi ulang tanpa terlewat.

      Catatan

      Sebelum mengatur ulang offset, hentikan semua klien konsumen dan tunggu hingga periode ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG (default: 10.000 ms) berlalu. Hal ini memastikan broker mengenali semua konsumen sebagai offline sebelum pengaturan ulang diterapkan.

    • Atur ulang offset konsumen berdasarkan partisi: Mengatur ulang offset hanya untuk partisi tertentu, sehingga menghindari konsumsi ulang pesan yang telah diproses dengan benar di partisi lain.

    Catatan

    Operasi ini hanya mengubah offset konsumen dan tidak menghapus pesan backlog.

    Prosedur

    1. Masuk ke ApsaraMQ for Kafka console.

    2. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.

    3. Pada halaman Instances, klik nama instans target.

    4. Di panel navigasi kiri, klik Groups.

    5. Pada halaman Groups, klik Group ID target.

    6. Pada halaman Group Details, klik Reset Consumer Offset.

    7. Pada panel Reset Consumer Offset for Group, tinjau Prerequisites dan atur kebijakan pengaturan ulang.

      1. Konfigurasikan Reset All Topics.

        • Klik Yes untuk mengatur ulang offset konsumen untuk semua topik.

        • Klik No dan masukkan nama topik yang akan diatur ulang di kotak teks Topic.

      2. Konfigurasikan Reset Method.

        • Klik Reset Consumer Offset to Latest Offset, lalu klik OK.

        • Klik Reset Consumer Offset to Offset at Specified Point in Time. Di bidang Point in Time, klik ikon kalender Calendar dan pilih waktu untuk memulai konsumsi. Lalu, klik OK.

        • Klik Reset Consumer Offsets by Partition. Pada baris partisi target, masukkan offset awal di kotak teks Consumer Offset, lalu klik OK.

    8. Pada kotak dialog Note, konfirmasi informasi tersebut dan klik OK.

    FAQ

    Apakah pengaturan ulang offset konsumen dapat mengatasi kegagalan konsumsi parsial pada topik?

    Pengaturan ulang offset konsumen dapat membantu mengatasi beberapa kasus kegagalan konsumsi parsial pada topik. Namun, sebelum melanjutkan, selidiki apakah masalah tersebut disebabkan oleh rebalance yang terlalu sering atau penugasan partisi yang tidak normal.

    • Jika rebalance terjadi terlalu sering, periksa versi klien Kafka dan sesuaikan parameter session.timeout.ms dan max.poll.interval.ms ke nilai yang sesuai dengan beban kerja konsumsi Anda.

    • Pastikan kelompok konsumen telah berlangganan ke topik target dengan benar.

    Jika akar masalah dipastikan sebagai penugasan partisi yang tidak normal, pengaturan ulang offset konsumen memungkinkan kelompok konsumen untuk mengonsumsi ulang pesan dari posisi yang benar.

    Apakah saya dapat terus mengonsumsi setelah mengubah ID kelompok konsumen Kafka?

    Ya. Setelah Anda mengubah ID kelompok konsumen, kelompok konsumen baru dapat terus mengonsumsi. Namun, offset awal tergantung pada apakah kelompok konsumen baru tersebut menjalankan konsumsi untuk pertama kali dan status saat ini dari topik. Sebelum mengganti ID kelompok konsumen, selidiki terlebih dahulu akar penyebab masalah apa pun, seperti gangguan jaringan atau timeout heartbeat, agar kelompok konsumen baru tidak mengalami masalah serupa.

    Apakah menghapus kelompok konsumen Kafka juga akan menghapus topik yang telah berlangganan?

    Tidak. Kelompok konsumen dan topik merupakan resource independen di ApsaraMQ for Kafka. Menghapus kelompok konsumen hanya menghapus kelompok konsumen dan offset konsumennya. Data dan konfigurasi topik yang telah berlangganan tidak terpengaruh.

    Bagaimana cara kelompok konsumen tipe spark-kafka-source atau Lindorm-Spark mengirimkan offset konsumen?

    • spark-kafka-source: Jenis kelompok konsumen ini mendukung pengiriman offset konsumen ke Kafka. Anda dapat mengontrol pengiriman offset otomatis dengan mengatur parameter enable.auto.commit. Atau, atur enable.auto.commit ke false dan panggil fungsi commit(offsets) secara manual pada waktu yang tepat.

    • Lindorm-Spark: Saat menggunakan Lindorm-Spark untuk mengonsumsi pesan Kafka, kirimkan offset secara manual. Atur enable.auto.commit ke false dan panggil commit(offsets) setelah logika konsumsi selesai. Hal ini memastikan offset hanya dikirim setelah pemrosesan pesan selesai, mencegah loncatan offset atau alarm pemantauan palsu akibat pengiriman otomatis.

    Dokumen terkait