atur ulang offset konsumen kafka - ApsaraMQ for Kafka

Mengatur ulang offset konsumen mengubah posisi dari mana konsumen mulai mengonsumsi pesan. Jika konsumen gagal atau mengonsumsi data yang salah, Anda dapat mengatur ulang offset konsumen untuk memutar kembali konsumsi ke offset tertentu atau ke offset partisi tertentu, sehingga memungkinkan Anda mengonsumsi ulang pesan tersebut. Anda juga dapat memindahkan offset konsumen ke posisi terbaru guna sementara melewati pesan yang terakumulasi.

Prasyarat

Semua klien konsumen harus dihentikan. ApsaraMQ for Kafka tidak mendukung pengaturan ulang offset konsumen secara online.

Penting

Setelah Anda menghentikan klien konsumen, server menganggap konsumen tersebut offline hanya setelah waktu yang ditentukan dalam ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG berlalu. Nilai default-nya adalah 10000 ms.

Informasi latar belakang

ApsaraMQ for Kafka mendukung metode berikut untuk mengatur ulang offset konsumen:

Mulai konsumsi dari offset terbaru: Melewati pesan yang terakumulasi di broker dan mengatur ulang offset konsumen ke posisi terbaru.
Mulai konsumsi dari titik waktu tertentu: Mengatur ulang offset konsumen ke titik waktu di masa lalu berdasarkan saat pesan disimpan di topik.
Atur ulang berdasarkan offset partisi: Jika akumulasi pesan terjadi hanya pada beberapa partisi, Anda dapat mengatur ulang offset konsumen hanya untuk partisi-partisi tersebut, sehingga mencegah konsumsi ulang pesan yang telah diproses dengan benar di partisi lainnya.

Catatan

Pesan yang terakumulasi tidak dihapus. Hanya offset konsumen yang diubah.

Prosedur

Masuk ke ApsaraMQ for Kafka console.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instans ApsaraMQ for Kafka yang ingin Anda kelola berada.
Pada halaman Instances, klik nama instans yang ingin Anda kelola.
Di panel navigasi sebelah kiri, klik Groups.
Pada halaman Groups, klik Group ID yang dituju.
Pada halaman Group Details, klik Reset Consumer Offset.
Di panel Reset Consumer Offset of Group, baca Prerequisites dan konfigurasikan kebijakan pengaturan ulang.
1. Konfigurasi pengaturan Reset All Topics.
  - Klik Yes untuk mengatur ulang offset konsumen untuk semua topik.
  - Klik No, lalu masukkan nama topik yang ingin Anda atur ulang di kotak teks Topic.
2. Tetapkan Reset Method.
  - Pilih Reset Consumer Offset to Latest Offset untuk mengatur ulang offset konsumen ke posisi terbaru, lalu klik OK.
  - Pilih Reset Consumer Offset to Offset at Specified Point in Time. Di kotak teks Point in Time, klik ikon untuk menentukan titik waktu mulai konsumsi pesan oleh kelompok tersebut, lalu klik OK.
  - Pilih Reset Consumer Offsets by Partition. Pada baris partisi yang dituju, masukkan nilai di kotak teks Consumer Offset sebagai offset awal untuk konsumsi, lalu klik OK.
Di kotak dialog Message, konfirmasi informasi tersebut dan klik OK.

Referensi

Untuk informasi selengkapnya tentang cara mengatur ulang offset konsumen menggunakan API, lihat Reset consumer group offsets.
Setelah Anda mengatur ulang offset, Anda dapat melihat status konsumsi untuk mengambil informasi offset konsumen terbaru. Untuk informasi selengkapnya, lihat View consumption status.