Ketika pesan menumpuk di topik Kafka atau penggunaan disk melonjak, Anda memerlukan visibilitas tingkat partisi untuk mengidentifikasi partisi yang terpengaruh dan menilai apakah konsumen mampu mengimbangi laju produksi. Status partisi menampilkan jumlah pesan dan rentang offset untuk setiap partisi dalam suatu topik, sehingga Anda dapat dengan cepat mengidentifikasi ketidakseimbangan distribusi, partisi yang tidak aktif, serta keterlambatan konsumen yang terus meningkat.
Konsep
| Konsep | Deskripsi |
|---|---|
| Partisi | Log berurutan dan hanya bisa ditambahkan (append-only) dalam suatu topik. Setiap partisi menyimpan pesan secara independen dan mendukung konsumsi paralel. |
| Offset | Nomor unik yang bertambah secara inkremental dan diberikan pada setiap pesan dalam suatu partisi, yang menunjukkan posisinya. |
| Offset minimum | Offset paling awal yang tersedia dalam suatu partisi. Pesan sebelum offset ini telah dibersihkan oleh kebijakan retensi. |
| Offset maksimum | Offset terbaru dalam suatu partisi, yang merepresentasikan pesan yang paling baru ditulis. |
| Keterlambatan konsumen (Consumer lag) | Selisih antara offset maksimum dan offset terakhir yang dikomit oleh kelompok konsumen. Keterlambatan yang besar atau terus meningkat berarti konsumen tidak mampu mengimbangi laju pesan masuk. |
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Sebuah topik di instans ApsaraMQ for Kafka Anda. Untuk informasi lebih lanjut, lihat Langkah 3: Buat resource.
Lihat status partisi di konsol
Masuk ke ApsaraMQ for Kafka console.
Di halaman Overview, pilih wilayah di bagian Resource Distribution.
Di halaman Instances, klik nama instans target.
Di panel navigasi sebelah kiri, klik Topics.
Di halaman Topics, klik Name topik target untuk membuka halaman Topic Details, lalu klik tab Partition Status.
Tabel 1. Informasi status partisi
Parameter
Deskripsi
Partition ID
ID partisi topik.
Earliest Offset
Offset konsumen paling awal dari topik di partisi saat ini.
Latest Offset
Offset konsumen terbaru dari topik di partisi saat ini.
Partition Messages
Jumlah total pesan topik di partisi saat ini.
Last Updated At
Waktu saat pesan terakhir di partisi ini disimpan.
Di halaman Topic Details, klik tab Partition Status.
Tab tersebut menampilkan parameter berikut untuk setiap partisi:
Parameter Deskripsi Partition ID Pengidentifikasi unik partisi dalam topik. Minimum Offset Offset paling awal yang tersedia di partisi. Maximum Offset Offset terbaru di partisi. Messages Jumlah pesan yang saat ini disimpan di partisi. Dihitung sebagai Maximum Offset dikurangi Minimum Offset. Last Updated At Timestamp pesan terbaru yang ditulis ke partisi. 
Diagnosis masalah umum
Gunakan metrik status partisi untuk mengidentifikasi akar penyebab akumulasi pesan, beban tidak merata, dan topik yang tidak aktif.
Distribusi pesan tidak merata
Bandingkan jumlah Messages di seluruh partisi. Jika beberapa partisi menyimpan jauh lebih banyak pesan daripada yang lain, produsen mungkin menggunakan kunci partisi yang menyebabkan distribusi tidak seimbang. Untuk memastikan, periksa apakah kode produsen Anda menentukan kunci dan apakah nilai kuncinya tersebar merata.
Untuk detail lebih lanjut, lihat Mengapa pesan tidak merata didistribusikan di antara partisi?.
Keterlambatan konsumen (Consumer lag)
Keterlambatan konsumen adalah selisih antara offset yang dikomit oleh kelompok konsumen dan Maximum Offset partisi. Untuk menghitung keterlambatan:
Consumer lag = Maximum Offset - Consumer's committed offsetKeterlambatan yang besar dan terus meningkat menunjukkan bahwa konsumen tidak mampu memproses pesan secepat produsen mengirimkannya. Penyebab umum meliputi:
Konsumen dihentikan: Satu atau beberapa konsumen dalam kelompok telah berhenti, sehingga beban dialihkan ke konsumen yang tersisa.
Throughput tidak mencukupi: Logika pemrosesan konsumen terlalu lambat atau jumlah anggota kelompok konsumen terlalu sedikit dibandingkan jumlah partisi.
Untuk melihat offset yang dikomit oleh setiap kelompok konsumen, periksa halaman Consumer Groups di konsol.
Penggunaan disk tinggi
Cari partisi dengan jumlah Messages yang tinggi. Volume besar di banyak partisi meningkatkan tekanan pada disk broker. Untuk mengurangi penggunaan:
Persingkat periode retensi pesan untuk topik tersebut.
Lakukan scale up instans Anda untuk menambah kapasitas penyimpanan.
Partisi tidak aktif (Stale partitions)
Jika timestamp Last Updated At jauh lebih lama dari yang diharapkan, artinya partisi tersebut tidak lagi menerima pesan. Pastikan bahwa produsen Anda aktif dan menargetkan topik yang benar.
Jika kolom Last Updated At menampilkan 1970 atau --, lihat Mengapa 1970 atau "--" ditampilkan di kolom Last Updated At untuk partisi suatu topik?.
Operasi terkait
Untuk mendistribusikan ulang partisi yang tidak merata di antara topik yang menggunakan cloud storage, lihat Penyeimbangan partisi dan Pengalihan traffic.