ApsaraMQ for Kafka:Client parameter configuration

acks

Üreticinin bir gönderimi başarılı saymadan önce broker'dan kaç onay beklemesi gerektiğini kontrol eder.

Önerilen değer: Sıkı kalıcılıktan ziyade aktarım hızına öncelik veren çoğu iş yükü için 1.

retries

Üreticinin başarısız bir gönderimi yeniden deneme sayısı üst sınırı. Daha yüksek bir değer, üreticinin lider seçimi gibi geçici broker arızalarından kurtulmasına yardımcı olur. Yeniden deneme hızını kontrol etmek için retry.backoff.ms ile birlikte kullanın.

retry.backoff.ms

Gönderim yeniden denemeleri arasındaki bekleme süresi. Çok düşük bir değer, broker yük devretmeleri sırasında yeniden deneme fırtınalarına neden olabilir.

batch.size

Bölüm başına tek bir toplu işin maksimum boyutu. Bir toplu iş bu boyuta ulaştığında, üretici bunu hemen gönderir.

Çoğu iş yükü için 16384 varsayılan değerini koruyun. Daha küçük bir değer ağ isteği sayısını artırır ve aktarım hızını düşürür. batch.size değerini artırırsanız, daha büyük toplu işleri karşılayacak kadar buffer.memory alanının yeterli olduğundan emin olun.

linger.ms

Üreticinin bir toplu işi göndermeden önce doldurması için beklediği maksimum süre. Bu, TCP'deki Nagle algoritması gibi çalışır: bir toplu iş batch.size değerine ulaştığında, bekleme zamanlayıcısından bağımsız olarak hemen gönderilir. linger.ms süresi dolduğunda toplu iş hâlâ batch.size değerinin altındaysa, üretici birikmiş olanları gönderir.

Daha yüksek bir linger.ms değeri, mesaj başına gecikme süresi pahasına toplu iş verimliliğini ve aktarım hızını artırır.

buffer.memory

Üreticinin, tüm bölümlerdeki gönderilmemiş kayıtları arabelleğe almak için ayırdığı toplam bellek miktarı. Bu havuz tükenirse, max.block.ms değerine bağlı olarak send() işlemi engellenir veya bir özel durum oluşturur. Yetersiz boyutlandırılmış bir arabellek yavaş bellek tahsisine, azalan aktarım hızına veya gönderim zaman aşımlarına neden olur.

Birim: bayt. Varsayılan: 33554432 (32 MB).

Boyutlandırma formülü:

buffer.memory >= batch.size x number_of_partitions x 2

Örneğin, batch.size=16384 ve 50 bölüm durumunda:

16384 x 50 x 2 = 1,638,400 bytes (~1.6 MB minimum)

Aktarım hızı için batch.size değerini artırırsanız, buffer.memory değerini de orantılı olarak ölçeklendirin.

partitioner.class

Üreticinin kayıtları bölümlere nasıl atadığını belirler. Yapışkan bölümleme stratejisi, bir sonraki bölüme geçmeden önce bir bölümün toplu işini doldurarak tamamlanmamış toplu iş sayısını azaltır.

Üretici istemciniz 2.4 sürümünden önceyse, toplu iş verimliliğini artırmak için yapışkan bölümleyiciyi açıkça ayarlayın.

fetch.min.bytes

Broker'ın bir getirme yanıtı döndürmeden önce biriktirdiği minimum veri miktarı. Daha büyük bir değer getirme sıklığını ve broker CPU ek yükünü azaltarak aktarım hızını iyileştirir, ancak uçtan uca mesaj gecikme süresini artırır. Birim: bayt.

Bu değeri ayarlamadan önce üreticinizin mesaj hızını değerlendirin. Mesajlar yavaş geliyorsa, büyük bir fetch.min.bytes değeri gereksiz gecikmeye neden olur.

fetch.max.wait.ms

Broker'ın bir yanıt döndürmeden önce fetch.min.bytes değerini biriktirmek için beklediği maksimum süre. Birim: milisaniye.

Davranış depolama türüne göre değişir:

• Yerel depolama: Broker, hangisi önce gerçekleşirse gerçekleşsin fetch.min.bytes değerine ulaşılana veya fetch.max.wait.ms süresi dolana kadar bekler.

• Cloud depolama: Broker, fetch.min.bytes değerinden bağımsız olarak yeni veriler geldiğinde hemen bir yanıt döndürür.

max.partition.fetch.bytes

Tek bir getirme işleminde broker'ın bölüm başına döndürdüğü maksimum veri miktarı. Birim: bayt.

session.timeout.ms

Broker'ın tüketiciyi ölü kabul edip bir yeniden dengeleme tetiklemeden önce kalp atışları arasında geçen maksimum süre.

max.poll.records

Tek bir poll() çağrısında döndürülen maksimum kayıt sayısı. Tüketici, bir sonraki poll() son tarihinden önce bu kadar çok kaydı işleyemezse, broker onu ölü kabul eder ve bir yeniden dengeleme tetikler.

Boyutlandırma formülü:

max.poll.records < messages_per_thread_per_second x consumer_threads x session_timeout_seconds

Örneğin, iş parçacığı başına saniyede 500 mesaj, 4 iş parçacığı ve 45 saniyelik oturum zaman aşımı durumunda:

500 x 4 x 45 = 90,000

Tüketicinin oturum zaman aşımına uğramadan önce her zaman işlemeyi bitirmesini sağlamak için max.poll.records değerini bu değerin altında ayarlayın.

max.poll.interval.ms

Broker'ın tüketiciyi gruptan çıkarmadan önce ardışık poll() çağrıları arasında geçen maksimum aralık. Bu parametre yalnızca kalp atışlarının ayrı bir iş parçacığında çalıştığı Java istemci 0.10.1 ve sonraki sürümler için geçerlidir.

Boyutlandırma formülü:

max.poll.interval.ms > time_per_record x max.poll.records

Çoğu durumda 300000 (5 dakika) varsayılan değeri yeterlidir. Yalnızca işleme mantığınız son derece yavaşsa bu değeri artırın.

enable.auto.commit

Tüketicinin ofsetleri sabit bir aralıkla otomatik olarak commit etmesini kontrol eder.

auto.commit.interval.ms

enable.auto.commit değeri true olduğunda otomatik ofset commit işlemleri için kullanılan aralık.

Daha kısa bir aralık, çökme sonrasında yinelenen mesajlar için zaman penceresini azaltır ancak broker'a gönderilen commit isteği sayısını artırır.

auto.offset.reset

Tüketicinin commit edilmiş bir ofseti olmadığında veya commit edilmiş ofset geçersiz olduğunda (örneğin, ofset saklama ilkeleri nedeniyle silindiğinde) ne olacağını belirler.

Önerilen değer: latest. earliest kullanılması, geçersiz bir ofsetle karşılaşıldığında tüketicinin saklanan tüm mesajları yeniden işlemesine neden olur; bu da yinelenen işlemeye ve tüketici gecikmesinde ani artışa yol açabilir.

Uygulamanız ofset yönetimini manuel olarak gerçekleştiriyorsa (örneğin, ofsetleri harici bir veritabanında saklıyorsa) bu değeri none olarak ayarlayın.