ApsaraMQ for RocketMQ:Consumer load balancing

Nasıl çalışır

Broker, mesajların hangi kuyruğa ait olduğundan bağımsız olarak, bir konudaki tekil mesajları bir tüketici grubundaki tüm tüketiciler arasında eşit şekilde dağıtır. Birden fazla tüketici aynı kuyruktaki mesajları eş zamanlı olarak işleyebilir.

Bu örnekte, Tüketici Grubu A'da A1, A2 ve A3 adlı üç tüketici bulunur. Üçü de Queue1'den mesajları tüketir. Broker her mesajı tek seferde bir tüketiciye atar.

Bir tüketici bir mesaj aldığında, broker bu mesajı kilitler; böylece mesaj diğer tüketiciler için görünmez hale gelir. Mesaj, tüketici onaylayana veya kilidin süresi dolana kadar kilitli kalır. Bu mekanizma, normal koşullar altında yinelenen işlemeyi önler.

Sıralı mesaj işleme

Sıralı mesajlar için ApsaraMQ for RocketMQ, aynı mesaj grubundaki mesajların broker üzerinde depolandıkları sırayla birebir aynı şekilde işlenmesini garanti eder.

Queue1'in G1 mesaj grubundaki dört sıralı mesajı (M1'den M4'e) düşünün. A1 tüketici M1 ve M2'yi işliyorsa, A1 M1 ve M2 için tüketim durumunu gönderene kadar A2 tüketici M3 veya M4'ü işlemeye başlayamaz. Broker, sıralamayı korumak için katı ardışık kilitleme uygular.

Kuyruk tabanlı yük dengelemeye göre avantajları

Ne zaman kullanılır

Mesaj tabanlı yük dengeleme, her mesajın bağımsız olarak ele alındığı çoğu çevrimiçi olay işleme iş yükü için uygundur; örneğin sipariş işleme, bildirim dağıtımı ve gerçek zamanlı olay işleme.

Aynı kuyruktaki mesajları toplu işlemeyi gerektiren akış işleme veya birleştirme iş yükleri için bunun yerine kuyruk tabanlı yük dengelemeyi kullanın.

Kapsam

Mesaj tabanlı yük dengeleme, broker sürümü 5.x üzerindeki Push Consumer ve Simple Consumer türleri için kullanılabilen tek ilkedir. Varsayılan olarak etkindir ve ek yapılandırma gerektirmez.

Örnek

Push Consumer ve Simple Consumer türleri mesaj tabanlı yük dengelemeyi otomatik olarak kullanır. Aşağıdaki Java örnekleri, herhangi bir yük dengeleme yapılandırması olmadan her iki tüketici türünün de mesajları nasıl işlediğini gösterir.

Mesaj dinleyicili Push Consumer:

// Push Consumer: implement a message listener to process messages.
// Load balancing is handled automatically by the broker.
MessageListener messageListener = new MessageListener() {
    @Override
    public ConsumeResult consume(MessageView messageView) {
        System.out.println(messageView);
        // Return the consumption result.
        return ConsumeResult.SUCCESS;
    }
};

Manuel onaylamalı Simple Consumer:

// Simple Consumer: pull messages, process them, and acknowledge each one.
// Load balancing is handled automatically by the broker.
try {
    List<MessageView> messageViewList = simpleConsumer.receive(10, Duration.ofSeconds(30));
    messageViewList.forEach(messageView -> {
        System.out.println(messageView);
        try {
            // Acknowledge the message after processing.
            simpleConsumer.ack(messageView);
        } catch (ClientException e) {
            e.printStackTrace();
        }
    });
} catch (ClientException e) {
    // If the pull fails due to throttling or other issues, retry the request.
    e.printStackTrace();
}

Nasıl çalışır

Broker, bir konudaki her kuyruğu tüketici grubundaki tam olarak bir tüketiciye atar. Her tüketici daha sonra kendisine atanan kuyruklardaki tüm mesajları işler.

Bu örnekte bir konuda üç kuyruk (Queue1, Queue2, Queue3) bulunur ve tüketici grubunda iki tüketici vardır. Her kuyruk bir tüketiciye atandığından, A2 tüketici iki kuyruk alırken A1 sadece bir kuyruk alır. Kuyruk sayısı tüketici sayısından azsa, bazı tüketicilere kuyruk atanmaz ve boşta kalırlar.

Her tüketici şu işleme sırasını izler: atanan kuyruktan mesajları çeker, tüketim ofsetini gönderir ve ofseti kalıcı hale getirir. Tüketici mesajları çekerken tüketim durumu kuyruğa iade edilmediğinden, yinelenen işlemeyi önlemek için her kuyruk tek bir tüketiciye özel olarak atanmalıdır.

Mesaj tabanlı yük dengelemeye göre avantajları

Ne zaman kullanılır

Kuyruk tabanlı yük dengeleme, aynı kaynaktan gelen mesajları toplu işlemesi veya birleştirmesi gereken akış bilişim ve veri birleştirme uygulamaları için en iyisidir. Örneğin, bir tüketici belirli bir zaman penceresi boyunca tek bir kuyruktan ölçümleri toplayıp çalışan ortalamaları hesaplayabilir.

Kapsam

Kuyruk tabanlı yük dengeleme, Pull Consumer, varsayılan Push Consumer, varsayılan Pull Consumer ve Lite Pull Consumer türleri dahil olmak üzere broker sürümleri 3.x ve 4.x üzerindeki tüketiciler için kullanılabilen tek ilkedir. Broker sürümü 5.x'te Pull Consumer türleri varsayılan olarak kuyruk tabanlı yük dengelemeyi kullanmaya devam eder.

Ek yapılandırma gerekmez; kuyruk tabanlı yük dengeleme bu tüketici türleri için otomatik olarak etkinleştirilir.

Örnek

Örnek kod için Apache RocketMQ kod kitaplığındaki LitePullConsumerAssign.java dosyasına bakın.

Yedimsiz mesaj işleme uygulayın

Her iki yük dengeleme ilkesi de tüketiciler eklendiğinde, kaldırıldığında veya broker ölçeklendiğinde geçici yeniden dengelemeyi tetikler. Yeniden dengeleme sırasında az sayıda mesaj birden fazla kez teslim edilebilir. Bunu yönetmek için mesaj tüketim mantığınızda yedimsizliği sağlamak amacıyla yinelenenleri kaldırma uygulayın.