ApsaraMQ for RocketMQ:Consumer load balancing

Como funciona

O broker distribui mensagens individuais de um tópico uniformemente entre todos os consumidores de um grupo, independentemente da fila à qual as mensagens pertencem. Vários consumidores podem processar mensagens da mesma fila simultaneamente.

Neste exemplo, o Grupo de Consumidores A tem três consumidores: A1, A2 e A3. Todos consomem mensagens da Queue1. O broker atribui cada mensagem a um consumidor por vez.

Quando um consumidor recebe uma mensagem, o broker bloqueia essa mensagem para torná-la invisível aos outros consumidores. A mensagem permanece bloqueada até que o consumidor confirme seu recebimento ou o tempo limite do bloqueio expire. Isso evita o processamento duplicado em condições normais.

Tratamento de mensagens ordenadas

Para mensagens ordenadas, o ApsaraMQ for RocketMQ garante que as mensagens dentro do mesmo grupo sejam processadas na ordem exata em que foram armazenadas no broker.

Considere quatro mensagens ordenadas (M1 a M4) no grupo de mensagens G1 da Queue1. Se o consumidor A1 estiver processando M1 e M2, o consumidor A2 não poderá iniciar o processamento de M3 ou M4 até que A1 envie o status de consumo de M1 e M2. O broker impõe um bloqueio sequencial rigoroso para manter a ordem.

Vantagens sobre o balanceamento de carga baseado em filas

Quando usar

O balanceamento de carga baseado em mensagens é adequado para a maioria das cargas de trabalho de processamento de eventos online, onde cada mensagem é tratada independentemente — por exemplo, processamento de pedidos, envio de notificações e tratamento de eventos em tempo real.

Para cargas de trabalho de processamento de fluxo ou agregação que exigem o agrupamento de mensagens da mesma fila, use o balanceamento de carga baseado em filas.

Escopo

O balanceamento de carga baseado em mensagens é a única política disponível para os tipos Push Consumer e Simple Consumer na versão 5.x do broker. Ele vem ativado por padrão e não requer configuração adicional.

Exemplo

Os tipos Push Consumer e Simple Consumer usam o balanceamento de carga baseado em mensagens automaticamente. Os exemplos Java a seguir mostram ambos os tipos de consumidor processando mensagens sem nenhuma configuração de balanceamento de carga.

Push Consumer com um listener de mensagens:

// Push Consumer: implement a message listener to process messages.
// Load balancing is handled automatically by the broker.
MessageListener messageListener = new MessageListener() {
    @Override
    public ConsumeResult consume(MessageView messageView) {
        System.out.println(messageView);
        // Return the consumption result.
        return ConsumeResult.SUCCESS;
    }
};

Simple Consumer com confirmação manual:

// Simple Consumer: pull messages, process them, and acknowledge each one.
// Load balancing is handled automatically by the broker.
try {
    List<MessageView> messageViewList = simpleConsumer.receive(10, Duration.ofSeconds(30));
    messageViewList.forEach(messageView -> {
        System.out.println(messageView);
        try {
            // Acknowledge the message after processing.
            simpleConsumer.ack(messageView);
        } catch (ClientException e) {
            e.printStackTrace();
        }
    });
} catch (ClientException e) {
    // If the pull fails due to throttling or other issues, retry the request.
    e.printStackTrace();
}

Como funciona

O broker atribui cada fila de um tópico a exatamente um consumidor no grupo de consumidores. Cada consumidor processa então todas as mensagens de suas filas atribuídas.

Neste exemplo, um tópico tem três filas (Queue1, Queue2, Queue3) e o grupo de consumidores tem dois consumidores. Como cada fila é atribuída a um consumidor, o consumidor A2 recebe duas filas, enquanto o A1 recebe uma. Se houver menos filas do que consumidores, alguns consumidores não recebem filas e permanecem ociosos.

Cada consumidor segue esta sequência de processamento: busca mensagens da fila atribuída, envia o offset de consumo e persiste o offset. Como o status de consumo não retorna à fila quando um consumidor busca mensagens, cada fila deve ser atribuída exclusivamente a um único consumidor para evitar processamento duplicado.

Vantagens sobre o balanceamento de carga baseado em mensagens

Quando usar

O balanceamento de carga baseado em filas é ideal para aplicações de computação de fluxo e agregação de dados que precisam processar em lote ou agregar mensagens da mesma source. Por exemplo, um consumidor pode coletar métricas de uma única fila durante uma janela de tempo e calcular médias móveis.

Escopo

O balanceamento de carga baseado em filas é a única política disponível para consumidores nas versões 3.x e 4.x do broker, incluindo os tipos Pull Consumer, Push Consumer padrão, Pull Consumer padrão e Lite Pull Consumer. Na versão 5.x do broker, os tipos Pull Consumer continuam a usar o balanceamento de carga baseado em filas por padrão.

Nenhuma configuração adicional é necessária — o balanceamento de carga baseado em filas vem ativado automaticamente para esses tipos de consumidor.

Exemplo

Para obter códigos de exemplo, acesse LitePullConsumerAssign.java na biblioteca de códigos do Apache RocketMQ.

Implemente o tratamento idempotente de mensagens

Ambas as políticas de balanceamento de carga acionam um rebalanceamento temporário quando consumidores são adicionados, removidos ou quando o broker escala. Durante o rebalanceamento, um pequeno número de mensagens pode ser entregue mais de uma vez. Para lidar com isso, implemente a deduplicação para garantir a idempotência da sua lógica de consumo de mensagens.