ApsaraMQ for RocketMQ:Balanceo de carga de consumidores

Funcionamiento

El broker distribuye mensajes individuales de un tema de manera uniforme entre todos los consumidores de un grupo, sin importar a qué cola pertenezcan. Varios consumidores pueden procesar mensajes de la misma cola simultáneamente.

En este ejemplo, el Grupo de Consumidores A tiene tres consumidores: A1, A2 y A3. Los tres consumen mensajes de Queue1. El broker asigna cada mensaje a un consumidor a la vez.

Cuando un consumidor recibe un mensaje, el broker bloquea ese mensaje para que sea invisible a otros consumidores. El mensaje permanece bloqueado hasta que el consumidor lo confirma o hasta que expire el tiempo de espera del bloqueo. Esto evita el procesamiento duplicado en condiciones normales.

Manejo de mensajes ordenados

Para los mensajes ordenados, ApsaraMQ for RocketMQ garantiza que los mensajes dentro del mismo grupo se procesen en el orden exacto en que se almacenaron en el broker.

Considere cuatro mensajes ordenados (M1 a M4) en el grupo de mensajes G1 de Queue1. Si el consumidor A1 está procesando M1 y M2, el consumidor A2 no puede comenzar a procesar M3 o M4 hasta que A1 haya enviado el estado de consumo de M1 y M2. El broker aplica un bloqueo secuencial estricto para mantener el orden.

Ventajas sobre el balanceo de carga basado en colas

Cuándo utilizarlo

El balanceo de carga basado en mensajes es adecuado para la mayoría de las cargas de trabajo de procesamiento de eventos en línea where cada mensaje se maneja de forma independiente; por ejemplo, procesamiento de pedidos, envío de notificaciones y manejo de eventos en tiempo real.

Para cargas de trabajo de procesamiento de flujos o agregación que requieren procesar por lotes mensajes de la misma cola, utilice el balanceo de carga basado en colas.

Alcance

El balanceo de carga basado en mensajes es la única política disponible para los tipos Push Consumer y Simple Consumer en la versión 5.x del broker. Está habilitado de forma predeterminada y no requiere configuración adicional.

Ejemplo

Los tipos Push Consumer y Simple Consumer utilizan el balanceo de carga basado en mensajes automáticamente. Los siguientes ejemplos en Java muestran ambos tipos de consumidores procesando mensajes sin ninguna configuración de balanceo de carga.

Push Consumer con un listener de mensajes:

// Push Consumer: implement a message listener to process messages.
// Load balancing is handled automatically by the broker.
MessageListener messageListener = new MessageListener() {
    @Override
    public ConsumeResult consume(MessageView messageView) {
        System.out.println(messageView);
        // Return the consumption result.
        return ConsumeResult.SUCCESS;
    }
};

Simple Consumer con confirmación manual:

// Simple Consumer: pull messages, process them, and acknowledge each one.
// Load balancing is handled automatically by the broker.
try {
    List<MessageView> messageViewList = simpleConsumer.receive(10, Duration.ofSeconds(30));
    messageViewList.forEach(messageView -> {
        System.out.println(messageView);
        try {
            // Acknowledge the message after processing.
            simpleConsumer.ack(messageView);
        } catch (ClientException e) {
            e.printStackTrace();
        }
    });
} catch (ClientException e) {
    // If the pull fails due to throttling or other issues, retry the request.
    e.printStackTrace();
}

Funcionamiento

El broker asigna cada cola de un tema a exactamente un consumidor del grupo. Luego, cada consumidor procesa todos los mensajes de sus colas asignadas.

En este ejemplo, un tema tiene tres colas (Queue1, Queue2, Queue3) y el grupo de consumidores tiene dos consumidores. Dado que cada cola se asigna a un consumidor, el consumidor A2 obtiene dos colas mientras que A1 obtiene una. Si hay menos colas que consumidores, algunos consumidores no reciben colas y permanecen inactivos.

Cada consumidor sigue esta secuencia de procesamiento: extraer mensajes de la cola asignada, enviar el desplazamiento de consumo y persistir el desplazamiento. Como el estado de consumo no se devuelve a la cola cuando un consumidor extrae mensajes, cada cola debe asignarse exclusivamente a un solo consumidor para evitar el procesamiento duplicado.

Ventajas sobre el balanceo de carga basado en mensajes

Cuándo utilizarlo

El balanceo de carga basado en colas es ideal para aplicaciones de computación de flujos y agregación de datos que necesitan procesar por lotes o agregar mensajes de la misma fuente. Por ejemplo, un consumidor podría recopilar métricas de una sola cola durante una ventana de tiempo y calcular promedios continuos.

Alcance

El balanceo de carga basado en colas es la única política disponible para consumidores en las versiones 3.x y 4.x del broker, incluidos los tipos Pull Consumer, Push Consumer predeterminado, Pull Consumer predeterminado y Lite Pull Consumer. En la versión 5.x del broker, los tipos Pull Consumer continúan utilizando el balanceo de carga basado en colas de forma predeterminada.

No se requiere configuración adicional; el balanceo de carga basado en colas se habilita automáticamente para estos tipos de consumidores.

Ejemplo

Para ver código de ejemplo, consulte LitePullConsumerAssign.java en la biblioteca de código de Apache RocketMQ.

Implementar manejo idempotente de mensajes

Ambas políticas de balanceo de carga desencadenan un rebalanceo temporal cuando se agregan o eliminan consumidores, o cuando el broker escala. Durante el rebalanceo, una pequeña cantidad de mensajes podría entregarse más de una vez. Para manejar esto, implemente deduplicación para garantizar la idempotencia en su lógica de consumo de mensajes.