Introducción a la función - ApsaraDB for HBase - Centro de documentación de Alibaba Cloud

Lindorm Streams, proporcionado por ApsaraDB for Lindorm, publica datos incrementales de ApsaraDB for HBase Performance-enhanced en topics de Message Queue for Apache Kafka. Suscríbase a estos topics para consumir cambios por fila en tiempo real en sus sistemas posteriores.

Lindorm Streams admite:

Entrega ordenada por fila
Semántica de entrega al menos una vez
Estado anterior y posterior de la fila en cada mensaje
Parámetros de mensaje configurables

Funcionamiento

Lindorm Streams publica cada operación de fila como un mensaje en un topic de Kafka. Cada mensaje puede contener dos versiones de la fila afectada: el estado antes de la operación y el estado después de esta.

Semántica de entrega

Garantía de orden

Las operaciones sobre la misma fila se publican en el orden en que ocurren, por lo que los consumidores pueden reproducirlas en la misma secuencia.

Entrega al menos una vez

Lindorm Streams garantiza la entrega al menos una vez. Los mensajes pueden entregarse más de una vez según su directiva de reintentos; por ello, diseñe su consumidor para gestionar mensajes duplicados.

Para utilizar la semántica exactamente una vez, envíe un ticket.

Formato de mensaje

Cada mensaje es un objeto JSON con la siguiente estructura:

{
  "op": "<opType>",
  "table": "<tableName>",
  "ts": "<defaultVersion>",
  "keyOnly": "<keyOnly>",
  "data": [
    {
      "type": "<type>",
      "name": "<name>",
      "ts": "<version>",
      "value": "<value>"
    }
  ]
}

La tabla a continuación describe los campos de nivel superior.

Field	Description
`op`	El tipo de operación. Valores válidos: `Put` y `DeleteFamily`.
`table`	El nombre de la tabla.
`ts`	La versión predeterminada. Se utiliza cuando la fila no contiene la clave `ts`.
`keyOnly`	Indica si solo se incluye la clave principal en el mensaje.
`data`	Un arreglo de entradas de columna. Cada entrada contiene los campos descritos a continuación.

La tabla a continuación describe los campos de cada entrada de data.

Field	Description
`type`	El tipo de dato de la columna.
`name`	El nombre de la columna.
`ts`	La versión de los datos. Si está en blanco, se utiliza el valor de `dts` como versión.
`value`	El valor de la columna. Si está en blanco, el valor real en la tabla es `null`.

Parámetros de mensaje

Utilice los siguientes parámetros para controlar qué datos se incluyen en cada mensaje.

Parameter	Type	Required	Default	Description
`key_only`	boolean	No	false	Indica si se sincronizan únicamente las claves principales.
`unique_key`	boolean	No	false	Indica si una clave principal se envía solo una vez por lote.