Tablestore Sink Connector importa datos por lotes desde Apache Kafka hacia una tabla de datos o una tabla de series temporales en Tablestore.
Información de contexto
Apache Kafka es un sistema distribuido de colas de mensajes (MSMQ). Kafka Connect permite que los sistemas de datos importen y exporten flujos de datos a través de Apache Kafka.
Tablestore Sink Connector se basa en Kafka Connect. Este conector consulta los temas suscritos en Apache Kafka mediante sondeo, analiza los registros de mensajes e importa los datos por lotes a Tablestore. Además, optimiza el proceso de importación y admite configuraciones personalizadas.
Tablestore es un servicio de almacenamiento de datos multimodelo desarrollado por Alibaba Cloud. Almacena grandes volúmenes de datos estructurados y es compatible con varios modelos de datos, incluidos Wide Column y TimeSeries. Puede sincronizar datos desde Apache Kafka hacia una tabla de datos (modelo Wide Column) o una tabla de series temporales (modelo TimeSeries) en Tablestore. Para obtener más información, consulte Sync Kafka data to a data table y Stream Kafka data to a time series table.
Funciones
Tablestore Sink Connector admite las siguientes funciones:
-
Entrega al menos una vez
Garantiza que los registros de mensajes se entreguen desde los temas de Kafka a Tablestore como mínimo una vez.
-
Asignación de datos
Deserializa los datos en los temas de Kafka mediante un convertidor. Para usar un convertidor, modifique los atributos key.converter y value.converter en las configuraciones del worker o del conector de Kafka Connect. Puede usar JsonConverter integrado, un convertidor de terceros o uno personalizado.
-
Creación automática de tablas de destino en Tablestore
Si la tabla de destino no existe en Tablestore, el conector crea una automáticamente según las columnas de clave principal y la lista de permitidos de columnas de atributos que especifique. Si no se define ninguna lista de permitidos de columnas de atributos, todos los campos en los valores de registro de los mensajes de Kafka se usan como columnas de atributos.
-
Directiva de manejo de errores
Pueden producirse errores al analizar o escribir registros de mensajes en Tablestore durante la importación por lotes. Puede finalizar la tarea, ignorar el error o registrar el mensaje y los detalles del error en Kafka o Tablestore.
Modo de trabajo
Tablestore Sink Connector admite los modos independiente y distribuido.
En el modo independiente, todas las tareas se ejecutan en un solo proceso. Esta modalidad es fácil de configurar y adecuada para familiarizarse con Tablestore Sink Connector.
En el modo distribuido, las tareas se ejecutan en paralelo en varios procesos. Este modo asigna las tareas según la carga de trabajo de cada proceso y proporciona tolerancia a fallos, lo que ofrece mayor estabilidad que el modo independiente. Se recomienda usar el modo distribuido.