O Tablestore Sink Connector importa dados em lote do Apache Kafka para uma tabela de dados ou tabela de séries temporais no Tablestore.
Informações gerais
O Apache Kafka é um sistema distribuído de Message Queuing (MSMQ). O Kafka Connect permite que sistemas de dados importem e exportem fluxos de dados por meio do Apache Kafka.
O Tablestore Sink Connector é baseado no Kafka Connect. Ele consulta tópicos assinados no Apache Kafka em modo poll, analisa os registros de mensagem e importa os dados em lote para o Tablestore. O conector otimiza o processo de importação e oferece suporte a configurações personalizadas.
O Tablestore é um serviço de armazenamento de dados multimodelo desenvolvido pela Alibaba Cloud. Ele armazena grandes volumes de dados estruturados e oferece suporte a vários modelos de dados, incluindo o modelo Wide Column e o modelo TimeSeries. Você pode sincronizar dados do Apache Kafka para uma tabela de dados (modelo Wide Column) ou tabela de séries temporais (modelo TimeSeries) no Tablestore. Para obter mais informações, consulte Sincronizar dados do Kafka com uma tabela de dados e Transmitir dados do Kafka para uma tabela de séries temporais.
Recursos
O Tablestore Sink Connector oferece suporte aos seguintes recursos:
-
Entrega at-least-once
Garante que os registros de mensagem sejam entregues dos tópicos do Kafka para o Tablestore pelo menos uma vez.
-
Mapeamento de dados
Desserializa dados em tópicos do Kafka usando um conversor. Para usar um conversor, modifique os atributos key.converter e value.converter nas configurações do worker ou do conector do Kafka Connect. Você pode usar o JsonConverter integrado, um conversor de terceiros ou um conversor personalizado.
-
Criação automática de tabelas de destino no Tablestore
Se a tabela de destino não existir no Tablestore, o conector cria uma automaticamente com base nas colunas de chave primária e na lista de permissões de colunas de atributo especificadas. Se nenhuma lista de permissões de colunas de atributo for especificada, todos os campos nos valores de registro das mensagens do Kafka serão usados como colunas de atributo.
-
Política de tratamento de erros
Erros podem ocorrer quando registros de mensagem são analisados ou gravados no Tablestore durante a importação em lote. Você pode encerrar a tarefa, ignorar o erro ou registrar o registro de mensagem e os detalhes do erro no Kafka ou no Tablestore.
Modo de trabalho
O Tablestore Sink Connector oferece suporte aos modos standalone e distribuído.
-
No modo standalone, todas as tarefas são executadas em um único processo. Esse modo é fácil de configurar e adequado para aprender sobre o Tablestore Sink Connector.
-
No modo distribuído, as tarefas são executadas em paralelo em vários processos. Esse modo aloca tarefas com base nas cargas de trabalho dos processos e oferece tolerância a falhas, proporcionando maior estabilidade do que o modo standalone. Recomendamos o modo distribuído.