全部產品
Search
文件中心

Hologres:Kafka即時同步

更新時間:Jul 31, 2024

本文為您介紹如何將Kafka資料即時同步至Hologres。

背景資訊

Kafka 是一款高輸送量、高可擴充性的分布式訊息佇列服務,廣泛用於日誌收集、監控資料彙總、流式資料處理、線上和離線分析等情境。Hologres與巨量資料生態無縫打通,您可以通過DataWorksData IntegrationHologres Connector等多種方式將Kafka資料即時同步至Hologres,再進行高並發低延時的查詢分析處理。相關原理請參見Kafka ReaderHologres Writer

Kafka通過DataWorks即時同步

DataWorksData Integration通過Kafka服務的Java SDK從Kafka讀取資料,再即時同步至Hologres。

說明

更多DataWorks相關內容,請參見DataWorks入門概述

  1. 配置資料來源

    在同步資料之前需要先配置輸入資料來源Kafka和輸出資料來源Hologres,詳情請參見:

  2. 配置同步任務

    配置資料來源成功之後,可以配置同步任務將Kafka的資料即時同步至Hologres,詳情請參見:

  3. 查詢資料

    任務同步成功之後,可以在Hologres中查詢到已同步的資料。

Kafka通過Hologres Connector寫入

還可以通過Hologres Connector直接將Kafka資料寫入Hologres,詳情請參見Kafka寫入Hologres