本文為您介紹如何將Kafka資料即時同步至Hologres。
背景資訊
Kafka 是一款高輸送量、高可擴充性的分布式訊息佇列服務,廣泛用於日誌收集、監控資料彙總、流式資料處理、線上和離線分析等情境。Hologres與巨量資料生態無縫打通,您可以通過DataWorksData Integration和Hologres Connector等多種方式將Kafka資料即時同步至Hologres,再進行高並發低延時的查詢分析處理。相關原理請參見Kafka Reader和Hologres Writer。
Kafka通過DataWorks即時同步
DataWorksData Integration通過Kafka服務的Java SDK從Kafka讀取資料,再即時同步至Hologres。
說明
更多DataWorks相關內容,請參見DataWorks入門概述。
配置資料來源
在同步資料之前需要先配置輸入資料來源Kafka和輸出資料來源Hologres,詳情請參見:
配置同步任務
配置資料來源成功之後,可以配置同步任務將Kafka的資料即時同步至Hologres,詳情請參見:
查詢資料
任務同步成功之後,可以在Hologres中查詢到已同步的資料。
Kafka通過Hologres Connector寫入
還可以通過Hologres Connector直接將Kafka資料寫入Hologres,詳情請參見Kafka寫入Hologres。