このトピックでは、Kafka から Hologres にデータをリアルタイムで同期する方法について説明します。
背景情報
Kafka は、高スループットと優れた拡張性を備えた分散メッセージキューサービスです。 ログ収集、モニタリングデータの集約、ストリームデータ処理、オンライン分析、バッチ分析などのシナリオで広く使用されています。 Hologres は、ビッグデータエコシステムとシームレスに統合されています。 DataWorks Data Integration および Hologres Connector などのさまざまな方法を使用して、Kafka から Hologres にデータをリアルタイムで同期できます。 その後、データに対して高同時実行数、低レイテンシーのクエリと分析を実行できます。 基本的な仕組みの詳細については、「Kafka Reader」および「Hologres Writer」をご参照ください。
DataWorks を使用した Kafka からのリアルタイムデータ同期
DataWorks のデータ統合は、Kafka 用の Java SDK を使用して Kafka からデータを読み取り、リアルタイムで Hologres に同期します。
DataWorks の詳細については、「DataWorks の概要」をご参照ください。
データソースの設定
データを同期する前に、Kafka をソースデータソースとして、Hologres を送信先データソースとして設定します。詳細については、次のトピックをご参照ください。
同期タスクの設定
データソースを設定した後、同期タスクを設定して、Kafka から Hologres にデータをリアルタイムで同期します。詳細については、次のトピックをご参照ください。
データのクエリ
データが同期された後、Hologres でデータをクエリできます。
Hologres コネクタを使用した Kafka からのデータ書き込み
Hologres コネクタを使用して、Kafka から Hologres にデータを直接書き込むこともできます。詳細については、「Kafka から Hologres への書き込み」をご参照ください。