このトピックでは、Kafka から Hologres にデータをリアルタイムで同期する方法について説明します。
背景情報
Kafka は、高スループットとスケーラビリティを特徴とする分散メッセージキューサービスです。ログ収集、メトリックデータの集計、ストリーミングデータ処理、オンラインおよびオフライン分析などのシナリオで広く使用されています。Hologres は、ビッグデータエコシステムとシームレスに統合されています。 DataWorks データ統合、そして Hologres Connector など、複数の方法を使用して、Kafka から Hologres にデータをリアルタイムで同期できます。その後、高並列性と低レイテンシでデータのクエリ、分析、および処理を実行できます。詳細については、Kafka Reader および Hologres Writer をご参照ください。
DataWorks を使用して Kafka から Hologres にデータをリアルタイムで同期する
DataWorks のデータ統合サービスは、Java 用 Kafka SDK を使用して Kafka からデータを読み取り、Hologres にリアルタイムで同期します。
DataWorks の詳細については、概要をご参照ください。
データソースを設定します。
データを同期する前に、ソースとして Kafka データソース、デスティネーションとして Hologres データソースを設定する必要があります。詳細については、以下のトピックをご参照ください。
同期タスクを設定します。
データソースを設定した後、Kafka から Hologres にデータをリアルタイムで同期するための同期タスクを設定できます。詳細については、以下のトピックをご参照ください。
同期されたデータをクエリします。
データが同期された後、Hologres で同期されたデータをクエリできます。
Hologres Connector を使用して Kafka から Hologres にデータをインポートする
Hologres Connector を使用して、Kafka から Hologres にデータをインポートすることもできます。詳細については、hologres-connector-kafka をご参照ください。