Hologres は、PostgreSQL 11 と互換性のあるリアルタイムデータウェアハウスです。 Hologres はビッグデータエコシステムとシームレスに統合されており、高い同時実行性でのリアルタイムデータ書き込みをサポートしています。 データは書き込み後すぐにクエリできます。 Hologres は、オフラインデータのクエリの高速化、およびオフラインデータとリアルタイムデータのフェデレーション分析もサポートしています。 これにより、エンタープライズクラスのリアルタイムデータウェアハウスを迅速に構築できます。
Hologres でのデータ同期
Hologres は大規模なビッグデータエコシステムと統合されており、複数の異種データソースからのデータのオフラインおよびリアルタイムの書き込みをサポートしています。
オープンソースのビッグデータ: Hologres は、Flink、Blink、Spark などの最も一般的なオープンソースのビッグデータコンポーネントをサポートしています。 組み込みの Hologres コネクタを使用して、高い同時実行性でのリアルタイムデータ書き込みを実装できます。
データベースデータ: Hologres は DataWorks Data Integration (DataX および StreamX) と緊密に統合されています。 Hologres Writer と Hologres Reader を使用して、さまざまなデータベースから Hologres にデータを簡単かつ効率的に同期できます。 オフライン同期、リアルタイム同期、およびデータベースレベルの同期がサポートされています。 これにより、企業のデータ同期とデータ移行の要件を満たすことができます。
リアルタイムデータまたはオフラインデータを Hologres に同期した後、Hologres を使用して複数のディメンションでデータを分析できます。 たとえば、Java Database Connectivity (JDBC) またはオープンデータベースコネクティビティ (ODBC) を使用して、データのクエリ、分析、およびモニターができます。 結果は、アップストリームサービスに基づいて視覚化された方法で直接表示できます。 たとえば、ダッシュボード、レポート、またはアプリケーションで結果を表示できます。 これにより、データ書き込みとサービス分析のエンドツーエンドのプロセスが実現します。 次の図にそのプロセスを示します。
一般的な同期メソッド
次の表に、一般的なデータソースから Hologres にデータを同期するためにサポートされているメソッドを示します。 ビジネス要件に基づいて同期メソッドを選択できます。
一般的なデータソース | Hologres の組み込み同期メソッド | DataWorks Data Integration に基づく同期 | Flink に基づく同期 |
MaxCompute | サポートされています (推奨、SQL 文) | サポートされています | サポートされています |
OSS | サポートされています (推奨、SQL 文) | サポートされています | サポートされていません |
ローカルファイル | サポートされています (COPY 文) | サポートされていません | サポートされていません |
MySQL データベースなどのデータベース | サポートされていません | サポートされています (推奨) | サポートされています |
Kafka | サポートされていません | サポートされています | サポートされています |
DataHub | サポートされています (Hologres データソースへの直接書き込み) | サポートされています | サポートされています |
オープンソースコネクタ
次の表に、Hologres でサポートされている同期コネクタを示します。 これらのコネクタはオープンソースコネクタです。 ビジネスの状況に応じてコネクタを選択できます。
コネクタ | シナリオ |
Holo Client は、オフラインまたはリアルタイムモードで大量のデータを Hologres に書き込むシナリオや、ディメンションテーブルの関連付けクエリなど、高いクエリ/秒 (QPS) のポイントクエリが実行されるシナリオに適しています。 Holo Client には JDBC ドライバーが必要で、C バージョンと Go バージョンが提供されています。 | |
Holo Shipper は、バックアップのためにインスタンスの一部のテーブルのデータをインポートまたはエクスポートするために使用されます。 インスタンスのデータ移行やデータベースのデータ移行に適しています。 中間ストレージにデータをダンプしてからデータを解凍することもできます。 | |
Holo-datax-writer はオープンソースの DataX と互換性があり、DataX フレームワークに依存します。 オープンソースの DataX を使用して、さまざまなデータソースから Hologres にデータを書き込むことができます。 Holo-datax-writer は、PostgreSQL Writer よりも優れたパフォーマンスを提供します。 | |
Holo-flink-connector は、1.11、1.12、1.13、およびそれ以降のバージョンのオープンソース Flink に接続して、高性能なリアルタイムデータ書き込みを実装します。 説明 Realtime Compute for Apache Flink は Hologres データソースをサポートしています。 コネクタを参照することなく、Realtime Compute for Apache Flink から Hologres にデータを直接書き込むことができます。 | |
Holo-Kafka-connector は、Kafka から Hologres にデータを書き込むために使用されます。 | |
Holo-Spark-connector は、Spark 2.x、3.x、またはそれ以降のバージョンから Hologres にデータを高性能で書き込むために使用されます。 Apache Spark と Alibaba Cloud E-MapReduce (EMR) の Spark の両方がサポートされています。 | |
Holo-Hive-connector は、Hive 2.x、3.x、またはそれ以降のバージョンから Hologres にデータを高性能で書き込むために使用されます。 |