DataWorks のリアルタイム同期ノードを使用してデータベースから Hologres にデータを同期する - Hologres

このトピックでは、DataWorks のデータ統合サービスを使用して、データベースから Hologres にデータをリアルタイムで同期する方法について説明します。

前提条件

DataWorks がアクティブ化されていること。詳細については、概要をご参照ください。
データを同期する Alibaba Cloud データベースサービスがアクティブ化されていること。

説明

上記のサービスが異なるリージョンでアクティブ化されている場合は、リージョン間でデータを同期する方法を確認してください。詳細については、ネットワーク接続ソリューションをご参照ください。

背景情報

Hologres は、ビッグデータエコシステムとシームレスに統合されたリアルタイムのインタラクティブ分析エンジンです。Hologres は、インテリジェントな R&D プラットフォームである DataWorks と統合されており、高並列性と低レイテンシでデータのクエリと分析をサポートします。DataWorks のデータ統合サービスが提供するリアルタイム同期ノードを使用して、データベースから Hologres にデータを同期し、高並列性と低レイテンシでデータのクエリ、分析、処理を行うことができます。

リアルタイム同期ノードを使用してデータを同期できる一般的なデータベースの種類には、Oracle、PolarDB、PolarDB for MySQL などがあります。

説明

サポートされているデータベースの種類の詳細については、リアルタイム同期をサポートするデータソースの種類をご参照ください。

データの同期方法の詳細については、MySQL Reader、Oracle Reader、PolarDB Reader、SQL Server Reader、および Hologres Writerをご参照ください。

プロセス

DataWorks のデータ統合サービスを使用して、さまざまな種類のデータベースから Hologres にデータをリアルタイムで同期するには、次の手順を実行します。このような同期プロセスは、高い安定性と効率性を提供します。

ソースデータベースへの接続を設定します。
同期プロセスを開始する前に、ソースデータベースへの接続を設定する必要があります。たとえば、MySQL データベースから Hologres にデータをリアルタイムで同期する場合、MySQL 接続を設定する必要があります。ビジネス要件に基づいて接続をカスタマイズできます。詳細については、接続設定をご参照ください。
Hologres への接続を設定します。
説明
このような接続には、データ統合専用の[リソースグループ]を使用する必要があります。
同期プロセスを開始する前に、Hologres への接続を設定する必要があります。詳細については、Hologres データソースを追加するをご参照ください。

リアルタイム同期ノードを設定します。

前の 2 つの手順を完了したら、リアルタイム同期ノードを設定します。次の表に、データ統合でサポートされている 3 つのリアルタイム同期モードを示します。ビジネス要件に基づいて同期モードを選択できます。

同期モード	シナリオ	サポートされているデータソースの種類	接続設定のリファレンス	同期ノード設定のリファレンス
単一テーブルのリアルタイム同期	ソースデータベースからターゲット Hologres インスタンスへの部分データの変更をリアルタイムで同期します。これにより、ターゲット Hologres インスタンスのデータが最新の状態に保たれます。	MySQL Binlog DataHub LogHub Kafka PolarDB SQL Server	データソースの設定 (PolarDB) MySQL からのデータ同期のためのデータソースの設定	単一テーブルから増分データを同期するためのリアルタイム同期ノードを作成する
リアルタイムデータベース同期	ソースデータベースからターゲット Hologres インスタンスへの全データの変更をリアルタイムで同期します。これにより、ターゲット Hologres インスタンスのデータが最新の状態に保たれます。	PolarDB MySQL PolarDB MySQL	データソースの設定 (PolarDB) Oracle からのデータ同期のためのデータソースの設定 MySQL からのデータ同期のためのデータソースの設定	リアルタイム同期ノードの設定と管理
データ同期ソリューション	DataWorks は、リアルタイム同期、オフラインフル同期、オフライン増分同期など、さまざまなデータ同期シナリオのソリューションを提供します。これらのソリューションは、企業がより効率的かつ便利にクラウドにデータを移行するのに役立ちます。次のデータ同期ソリューションが提供されています。フルデータを初期化する。増分データをリアルタイムで書き込む。スケジュールされた時間にフルデータと増分データを自動的にマージし、新しいテーブルのパーティションにデータを書き込む。	PolarDB MySQL Oracle MySQL PolarDB-X PostgreSQL	データソースの設定 (PolarDB) データソースの設定 (Oracle) MySQL からのデータ同期のためのデータソースの設定 PolarDB-X 1.0 環境を準備する PostgreSQL 環境を準備する	Hologres にデータを同期するためのリアルタイム同期ソリューションを作成する実行中の同期ソリューションにソーステーブルを追加または削除するフル同期タスクと増分同期タスクの O&M を実行する

説明

DataWorks のリアルタイム同期ノードを使用してデータベースから Hologres にデータを同期する場合、Hologres のターゲットテーブルにフィールドを追加できます。たとえば、UPDATE_TIME フィールドを追加できます。詳細については、リアルタイム同期ノードの設定と管理をご参照ください。