このトピックでは、DataWorks Data Integration を使用して、データベースから Hologres へデータをリアルタイムで同期する方法について説明します。
前提条件
DataWorks を有効化します。詳細については、「概要」をご参照ください。
ApsaraDB が正常に有効化されました。
リージョン間でのデータ同期が可能かどうかを確認するには、「ネットワーク接続ソリューション」をご参照ください。
背景情報
Hologres は、リアルタイムインタラクティブ分析向けのプロダクトです。ビッグデータエコシステムとシームレスに連携し、インテリジェントな R&D プラットフォームである DataWorks と深く統合されています。この統合により、高い同時実行性と低遅延でデータのクエリと分析が可能です。DataWorks Data Integration を使用すると、データベースから Hologres へデータをリアルタイムで同期できます。その後、高い同時実行性と低遅延でデータのクエリ、分析、および処理が可能です。
リアルタイムデータ同期に対応する代表的なデータベースには、Oracle、PolarDB、および PolarDB for MySQL があります。
対応するデータソースの詳細については、「対応データソースおよび同期ソリューション」をご参照ください。
関連する原理:「MySQL Reader」、「Oracle データソース」、「PolarDB Reader」、「SQL Server Reader」、および「Hologres データソース」をご参照ください。
操作手順
DataWorks Data Integration を使用すると、さまざまなデータベースから Hologres へデータをリアルタイムで同期できます。このプロセスは安定性と効率性に優れています。以下の手順に従って、作業を完了してください。
ソースデータソースの構成
データ同期を実行する前に、ソースデータソースを構成する必要があります。たとえば、MySQL から Hologres へリアルタイムでデータを同期する場合は、MySQL データソースを構成します。ご要件に合致するデータソースを選択・構成してください。詳細については、「データソースの構成」をご参照ください。
Hologres 送信先データソースの構成
説明Hologres データソースは、Data Integration 専用のリソースグループを使用する必要があります。
データ同期を実行する前に、Hologres 送信先データソースも構成する必要があります。詳細については、「Hologres データソースの構成」をご参照ください。
タスクの構成
ソースデータソースおよび Hologres 送信先データソースの構成が完了したら、同期方法を構成してタスクを実行します。DataWorks Data Integration では、3 種類のリアルタイム同期方法が提供されています。ご要件に最も適した方法を選択してください。以下の表に各方法の詳細を示します。
同期タイプ
シナリオ
対応データソース
データソース構成ガイド
同期タスク構成ガイド
単一テーブルリアルタイム同期
一部のソーステーブルからのデータ変更を、リアルタイムでターゲットデータベースへ同期します。これにより、ターゲットデータベースをソースと常に一致させることができます。
MySQL バイナリロギング
DataHub
LogHub
Kafka
PolarDB
SQL Server
完全データベースリアルタイム同期
すべてのソーステーブルからのデータ変更を、リアルタイムでターゲットデータベースへ同期します。これにより、ターゲットデータベースをソースと常に一致させることができます。
PolarDB for MySQL
PolarDB
MySQL
同期ソリューション
異なるデータソース間における多様なデータ同期シナリオ向けに、リアルタイム同期、オフライン完全同期、およびオフライン増分同期などのソリューションを提供します。これらのソリューションにより、データをワンクリックでクラウドへ移行でき、効率的かつ容易に運用できます。主な特徴は以下のとおりです:
データの初期完全同期。
増分データのリアルタイム書き込み。
増分データと完全データを定期的に自動マージし、新しい完全テーブルパーティションを作成。
PolarDB for MySQL
Oracle
MySQL
PolarDB-X
PostgreSQL
説明DataWorks を使用して Hologres へデータを同期する場合、Hologres 送信先テーブルに update_time フィールドなどの追加フィールドを設定することもできます。詳細については、「リアルタイム同期タスクの構成と管理」をご参照ください。