本トピックでは、DataWorks の Data Integration を使用して、データベースから Hologres へリアルタイムでデータを同期する方法について説明します。
ソースデータベース (MySQL、Oracle、PolarDB など) から最新のデータを Hologres 分析環境に供給する必要がある場合、DataWorks の Data Integration は 3 つのリアルタイム同期方法を提供します。ユースケースに合った方法を選択し、ソース、宛先、タスクを順に設定します。
前提条件
開始する前に、以下を確認してください:
-
DataWorks が有効化されていること。詳細については、「概要」をご参照ください。
-
ApsaraDB が正常に有効化されていること。
-
リージョンをまたいで同期を計画している場合は、ネットワーク接続が確認されていること。詳細については、「ネットワーク接続ソリューション」をご参照ください。
背景情報
Hologres はリアルタイムインタラクティブ分析プロダクトです。ビッグデータエコシステムとシームレスに接続し、インテリジェントな R&D プラットフォームである DataWorks と深く統合されています。この統合により、高い同時実行性と低レイテンシーでのデータクエリおよび分析をサポートします。リアルタイムデータ同期をサポートする一般的なデータベースには、MySQL、PolarDB、PolarDB for MySQL などがあります。Oracle のデータは、全データベースリアルタイム同期または同期ソリューションを使用して Hologres に同期できますが、単一テーブルリアルタイム同期は Oracle ではサポートされていません。特定の Oracle テーブルから Hologres へリアルタイムでデータを同期するには、全データベースリアルタイム同期タスクを作成し、必要なテーブルのみを選択します。
リアルタイム同期の設定
設定は、次の 3 つのステップで行います:
-
ソースデータソースを設定します。
-
宛先となる Hologres データソースを設定します。
-
同期方法を選択し、タスクを設定します。
ステップ1:ソースの設定
同期元のデータベースを設定します。たとえば、MySQL から同期する場合、DataWorks に MySQL データソースを追加します。手順の詳細については、「データソースの設定」をご参照ください。
ステップ2:Hologres 宛先の設定
Hologres データソースは、Data Integration 用の専用リソースグループを使用する必要があります。
Hologres を宛先データソースとして追加します。詳細については、「Hologres データソースの設定」をご参照ください。
ステップ3:同期方法の選択とタスクの設定
DataWorks の Data Integration は 3 つのリアルタイム同期方法を提供しています。次の表を参考にして、ユースケースに合ったものを選択してください。
| 同期方法 | 使用シナリオ | サポートされるソース | データソースガイド | タスクガイド |
|---|---|---|---|---|
| 単一テーブルリアルタイム同期 | 選択したテーブルからの増分変更を同期 | MySQL、DataHub、LogHub、Kafka、PolarDB、SQL Server | PolarDB ソース、MySQL ソース | 単一テーブルからの増分データのリアルタイム同期の設定 |
| 全データベースリアルタイム同期 | ソースデータベース内のすべてのテーブルからの増分変更を同期 | PolarDB for MySQL、PolarDB、MySQL、Oracle | PolarDB ソース、Oracle ソース、MySQL ソース | リアルタイム同期タスクの設定と管理 |
| 同期ソリューション | ワンクリックのクラウド移行により、1 つのパイプラインで複数の同期シナリオに対応 — 初期フルロード、リアルタイム増分書き込み、およびフルテーブルパーティションへの定期的なマージ | PolarDB for MySQL、Oracle、MySQL、PolarDB-X、PostgreSQL | PolarDB ソース、Oracle ソース、MySQL ソース、PolarDB-X 環境、PostgreSQL 環境 | Hologres へのワンクリックリアルタイム同期、実行中のタスクからの同期テーブルの追加または削除、フル同期タスクと増分同期タスクの運用保守 |
Hologres の宛先テーブルにフィールド (例: update_time) を追加するには、「リアルタイム同期タスクの設定と管理」をご参照ください。