DataWorks データ統合は、リアルタイムデータベース同期のための強力なソリューションを提供します。このソリューションは、ソースデータベースからターゲットデータストアへ、すべてのテーブルまたは一部のテーブルをレプリケーションするのに役立ちます。完全同期と増分同期を組み合わせた統合アプローチを使用し、低レイテンシーで自動化されたレプリケーションを実現します。この機能はリアルタイムコンピューティングエンジン上で実行され、自動的に初期完全データ同期を行い、その後シームレスに変更データキャプチャ (CDC) に切り替えて増分データ変更を継続的にキャプチャします。これにより、クラウドへのリアルタイムデータベース移行や、リアルタイムのオペレーショナルデータストア (ODS) レイヤーの構築といったシナリオにワンストップソリューションを提供します。
利用シーン
データウェアハウス用のリアルタイム ODS レイヤーを構築する
MySQL や Oracle などのオンライン業務データベースから、Hologres や StarRocks などのリアルタイムデータウェアハウスへデータをリアルタイムに同期できます。これにより、大画面ディスプレイやアドホッククエリなどのビジネスシナリオにデータを提供します。
ディザスタリカバリのためにデータベースをリアルタイムでレプリケーションする
2 つのデータベースインスタンス間でリアルタイムレプリケーションタスクを作成できます。これを使用して、読み書き分離、読み取り専用インスタンスの構築、または同種・異種データベースのリアルタイムディザスタリカバリを実装できます。
データをリアルタイムでクラウドに移行する
オンプレミスのデータセンターからクラウドデータベースサービスへ、データベースをスムーズに移行できます。
リアルタイムデータレイクまたはデータ中台を構築する
複数の業務データベースからのリアルタイム変更データを、Object Storage Service (OSS) や Data Lake Formation (DLF) などのデータレイク、または MaxCompute や Hologres などのデータウェアハウスに集中的に収集できます。これにより、企業向けの統一されたリアルタイムデータ中台を構築できます。
コア機能
リアルタイムデータベース同期のコア機能は次のとおりです。
コア機能 | 特定の機能 | 説明 |
異種データソース間のデータベース同期 | - | データベース同期は、オンプレミスのデータセンターや他のクラウドプラットフォームから、MaxCompute、Hologres、Kafka などのデータウェアハウスやデータレイクへのデータ移行をサポートします。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。 |
複雑なネットワーク環境でのデータ同期 | - | リアルタイム同期は、ApsaraDB データベース、オンプレミスのデータセンター、ECS 上の自己管理データベース、または Alibaba Cloud 以外のデータベースからのデータ同期をサポートします。タスクを設定する前に、リソースグループがソースとターゲットに接続できることを確認してください。設定の詳細については、「ネットワーク接続の設定」をご参照ください。 |
同期シナリオ | 完全同期 | ソースからターゲットテーブルへの全データの 1 回限りの同期をサポートします。 |
増分同期 | メッセージキューや CDC ログなどのストリーミングデータをリアルタイムでキャプチャし、ターゲットテーブルまたは指定されたパーティションに書き込むことをサポートします。 | |
完全同期および増分同期 |
| |
タスク構成 | バッチテーブル同期 | データベース内のすべてのテーブルの同期をサポートします。また、テーブルを選択するか、フィルター ルールを構成することで、同期する特定のテーブルを選択することもできます。 |
自動テーブル作成 | 単一の構成で、ソースデータベース内の数百のテーブルを処理できます。システムは、手動介入なしでターゲットにテーブルスキーマを自動的に作成します。 | |
柔軟なマッピング | ターゲットデータベースとテーブルのカスタム命名規則をサポートします。ソースとターゲット間のフィールドタイプのカスタムマッピングをサポートし、ターゲットのデータ構造モデルに適応させます。 | |
DDL 変更の認識 (一部の同期リンクでサポート) | ソーステーブルのスキーマが変更された場合 (テーブルや列の作成や削除など)、同期タスクを構成して、次のいずれかの応答ポリシーを使用できます。
| |
DML ルール構成 | DML メッセージ処理は、ソースからキャプチャされた変更データ ( | |
動的パーティション | ターゲットテーブルがパーティションテーブルの場合、ソースフィールドまたはソースイベント変更の時刻に基づいて動的パーティションがサポートされます。 重要 パーティションが多すぎると同期効率に影響する可能性があることに注意してください。1 日に 1,000 を超える新しいパーティションが作成されると、パーティションの作成は失敗し、タスクは停止します。 | |
タスク O&M | オンライン介入 | 再開可能なアップロードをサポートします。タスクが中断された場合、指定された時間オフセットから再開して、データが失われないようにすることができます。データのバックフィル、例外の修正、またはロジック変更の検証のための再実行をサポートします。これにより、データ整合性と業務継続性が保証されます。 |
モニタリングとアラート | ビジネスレイテンシー、タスクステータス、フェールオーバー、DDL 通知のモニタリングルールをサポートします。また、トリガーされたルールのアラートもサポートします。 | |
リソースの最適化 | DataWorks Data Integration は、サーバーレスリソースグループを使用して、タスクレベルで弾力的なスケーリングを提供します。 また、時間ベースの弾力性ポリシーを設定して、ピーク時とオフピーク時など、異なる時間にタスクに異なるリソース仕様を事前設定することもできます。 |
開始
リアルタイムデータベース同期タスクを作成するには、「リアルタイムデータベース同期タスクの構成」をご参照ください。
サポートされているデータソース
ソースデータソース | ターゲットデータソース |
MaxCompute | |
AnalyticDB for MySQL (V3.0) | |
ApsaraDB for OceanBase | |
Data Lake Formation (DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
LogHub | |
OSS | |
OSS-HDFS | |
SelectDB | |
StarRocks | |
Lindorm |