DataWorks Data Integration は、ソースデータベースのすべてのテーブル、または選択したテーブルを、低レイテンシーかつ自動化された完全・増分一括同期方式で宛先データストアにレプリケートする、強力なリアルタイムデータベース同期ソリューションを提供します。リアルタイムコンピューティングエンジン上に構築されたこの機能は、初回の完全データロードを自動的に実行し、その後シームレスに増分変更データキャプチャ (CDC) に切り替わります。リアルタイムのクラウド移行やリアルタイムデータウェアハウスの ODS レイヤー構築などのユースケースに対応するワンストップソリューションです。
ユースケース
データウェアハウス用のリアルタイム ODS レイヤーの構築
MySQL や Oracle などの運用データベースから、Hologres や StarRocks などのリアルタイムデータウェアハウスにデータを同期し、ダッシュボードやアドホッククエリに最新のデータを提供します。
災害復旧のためのリアルタイムデータベースレプリケーション
2 つのデータベースインスタンス間にリアルタイムのレプリケーションリンクを確立し、同種または異種データベース間での読み書き分離、読み取り専用レプリカ、または災害復旧を実現します。
クラウドへのリアルタイムデータ移行
オンプレミスデータセンターからクラウドデータベースサービスへ、データベースをシームレスに移行します。
リアルタイムデータレイクまたはデータミドルプラットフォームの構築
複数の運用データベースからリアルタイムの変更データを収集し、データレイク (OSS または DLF) やデータウェアハウス (MaxCompute または Hologres) に集約して、統一されたリアルタイムデータミドルプラットフォームを構築します。
コア機能
リアルタイムデータベース同期は、以下の機能を提供します。
コア機能 | 機能 | 説明 |
異種データソース間でのデータベース全体の同期 | - | リアルタイムデータベース同期は、オンプレミスデータセンターや他のクラウドプラットフォームから、MaxCompute、Hologres、Kafka などのデータウェアハウスやデータレイクへデータを移行できます。詳細については、「サポートされるデータソースと同期ソリューション」をご参照ください。 |
複雑なネットワーク環境でのデータ同期 | - | リアルタイム同期は、Alibaba Cloud データベースサービス、オンプレミスデータセンター、ECS 上のセルフマネージドデータベース、および他のクラウドプラットフォーム上のデータベースからのデータ同期をサポートします。設定前に、リソースグループとソースおよび宛先間のネットワーク接続が確立されていることを確認してください。詳細については、「ネットワーク接続ソリューション」をご参照ください。 |
同期シナリオ | 完全同期 | ソースから宛先テーブルへの 1 回限りの完全データ同期を実行します。 |
増分同期 | メッセージキューまたは CDC ログからストリーミングデータを継続的にキャプチャし、リアルタイムで宛先テーブルまたは指定されたパーティションに書き込みます。 | |
完全・増分一括同期 |
| |
タスク設定 | テーブルの一括同期 | データベース内のすべてのテーブルを同期するか、選択ルールまたはフィルター ルールを使用して同期するテーブルのサブセットを指定できます。 |
テーブルの自動作成 | 一度設定するだけで、ソースデータベースの何百ものテーブルを処理できます。システムは手動で介入することなく、宛先にテーブルスキーマを自動的に作成します。 | |
柔軟なマッピング | 宛先のデータベースとテーブルのカスタム命名規則、およびソースと宛先の間のカスタムフィールド型マッピングをサポートしており、宛先のデータ構造モデルに柔軟に適応できます。 | |
DDL 変更検知 (特定の同期リンクでサポート) | ソーステーブルのスキーマが変更された場合 (テーブルや列の作成、削除など)、同期タスクが以下のいずれかの応答戦略を採用するように設定できます：
| |
DML ルール設定 | DML メッセージ処理により、ソースからキャプチャした変更データ ( | |
動的パーティションニング | 宛先テーブルがパーティションテーブルの場合、ソースフィールドまたはソース側のイベント変更時間に基づいて動的パーティションニングがサポートされています。 重要 パーティションが多すぎると、同期パフォーマンスが低下します。1 日に 1,000 を超えるパーティションが追加されると、パーティションの作成に失敗し、タスクが終了します。 | |
タスクのO&M | オンライン介入 | チェックポイントベースの再開をサポートしており、タスクの中断後に指定した時刻のチェックポイントから実行を再開し、同期中のデータ損失がないことを保証します。また、データバックフィル、異常修復、またはロジック変更の検証のためにタスクを再実行でき、データの一貫性とビジネスの継続性を確保します。 |
モニタリングとアラート | ビジネスレイテンシー、タスクステータス、フェイルオーバー、DDL 通知のモニタリングルール、およびトリガーされたルールに対するアラートをサポートします。 | |
リソースチューニング | DataWorks Data Integration はサーバーレスリソースグループに基づいており、タスクレベルでの弾性スケーリングが可能です。 さらに、時間ベースの弾性スケーリングポリシーを設定して、ビジネスのピーク時とオフピーク時など、異なる時間にタスクに異なるリソース仕様を割り当てることができます。 | |
DI Agent | AI ネイティブ | DI Agent は、データ統合シナリオ向けのData Agent の垂直的な機能セットです。対話型のタスク設定、マルチモーダルデータ処理、ChatDB データ Q&A、インテリジェント診断、定期検査、IM チャネル統合の 6 つの主要な機能を含みます。 |
利用開始
リアルタイムデータベース同期タスクを作成するには、「リアルタイムデータベース同期タスクの作成」をご参照ください。
自然言語の対話を通じてリアルタイムデータベース同期タスクを作成および管理するには、Data Agent の AI ネイティブ機能を利用できます。Data Agent は、単一テーブルのオフライン、単一テーブルのリアルタイム、データベース全体のオフライン、およびデータベース全体のリアルタイムタスクを含む、すべてのタスクタイプをサポートします。設定フォームを手動で入力する必要はありません。1 文だけで、意図の理解からタスクのデプロイまでの全プロセスを完了できます。詳細については、「Data Agent を使用したデータ統合タスクの作成」をご参照ください。
対応データソース
ソースデータソース | 宛先データソース |
MaxCompute | |
AnalyticDB for MySQL (V3.0) | |
ApsaraDB for OceanBase | |
Data Lake Formation (DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
| LogHub |
OSS | |
OSS-HDFS | |
SelectDB | |
StarRocks | |
Lindorm |