DataWorks のデータ統合は、データベースをバッチで効率的に同期する方法を提供します。完全同期または増分同期をワンタイムタスクまたは定期スケジュールで実行することで、ソースデータベースからターゲットデータストアにすべてのテーブルまたは選択したテーブルを移行できます。この機能により、テーブルごとに個別のタスクを作成する必要がなくなり、ターゲットテーブルのスキーマが自動的に作成されるため、データベースの移行と管理が簡素化されます。
利用シーン
データ移行とクラウド導入
MySQL や Oracle などのデータベースを、オンプレミスデータセンターからクラウドデータウェアハウスやデータレイクに移行します。
異なるクラウドプラットフォームやデータベースシステム間でデータを移行します。
データウェアハウスまたはデータレイクの構築
オンラインランザクション処理 (OLTP) データベースから、データウェアハウスまたはデータレイクのオペレーショナルデータストア (ODS) レイヤーに完全データまたは増分データを定期的に同期し、下流の分析のソースとして使用します。
データバックアップとディザスタリカバリ
本番データベースから HDFS や Object Storage Service (OSS) などのコスト効率の高いストレージメディアに、完全なデータセットを定期的にバックアップします。
クロスリージョンまたはクロスアベイラビリティゾーンのディザスタリカバリソリューションを実装します。
コア機能
データベースのバッチ同期のコア機能は次のとおりです：
コア機能 | 特徴 | 説明 |
異種データソース間の同期 | - | バッチ同期は、オンプレミスデータセンターや他のクラウドプラットフォームから、MaxCompute、Hologres、OSS などのデータウェアハウスやデータレイクへのデータ移行をサポートします。詳細については、「サポートされるデータソースと同期ソリューション」をご参照ください。 |
複雑なネットワーク環境でのデータ同期 | - | オフライン同期は、Alibaba Cloud データベース、オンプレミスデータセンターのデータベース、ECS インスタンス上の自己管理データベース、または Alibaba Cloud 以外のデータベースからのデータ転送をサポートします。構成の前に、リソースグループとソースおよび送信先の両方との間のネットワーク接続を確認してください。詳細については、「ネットワーク接続の構成」をご参照ください。 |
同期シナリオ | 完全同期 | すべてのデータをターゲットテーブルまたは指定されたパーティションに、1 回またはスケジュールに基づいて同期します。 |
増分同期 | 時間、パーティション、またはプライマリキーに基づいて、データのワンタイムまたは定期的な増分同期をサポートします。 | |
完全同期と増分同期の組み合わせ | 初回実行：自動でワンタイムの完全同期を実行します。 後続の実行：タスクは自動的に指定されたパーティションへの定期的な増分同期に切り替わります。 | |
データベースとテーブルのマッピング | バッチテーブル同期 | データベース内のすべてのテーブルを同期するか、選択チェックボックスとフィルター ルールを使用してテーブルの特定のサブセットを選択できます。 |
スキーマの自動作成 | 単一の構成で、ソースデータベースから数百のテーブルを処理できます。システムは手動介入なしで、送信先にテーブルスキーマを自動的に作成します。 | |
柔軟なマッピング | ターゲットデータベースとテーブルのカスタム命名ルールを許可します。また、ソースと送信先間のフィールドタイプのマッピングをカスタマイズして、送信先のデータモデルに適応させることもできます。 | |
スケジューリングと依存関係の管理 | スケジューリング時間 | 分、時、日、週、月、年など、さまざまなスケジューリングサイクルをサポートします。 一度に多数のテーブルを同期する場合は、タスクの蓄積やリソースの競合を防ぐために、実行時間をずらすことを推奨します。 |
タスクの依存関係 | DataWorks では、データベース全体のタスクとテーブルレベルのサブタスクの両方を、他の開発タスクの上流タスクとして設定できます。テーブル同期のサブタスクが完了すると、その下流タスクが自動的にトリガーされます。 | |
パラメーターのサポート | スケジューリングパラメーターを使用して増分同期を実装することをサポートします。たとえば、 | |
高度なパラメーター | ダーティデータの処理 | ダーティデータとは、型の競合や制約違反などの問題により、送信先への書き込みに失敗したレコードを指します。デフォルト値は |
リーダーとライターの構成 | リーダー (ソース) とライター (送信先) の両方のデータソースの最大接続数を構成できます。また、データを書き込む前に送信先で実行されるクリーンアップポリシーを定義することもできます。 | |
同時実行数とレート制限 |
| |
運用保守 | ランタイム介入 | 再実行、データ補填、成功としてマーク、フリーズ、復元などのランタイム介入を実行できます。 |
監視とアラート | ベースライン、タスクステータス、ランタイム持続時間に対する監視ルールを構成し、トリガーされたルールに対してアラートを送信できます。 | |
データ品質 | タスクを送信してデプロイした後、オペレーションセンターでターゲットテーブルのデータ品質監視ルールを構成できます。ルールは手動で構成することも、AI によって生成することもできます。この機能は現在、特定のデータベースタイプでのみサポートされています。詳細については、「データ品質」をご参照ください。 |
クイックスタート
データベース全体のバッチ同期タスクを作成するには、「データベース全体のバッチ同期タスクの構成」をご参照ください。
サポートされるデータソース
DataWorks は、さまざまなデータソースから MaxCompute、OSS、Elasticsearch などの送信先へのデータベース全体の移行をサポートしています。サポートされているデータソースを次の表に示します。
ソース | 送信先 |
MaxCompute | |
Data Lake Formation | |
Hive | |
Hologres | |
OSS | |
OSS-HDFS | |
Elasticsearch | |
StarRocks | |
MySQL |