DataWorks:バッチ同期の機能

機能

説明

異種データソース間のデータ同期

Data Integration は、リレーショナルデータベース、非構造化ストレージ、ビッグデータストレージ、メッセージキューなど、50 種類以上のデータソースタイプをサポートしています。ソースと宛先のデータソースを定義し、Data Integration が提供する Reader プラグインと Writer プラグインを使用して、構造化または半構造化ソース間でデータを転送できます。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。

複雑なネットワーク環境でのデータ同期

バッチ同期は、ApsaraDB、オンプレミスのデータセンター、ECS 上の自己管理データベース、および Alibaba Cloud 外部のデータベースをサポートしています。設定する前に、リソースグループと、ソースおよび宛先のエンドポイントの両方との間の ネットワーク接続 が確保されていることを確認してください。設定の詳細については、「ネットワーク接続ソリューション」をご参照ください。

同期シナリオ

1. 同期モード：

• 定期的な全量同期：定期的に宛先テーブルをすべてのソースデータで上書きします。全量更新のシナリオに適しています。

• 定期的な増分同期：日次または時間単位で新規または変更されたデータのみを同期します。${bizdate} のような組み込みの スケジューリングパラメータ を データフィルター の WHERE 条件と組み合わせて使用し、指定されたデータのみを取得して、対応する時間パーティションに書き込むようにします。詳細については、「増分同期のスケジューリングパラメータの設定」をご参照ください。

• 履歴データバックフィル：大量の履歴データを一度にバックフィルする必要がある場合は、[データバックフィル] の **[データのバックフィル]** 機能を使用して、同期タスクをバッチ実行し、履歴データを効率的にアーカイブします。

2. サポートされているソース構造：

• 単一テーブルから単一テーブルへ：最も基本的な同期モードです。1つのソーステーブルから1つの宛先テーブルにデータを同期します。

• シャーディングされたテーブルから単一テーブルへ：

  • 複数の物理テーブル (注文テーブル order_01、order_02... など) からデータを自動的に集約し、1 つの宛先テーブルに書き込みます。

  • サポートされているデータソースには、MySQL、SQL Server、Oracle、PostgreSQL、PolarDB、AnalyticDB が含まれます。詳細については、「シャーディングされたテーブルを単一のテーブルに同期する」をご参照ください。

設定方法

Data Integration では、次の方法でバッチ同期タスクを設定できます。

• コードレス UI：ガイド付きのビジュアルインターフェイスを通じてタスクを段階的に設定します。このモードは習得と使用が簡単ですが、一部の高度な機能はサポートされていません。

• コードエディター：JSON スクリプトを使用して同期ロジックを直接定義します。このモードは、より複雑な設定をサポートし、きめ細かい制御を可能にします。

• OpenAPI：OpenAPI を通じてタスクの完全なライフサイクルを管理し、プログラムによる操作をサポートします。

• DI エージェント：AI を活用した対話を通じて単一テーブルのバッチ同期タスクを迅速に作成および管理するには、手動のフォーム設定の代わりに DI エージェント を使用します。同期の要件を 1 文で記述すると、エージェントが自動的にデータソースを識別し、フィールドをマッピングし、リソースグループを割り当て、スケジューリングポリシーを設定するため、単一タスクの作成時間が 15～30 分から 5 分未満に短縮されます。

バッチ同期タスクの O&M

• アラート：不完全、失敗、完了したタスクなどのシナリオを含む、バッチ同期タスクの実行ステータスを監視します。メール、SMS、電話、DingTalk グループボット、Webhook などの複数のアラート方法をサポートしており、アラート受信者に通知します。

• データ品質概要：タスクをコミットしてデプロイした後、オペレーションセンターで宛先テーブルのデータ品質監視ルールを設定できます。現在、データ品質監視ルールをサポートしているのは一部のデータベースタイプのみです。

• データソース環境の分離：単一のデータソース名は、開発環境と本番環境の 2 つの独立した設定にバインドされます。タスクの実行中、データソースは環境に基づいて自動的に切り替えられます。開発デバッグでは開発環境が、本番スケジューリングでは本番環境が使用されるため、テスト操作が誤って本番データに影響を与えるリスクを防ぎます。