データ開発 モジュールでデータ統合タスクを直接作成・管理し、抽出、変換、ロードを単一のビューで統一します。
概要
データ開発 モジュールで他のタスクノードと一緒にデータ統合タスクを定義・管理します。完全な ETL/ELT パイプラインは、モジュールを切り替えることなく単一のビューで実行されます。
単一テーブルのバッチ同期タスクは、依存関係の構成を持つワークフローノードとして追加できます。他の統合タスクはスタンドアロンノードとして実行されます。
コアメカニズム：
-
構成の一貫性：DataStudio またはデータ統合モジュールのどちらでタスクを作成しても、構成インターフェイス、パラメーター、および基盤となる機能は同一です。
-
双方向同期：データ統合モジュールで作成されたタスクは、DataStudio の
data_integration_jobsディレクトリに自動的に同期され、source-type-destination-typeチャネルごとに分類されます。
前提条件
-
データソースの準備
-
ソースと送信先のデータソースが構成されていること。詳細については、「データソース管理」をご参照ください。
-
ご利用のデータソースがリアルタイム同期をサポートしていること。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。
-
Hologres や Oracle など、ロギングが必要なデータソースでは、ロギングが有効になっていること。詳細については、「データソースリスト」をご参照ください。
-
-
リソースグループ：サーバーレスリソースグループを購入し、構成していること。
-
ネットワーク接続：リソースグループとご利用のデータソース間のネットワーク接続を確立していること。
DataStudio での統合タスクの作成
次の例では、MySQL から MaxCompute への単一テーブルのバッチ同期タスクを作成します。
-
ノードの作成
-
DataWorks コンソールの ワークスペース ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[操作] 列で を選択します。
-
ページ上部の + アイコンをクリックするか、ワークフローキャンバスのツールバーで を選択します。
-
基本情報の構成
データの遅延、ボリューム、複雑性の要件に基づいてバッチ同期またはリアルタイム同期を選択します。次に、ソースと送信先のデータベースタイプ、ネットワーク環境、および機能要件に一致する互換性のある同期ソリューションを選択します。
ノードの作成 ダイアログボックスで、次の設定を構成します。
-
パス：DataStudio ディレクトリツリー内でタスクノードを保存する場所を選択します。
-
データソースタイプ：ソースデータソースを選択します。例：
MySQL。 -
データ送信先タイプ：送信先データソースを選択します。例：
MaxCompute。 -
詳細種別：ニーズに基づいて同期ソリューションを選択します。例：
データベース全体のリアルタイム、データベース全体のバッチ、データベース全体の完全増分、または単一テーブルのバッチ。 -
名前：タスクノードの名前を入力します。例：
mysql_to_mc_user_table。
-
-
確認 をクリックします。タスクが作成され、そのビジュアル構成ページが開きます。
-
-
タスク詳細の構成
残りの構成は、データ統合モジュールでの構成と同じです。
-
スケジューリングの構成 (単一テーブルのバッチ同期のみ)
自動実行のために、スケジュール時間、スケジューリング依存関係、スケジューリングポリシーなどのノードプロパティを構成します。スケジューリングパラメーターを設定して、ランタイム時にノードインスタンスに動的変数を渡します。
-
タスクの公開と保守
-
ツールバーの 公開 をクリックして、タスクを本番環境にデプロイします。その後、タスクは オペレーションセンター によって管理されます。
-
公開後、オペレーションセンターで実行ステータス、ログ、アラート、依存関係を表示します。詳細については、「タスクの O&M とチューニング」をご参照ください。このドキュメントでは、インスタンス管理、失敗したタスクの再実行、パフォーマンスチューニング、ダーティデータの処理について説明しています。
-
タスクタイプ
データ統合は、複数の同期モードをサポートしています。各モードは、スケジューリング、依存関係のサポート、およびユースケースにおいて異なります。
単一テーブルのバッチ同期
構成：ウィザードモード構成 | スクリプトモード構成。
-
説明：定義されたスケジュール (日次、時間単位など) に基づいて、単一のソーステーブルと送信先テーブル間でデータを定期的に同期します。
-
ユースケース：
-
業務データの T+1 日次同期を行い、データウェアハウスの ODS レイヤーまたは DWD レイヤーを構築します。
-
本番データベースからデータレイクまたはデータウェアハウスに業務テーブルを定期的にアーカイブします。
-
データソース間でレポートデータを定期的に移行します。
-
単一テーブルのリアルタイム同期
構成：単一テーブルのリアルタイムタスク構成。
-
説明：単一のソーステーブルからのリアルタイムのデータ変更 (挿入、更新、削除) をキャプチャし、CDC またはメッセージキューを使用して送信先テーブルに同期します。
-
ユースケース：
-
業務データベースから MaxCompute または Hologres へのリアルタイムのデータ変更を同期して、リアルタイムデータウェアハウスを構築します。
-
リアルタイム監視ダッシュボードまたはレコメンデーションシステムにデータを提供します。
-
データベースインスタンス間で単一テーブルをリアルタイムで複製します。
-
データベース全体のバッチ同期
構成：データベース全体のバッチ同期タスク。
-
説明：ソースデータベースのすべてまたは複数のテーブルの 1 回限りまたは定期的なバッチ同期を実行します。
-
ユースケース：
-
初めて業務データベース全体をクラウドデータウェアハウスに移行します。
-
データベース全体の定期的または増分バックアップを実行します。
-
すべての既存データを一度にインポートして、新しいデータ分析環境を初期化します。
-
データベース全体のリアルタイム同期
構成：データベース全体のリアルタイム同期タスク。
-
説明：ソースデータベースのすべてまたは指定されたテーブルからスキーマとデータの変更をリアルタイムでキャプチャし、送信先に同期します。
-
ユースケース：
-
本番 OLTP データベースを分析データベースにリアルタイムで複製し、読み書き分離とリアルタイム分析を実現します。
-
データベースのリアルタイムディザスタリカバリソリューションを構築します。
-
データレイクまたはデータプラットフォームと複数の上流業務システムとの間でリアルタイムのデータ整合性を維持します。
-
データベース全体の完全増分同期
構成：データベース全体の完全増分同期タスク。
-
説明：CDC データには
Insert、Update、およびDelete操作が含まれます。追記専用のストレージシステム (非 Delta の MaxCompute テーブルなど) は、ネイティブにUpdate/Deleteを適用できないため、データ不整合が発生します。このモードは、送信先にベーステーブル(完全スナップショット) とログテーブル(増分ログ) を作成することでこの問題に対処します。 -
ユースケース：
-
送信先が非 Delta の MaxCompute テーブルであり、ソースに自動増分列がない場合、バッチ増分同期は利用できません。完全増分同期は、増分データを数分でログテーブルに書き込み、マージされた状態は T+1 ベースで表示可能になります。
-
機能比較
|
タスクタイプ |
作成場所 |
ワークフローオーケストレーション |
スケジューリング構成 |
DataStudio デバッグ |
データソースの隔離 |
|
単一テーブルのバッチ同期 |
DataStudio のみ |
|
|
|
|
|
単一テーブルのリアルタイム同期 |
DataStudio / データ統合 |
(スタンドアロンノードとしてのみ実行) |
|
(実行するにはオペレーションセンターへの公開が必要) |
|
|
データベース全体のバッチ同期 |
DataStudio / データ統合 |
(スタンドアロンノードとしてのみ実行) |
(サブタスクに個別のスケジュールを設定可能) |
(実行するにはオペレーションセンターへの公開が必要) |
|
|
データベース全体のリアルタイム同期 |
DataStudio / データ統合 |
(スタンドアロンノードとしてのみ実行) |
|
(実行するにはオペレーションセンターへの公開が必要) |
|
|
データベース全体の完全増分同期 |
DataStudio / データ統合 |
(スタンドアロンノードとしてのみ実行) |
(サブタスクに個別のスケジュールを設定可能) |
(実行するにはオペレーションセンターへの公開が必要) |
|