Data Integration は、手順に沿ってソースとターゲットを設定し、単一テーブルまたはシャード化されたテーブルの全量データまたは増分データをターゲットテーブルに定期的に同期するように設定できる、コードレス UI を提供します。具体的な設定はデータソースによって異なります。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。
前提条件
-
データソース管理で、必要なソースデータベースとターゲットデータベースを設定します。詳細については、「データソースリスト」をご参照ください。
説明-
サポートされているデータソースとその設定については、「サポートされているデータソースと同期ソリューション」をご参照ください。
-
データソースの機能の概要については、「データソース管理」をご参照ください。
-
-
適切な仕様のリソースグループを購入し、ワークスペースに関連付けます。詳細については、「サーバーレス リソースグループを使用する」をご参照ください。
-
リソースグループとデータソース間のネットワーク接続を設定します。詳細については、「ネットワーク接続を設定する」をご参照ください。
-
現在のワークスペースに関連付けられていない MaxCompute テーブル (例:クロスプロジェクト同期) を同期する必要がある場合は、先にターゲットの MaxCompute プロジェクトを DataWorks のデータソースとして追加する必要があります。これにより、同期タスクでそのテーブルをソースまたはターゲットとして選択できます。データソースの設定方法の詳細については、「データソース管理」をご参照ください。
-
クロスアカウントのシナリオでは、別アカウントのデータソースを追加する際に、クロスアカウント認可を推奨します。これにより、別アカウント内のインスタンスの接続情報と認証情報を手動で管理する必要がなくなります。クロスアカウント認可がサポートされておらず、データソースが StarRocks などの [接続文字列モード] をサポートしている場合は、別アカウント内のインスタンスの接続情報 ([ホストアドレス]、[ポート]、[ロード URL]、[データベース名]、[ユーザー名]、[パスワード]) を手動で入力できます。データソースが接続テストに合格した後、そのメタデータをプルし、DataWorks のデータ統合ノードでソースまたはターゲットのデータソースとして選択できます。これは、DataStudio のコードレス UI で設定するバッチ同期、およびコードエディタモードにも適用されます。また、シャーディングと、オペレーションセンターから管理する O&M シナリオも対象です。
ステップ 1:データ統合ノードの作成
DataStudio (新バージョン)
-
DataWorks コンソールにログインします。 左側のナビゲーションペインで、を選択します。 ドロップダウンリストから目的のワークスペースを選択し、<p><a href={url} target="_blank">LogHub エンドポイント</a> に移動します</p>[Data Studio] をクリックします。
-
ワークフローを作成します。詳細については、「ワークフロー」をご参照ください。
-
次のいずれかの方法でデータ統合ノードを作成します。
-
方法 1: ワークフローリストの右上隅にある
をクリックし、 を選択します。 -
方法 2: ワークフロー名をダブルクリックし、Data Integration ディレクトリから Data Integration ノードを右側のワークフロー編集パネルにドラッグします。
-
-
ノードのソースタイプとデスティネーションタイプを設定し、特定のタイプとして単一テーブルのオフラインを選択し、確認 をクリックして作成を完了します。
レガシー DataStudio
-
DataWorks コンソールにログインします。 左側のナビゲーションペインで、 を選択します。 ドロップダウンリストから目的のワークスペースを選択し、データ開発を開始 をクリックします。
-
ワークフローを作成します。詳細については、「ワークフローを作成する」をご参照ください。
-
次のいずれかの方法でバッチ同期ノードを作成します。
-
方法 1: ワークフローを展開し、を右クリックします。
-
方法 2: ワークフロー名をダブルクリックし、Data Integration ディレクトリから オフライン同期 ノードを右側のワークフロー編集パネルにドラッグします。
-
-
画面の指示に従って、バッチ同期ノードを作成します。
ステップ 2:データソースとランタイムリソースの設定
この例では、ソースのデータソースタイプを MySQL に、データソースを mysql に設定します。デスティネーションのデータソースタイプを MaxCompute (ODPS) に、データソースを own_mc に設定します。リソースグループは dwGroup に、CU は 0.5 CU に設定します。
-
[ソースデータソース]セクションと[宛先データソース]セクションで、データの読み取り元と書き込み先のデータソースオブジェクトを選択します。
-
[実行中のリソース]セクションで、同期タスクの[リソースグループ]を選択し、タスクに[リソースグループ]の [CU] を割り当てます。リソース不足により同期タスクでメモリ不足 (OOM) エラーが発生した場合は、リソースグループの CU 値を増やしてください。推奨されるリソースクォータの設定については、「リソースグループのパフォーマンスメトリクス - Data Integration」をご参照ください。
-
ソースとデスティネーションの両方のデータソースが[接続性チェック]に合格することを確認してください。データソースとリソースグループ間のネットワークが接続されていない場合は、画面の指示またはドキュメントに従ってネットワーク接続を設定してください。詳細については、「ネットワーク接続の設定」をご参照ください。
-
リソースグループが表示されない場合は、ワークスペースに関連付けられているかどうかを確認してください。詳細については、「サーバーレスリソースグループの使用」をご参照ください。
ステップ 3:同期ソリューションの設定
ソース セクションと送信先 セクションで、データの読み取り元と書き込み先のテーブルを設定し、同期範囲を指定します。
設定内容はプラグインによって異なります。以下では、共通の設定を例に説明します。特定のプラグインが各設定をサポートしているかどうか、および設定の動作については、該当プラグインのドキュメントをご参照ください。詳細については、「データソースリスト」をご参照ください。
1. ソース
ソース セクションで、データテーブルを設定し、必要なパラメーターを入力します。
|
操作 |
説明 |
|
データフィルタリングの設定 |
増分同期の設定方法は、データソース (プラグイン) によって異なります。 データフィルタリング条件を設定しない場合、デフォルトではテーブル内のすべてのデータが同期されます。 |
|
リレーショナルデータベースの分割キーの設定 |
同期中の同時読み取りでデータを分割する列を指定します。 プライマリキーは通常均等に分散され、データホットスポットを防止できるため、分割キーとしてプライマリキーを使用することを推奨します。 現在、分割キーは整数型のみをサポートしています。文字列、浮動小数点、日付などの型はサポートしていません。サポート対象外の型を指定した場合、DataWorks は分割キーを無視し、単一チャネルで同期します。 分割キーを指定しない場合、データ同期では単一チャネルが使用されます。 すべてのプラグインが分割キーをサポートしているわけではありません。前述の内容は参考情報です。詳細については、プラグインのドキュメントをご参照ください。詳細については、「データソースリスト」をご参照ください。 |
2. データ処理
データ処理は、Data Studio (new version) の機能です。レガシ Data Studio では、タスク作成時に [Use New UI (With Data Processing Feature)] を選択する必要があります。すべての機能を使用できるように、レガシ ワークスペースを新バージョンにアップグレードすることを推奨します:Upgrade to the new version。
データ処理を使用すると、文字列置換、AI 支援処理、データベクトル化などの方法でソーステーブルのデータを変換してから、送信先テーブルに書き込むことができます。
ここでは [Replace String] を例に説明します。設定項目には [Name] と [Description] があります。置換ルールでは [Field Name] を選択し、[Content to Replace] ([Regular Expression Matching] と [Case-Sensitive Matching] をサポート) を入力して、[Replacement Content] を指定します。[Add Rule] をクリックして複数の置換ルールを追加し、右上の [Data Output Preview] で処理結果を確認できます。
-
トグルボタンをクリックして、データ処理を有効にします。
-
データ処理一覧 で ノードの追加 をクリックし、データ処理タイプとして 文字列の置き換え、[AI 支援処理]、または [データベクトル化] を選択します。複数のデータ処理ノードを追加できます。DataWorks はこれらのノードを順番に処理します。
-
プロンプトに従ってデータ処理ルールを設定します。AI 支援処理とデータベクトル化については、「データ処理」をご参照ください。
説明データ処理には追加のコンピュートリソースが必要なため、リソース消費量とタスクの実行時間が増加します。同期効率への影響を避けるため、処理の複雑さを最小限に抑えてください。
3. 送信先
送信先 セクションで、データテーブルを設定し、必要なパラメーターを入力します。
|
操作 |
説明 |
|
同期前後のステートメントの設定 |
一部のデータソースでは、同期前 (データ書き込み前) および同期後 (データ書き込み後) に、送信先で SQL ステートメントを実行できます。 例: MySQL Writer は preSql および postSql 設定をサポートしており、データが MySQL に書き込まれる前後に MySQL コマンドを実行できます。たとえば、同期前にテーブルから古いデータを消去するために、インポート前の準備文 (preSql) フィールドに MySQL テーブルの切り捨てコマンド |
|
書き込み競合の解決モードの定義 |
パスやプライマリキーの競合が発生した場合に、送信先へデータを書き込む方法を定義します。設定の詳細については、該当するライタープラグインのドキュメントをご参照ください。 |
MaxCompute パーティションテーブルの設定に関する注意事項
送信先が MaxCompute パーティションテーブルの場合は、次の点に注意してください:
-
パーティション列の識別:DataWorks は、MaxCompute の送信先テーブルのパーティション構造を自動的に識別します。UI に一部のパーティション列のみが表示される場合は、開発環境と本番環境の両方で、すべてのパーティション列が正しく定義されているか確認してください。タスクが失敗し、テーブルのパーティション情報を設定するよう求められた場合は、送信先の設定でパーティションパラメーターを補完してください。
-
列マッピングの更新:ソースまたは送信先に新しい列が追加されたにもかかわらず、列マッピングセクションに表示されない場合は、次の方法でキャッシュを更新してください:
-
開発環境と本番環境の両方で、テーブルスキーマが更新されていることを確認します。
-
設定ページで別のテーブルに切り替えた後、元のテーブルに戻してキャッシュを更新します。
-
キャッシュが更新されない場合は、ブラウザーを再起動するか、シークレットモードで設定ページを開き直します。
-
4. 列マッピングの設定
ソースと送信先を選択した後、リーダーとライター間の列マッピングを指定します。タスクはマッピングに基づき、ソース列を対応する送信先列に書き込みます。
-
ソース列が送信先列にマッピングされていない場合、そのデータは同期されません。
-
自動マッピングが想定どおりでない場合は、マッピングを手動で調整します。
-
列マッピングを削除するには、ソース列と送信先列の間のマッピング線を削除します。削除したソース列のデータは同期されません。
ソースと宛先で列タイプが一致しないと、ダーティデータが生成され、宛先にデータを書き込めなくなることがあります。許容されるダーティデータレコード数を設定するには、次のステップで詳細設定を設定します。
同名マッピング、同一行マッピング、インテリジェントマッピング、ルールベースマッピングがサポートされています。設定時に、次の操作も実行できます:
-
インテリジェントマッピング:Data Integration は AI セマンティック解析を使用して、ソーステーブルと送信先テーブルの列名、データ型、コメントを自動的に識別し、最適なマッピングを推奨します。推奨内容を確認するか、必要に応じて微調整するだけで設定できます。
列マッピング セクションで [Intelligent Mapping] をクリックして、インテリジェントマッピングのダイアログを開きます。マッピング要件を自然言語で記述できます。
-
適用シナリオ
代表的な例
推奨プロンプト
グローバルなセマンティックマッチング
列名は完全に異なるが、意味は同じ
(例:product_id↔item_code)Perform semantic matching on all columns of the source and destination tables, and automatically identify columns with the same meaning.特定の業務ドメインのマッチング
特定の業務列のみをマッピングする必要がある
(例:「user」または「order」関連の列のみ)Map only the columns in the source table that contain "user information" (such as name, phone number, and ID) to the corresponding columns in the destination table.
(Note: You can replace the keyword with "order", "logistics", "payment", etc.)プレフィックス/サフィックスの命名規則の違い
コア名は同じだが、プレフィックス/サフィックスが異なる
(例:src_user_name↔tgt_user_name)Ignore prefix and suffix differences in column names, and perform semantic matching based on core names only.略語と正式名称のマッチング
片方が略語を使用し、もう片方が正式名称を使用している
(例:amt↔amount)Identify common English abbreviation-to-full-name mappings (such as amt=amount, addr=address) and create mappings accordingly.特定の列の除外
類似した列があるが、同期する必要がない
(例:create_timeは不要)Perform semantic matching, but exclude all columns that contain "time" or "log" in their names.複雑なロジックの修正
自動マッチング結果が不正確で、手動でのガイダンスが必要
Do not map the id column of the source table to the order_id column of the destination table. Regenerate the mapping suggestions. -
説明を入力した後、[Generate Preview] をクリックします。推奨されるマッピングが [Matching Result Preview] セクションに表示されます。必要なマッピングを確認して選択し、[Apply] をクリックすると、選択したマッピングが列マッピングに追加されます。結果が期待どおりでない場合は、説明を調整してプレビューを再生成してください。
-
-
ルールベースマッピング:ソースと送信先の列名が一定のパターンに従っている場合は、[Rule-Based Mapping] 機能を使用して列マッピングを一括作成できます。プレフィックス/サフィックスのマッチングや文字列置換などのルールを設定し、マッピング結果をプレビューしてから、[Apply] をクリックします。
-
宛先列への値の割り当て: ソーステーブルのフィールド 列の フィールドの追加 をクリックして、宛先テーブルに定数、スケジューリングパラメーター、および組み込み変数を追加できます。 例:
123、${スケジューリングパラメーター}、#{組み込み変数}#。説明スケジューリングパラメーターの詳細については、「スケジューリングパラメーターを設定する」をご参照ください。
-
組み込み変数の追加:組み込み変数を手動で追加し、送信先列にマッピングして、下流タスクに出力できます。
各プラグインで使用できる組み込み変数は次のとおりです:
組み込み変数
説明
サポートされているプラグイン
'
#{DATASOURCE_NAME_SRC}#'ソースデータソース名
-
MySQL Reader
-
MySQL (sharded) Reader
-
PolarDB Reader
-
PolarDB (sharded) Reader
-
PostgreSQL Reader
-
PolarDB-O Reader
-
PolarDB-O (sharded) Reader
'
#{DB_NAME_SRC}#'ソーステーブルが属するデータベース名
-
MySQL Reader
-
MySQL (sharded) Reader
-
PolarDB Reader
-
PolarDB (sharded) Reader
-
PostgreSQL Reader
-
PolarDB-O Reader
-
PolarDB-O (sharded) Reader
'
#{SCHEMA_NAME_SRC}#'ソーステーブルが属するスキーマ名
-
PolarDB Reader
-
PolarDB (sharded) Reader
-
PostgreSQL Reader
-
PolarDB-O Reader
-
PolarDB-O (sharded) Reader
'
#{TABLE_NAME_SRC}#'ソーステーブル名
-
MySQL Reader
-
MySQL (sharded) Reader
-
PolarDB Reader
-
PolarDB (sharded) Reader
-
PostgreSQL Reader
-
PolarDB-O Reader
-
PolarDB-O (sharded) Reader
'
#{FILE_NAME_SRC}#'ファイル名
-
OSS Reader
-
HDFS Reader
-
FTP Reader
-
TOS Reader
-
COS Reader
-
S3 Reader
-
Azure Blob Reader
'
#{FILE_PATH_SRC}#'絶対ファイルパス
-
OSS Reader
-
HDFS Reader
-
FTP Reader
-
TOS Reader
-
COS Reader
-
S3 Reader
-
Azure Blob Reader
-
-
ソース列の編集:マッピングの手動編集 をクリックして、次の操作を実行できます。
-
ソースデータベースでサポートされている関数を使用して列を処理します。たとえば、Max(id) を使用して最大値のみを同期します。
-
列マッピングで全列を取得できない場合は、ソース列を手動で編集します。
説明MaxCompute Reader では関数を使用できません。
-
ステップ 4:詳細設定
高度な設定は、データ同期の以前のバージョンのチャンネル制御機能に相当します。
詳細設定では、データ同期プロセスのプロパティを制御します。詳細については、「チャネルコントロール」をご参照ください。
|
パラメーター |
説明 |
|
[タスクの最大同時実行数] |
ソースからの読み取り、またはデスティネーションへの書き込みを行う同時実行スレッドの最大数を指定します。 説明
|
|
[同期レート] |
同期速度を制御します。
説明
トラフィックメトリックは Data Integration が測定するもので、実際の NIC トラフィックを表すものではありません。NIC トラフィックは通常、データストレージシステムの転送シリアル化に応じて、チャネルトラフィックの 1~2 倍になります。 |
|
[ダーティデータポリシー] |
ダーティデータとは、型競合や制約違反などの例外によりデスティネーションへの書き込みに失敗したデータレコードを指します。単一テーブルのバッチ同期は、ダーティデータポリシーの定義をサポートしています。許容するダーティデータレコードの数と、それらがタスクにどのように影響するかを定義できます。
重要
過剰なダーティデータは、タスク全体の同期速度に影響します。 |
|
[分散処理能力] |
タスクの分散モードを有効にするかどうかを制御します。
高いパフォーマンスが求められる場合は、分散モードが推奨されます。また、マシン上の断片化されたリソースを活用して、リソース使用率を向上させることもできます。 重要
|
|
[タイムゾーン] |
タイムゾーンをまたぐ同期では、タイムゾーン変換用にソースのタイムゾーンを設定します。 |
上記の設定に加えて、全体の同期速度は、ソースデータソースのパフォーマンス、ネットワーク環境、その他の要因にも影響を受けます。同期速度とチューニングの詳細については、「同期速度とチューニング」をご参照ください。
ステップ 5:スケジュール設定
定期的にスケジュールされる単一テーブルバッチ同期タスクでは、自動スケジューリングのプロパティを設定する必要があります。ノードの編集ページに移動し、右側の スケジューリング設定 をクリックして、ノードのスケジュール設定を行います。
同期タスクのスケジューリングパラメーター、スケジューリングポリシー、スケジューリング時間、依存関係を設定します。設定方法は、他のデータ開発ノードと同じです。
-
Data Studio の新バージョンでのスケジュール設定については、「ノードスケジューリング (新バージョン)」をご参照ください。
-
レガシー Data Studio でのスケジュール設定については、「ノードスケジューリング (レガシー)」をご参照ください。
スケジューリングパラメーターの使用に関する詳細については、「Data Integration におけるスケジューリングパラメーターの一般的なシナリオ」をご参照ください。
ステップ 6: タスクのテストとデプロイ
-
実行パラメーターを設定します。
単一テーブルバッチ同期タスク設定ページの右側で、デバッグの構成 をクリックし、テスト実行用に次のパラメーターを設定します。
設定項目
説明
リソースグループ
データソースにネットワーク接続できるリソースグループを選択します。
スクリプト パラメーター
データ同期タスク内のプレースホルダーパラメーターに値を割り当てます。たとえば、Data Integration タスクが
${bizdate}パラメーターを使用している場合、yyyymmdd形式の日付パラメーターを設定します。 -
タスクを実行します。
ツールバーの
実行ボタンをクリックして、Data Studio でタスクを実行してデバッグします。その後、対応する宛先テーブルタイプのノードを作成して宛先テーブルのデータをクエリし、同期されたデータが期待どおりかを確認できます。 -
タスクをデプロイします。
タスクがテスト実行に合格した後、タスクを定期的に実行する必要がある場合は、ノード編集ページの上部にある
ボタンをクリックして、タスクを本番環境にデプロイします。詳細については、「タスクのデプロイ」をご参照ください。
制限
-
単一テーブルのバッチ同期タスクは、Data Studio でのみ設定できます。
-
一部のデータソースでは、単一テーブルのバッチ同期タスクを設定するためのウィザードモードがサポートされていません。
データソースを選択した後、現在のデータソースではウィザードモードがサポートされていないと表示された場合は、ツールバーの
アイコンをクリックしてスクリプトモードに切り替え、タスクの設定を続行してください。詳細については、「スクリプトモードの設定」をご参照ください。 -
ウィザードモードは学習コストが低い一方で、一部の高度な機能はサポートされていません。より細かな設定管理を行う場合は、ツールバーのスクリプト変換アイコンをクリックしてスクリプトモードに切り替えてください。
-
ウィザードモードの単一テーブルバッチ同期タスクでは、単一テーブルの同期と、一部の データベースとテーブルのシャーディング同期 (データベースとテーブルのシャーディング同期は特定のデータソースタイプでのみサポートされ、テーブルスキーマの一貫性が必要です) を設定できます。データベース全体の同期 (テーブルスキーマとデータの一括同期) はサポートされていません。データベース全体の同期については、「データベース全体のバッチ同期タスク」をご参照ください。
-
バッチ同期タスクは、リアルタイム同期タスクに直接変換できません。リアルタイムデータ同期が必要な場合は、単一テーブルのリアルタイム同期タスク ノードを作成してください。
-
タスクのデプロイ時にノード名が長すぎるというメッセージが表示された場合は、デプロイページの [高度な設定] でノード名を変更してください。名前が 128 文字を超えないようにしてください。
次のステップ
タスクをデプロイした後、本番環境のオペレーションセンターに移動して、スケジュールされたタスクを表示します。Data Integration タスクの実行、管理、モニタリングの詳細については、「Data Integration タスクの運用保守」をご参照ください。