DataWorks:完全および増分同期タスクの設定

操作

説明

Refresh

システムは選択したソーステーブルを自動的にリストアップします。ただし、送信先テーブルのプロパティを有効にするには、マッピングを更新する必要があります。

• 一括で同期するテーブルを選択し、[マッピング結果の更新] をクリックします。

• 送信先テーブル名：送信先テーブル名は、Customize Mapping Rules for Destination Table Names のルールに基づいて自動的に生成されます。デフォルトのフォーマットは ${SourceDatabaseName}_${TableName} です。この名前のテーブルが送信先に存在しない場合、システムは自動的に作成します。

Customize Mapping Rules for Destination Table Names (オプション)

システムにはデフォルトのテーブル命名ルールがあります：${SourceDatabaseName}_${TableName}。Customize Mapping Rules for Destination Table Names 列の Edit ボタンをクリックして、カスタムルールを追加できます。

• ルール名：ルールの名前を定義します。ビジネス目的が明確にわかる名前を使用してください。

• 送信先テーブル名： アイコンをクリックし、Manual Input と Built-in Variable のオプションを組み合わせて、送信先テーブル名を構築できます。変数には、ソースデータソース名、ソースデータベース名、ソーステーブル名が含まれます。

• 組み込み変数の編集：組み込み変数に文字列変換を適用できます。

この機能は、次のシナリオをサポートします。

1. 名前にプレフィックスまたはサフィックスを追加する：ソーステーブル名に定数のプレフィックスまたはサフィックスを追加します。

   ルール設定	結果

2. 一様な文字列置換を実行する：すべてのソーステーブル名に含まれる文字列 dev_ を prd_ に置き換えます。

   ルール設定	結果

3. 複数のテーブルから単一のテーブルにデータを書き込む。

   ルール設定	結果

フィールドデータ型のマッピングを編集 (オプション)

システムは、ソースと送信先のフィールドデータ型間にデフォルトのマッピングを提供します。テーブルの右上隅にある Edit Mapping of Field Data Types をクリックして、マッピングをカスタマイズできます。設定後、Apply and Refresh Mapping をクリックします。

データ型のマッピングを編集する際は、変換ルールが正しいことを確認してください。不正なルールは、型変換の失敗、ダーティデータの生成、タスク実行の中断を引き起こす可能性があります。

送信先テーブル構造の編集 (オプション)

システムは、カスタムテーブル名マッピングルールに基づいて、送信先テーブルが存在しない場合は自動的に作成し、同じ名前の既存テーブルがある場合はそれを使用します。

DataWorks は、ソーステーブルの構造に基づいて送信先テーブルの構造を自動的に生成します。ほとんどの場合、手動での介入は不要です。また、次の方法でテーブル構造を変更することもできます。

• 単一テーブルにフィールドを追加するには、Destination Table Name 列の アイコンをクリックします。

• フィールドを一括で追加する：同期したいすべてのテーブルを選択し、リストの下部にある Batch Modify > Destination Table Schema - Batch Modify and Add Field を選択します。

• 列の名前を変更することはできません。

既存のテーブルについては、フィールドの追加のみが可能です。新しいテーブルについては、フィールド、パーティションフィールドの追加、およびテーブルタイプやプロパティの設定ができます。詳細については、UI の編集可能なセクションをご参照ください。

Value assignment

ネイティブフィールドは、ソーステーブルと送信先テーブル間で一致するフィールド名に基づいて自動的にマッピングされます。前のステップで追加した新規フィールドには、手動で値を割り当てる必要があります。これを行うには：

• 単一テーブルに値を割り当てる：Value assignment 列の Configuration ボタンをクリックして、送信先テーブルのフィールドに値を割り当てます。

• 一括で値を割り当てる：リストの下部で Batch Modify > Value assignment を選択して、複数の送信先テーブルの同じフィールドに値を割り当てます。

定数または変数を割り当てることができます。Value Type ドロップダウンリストでタイプを切り替えます。次のメソッドがサポートされています。

• テーブルフィールド

  • 手動割り当て：abc や ${bizdate} のような定数値またはスケジューリングパラメーターを入力します。

  • 変数の選択：システムが提供する変数を選択してフィールド値とします。変数の種類については、UI の説明をご参照ください。

  • ソースフィールド：ソーステーブルのフィールドの値を使用します。フィールド値または時間値のいずれかを使用することを選択できます。

    • フィールド値：ソースフィールドが時間ベースの型でない場合、その値を直接送信先フィールドに書き込むことができます。

    • 時間値：ソースフィールドに時間関連の値が含まれている場合、そのフォーマットに基づいて処理し、Destination Format を指定して出力値をフォーマットできます。

      • 時間文字列：2018-10-23 02:13:56 や 2021/05/18 のような時間を表す文字列。ソースと送信先の時間フォーマットを指定することで、これらの文字列を時間値にシリアル化できます。上記の例では、yyyy-MM-dd HH:mm:ss や yyyy/MM/dd のようなフォーマットを使用できます。

      • 時間オブジェクト：ソース値が既に Date や Datetime のような時間ベースのデータ型である場合は、このタイプを選択します。

      • Unix タイムスタンプ (秒)：1610529203 や "1610529203" のような 10 桁の秒単位のタイムスタンプ。

      • Unix タイムスタンプ (ミリ秒)：1610529203002 や "1610529203002" のような 13 桁のミリ秒単位のタイムスタンプ。

  • 関数：関数を使用して、ソースフィールド値に簡単な変換を適用してから、送信先フィールドに割り当てます。詳細については、「関数式を使用して送信先テーブルのフィールドに値を割り当てる」をご参照ください。

• パーティションフィールド：列挙値またはソースフィールドのイベント時間に基づいて動的にパーティションを作成できます。

  • 手動割り当て：Configure Scheduling Parameters for Periodical Scheduling 設定で既に設定した定数値またはスケジューリングパラメーターを入力できます。例：abc または ${bizdate}。

[ソース分割 PK]

[ソース分割 PK] ドロップダウンリストから、ソーステーブルのフィールドを選択するか、Not Split を選択できます。同期タスクが実行されると、このフィールドに基づいてタスクが複数のサブタスクに分割され、データを同時に読み取ります。

プライマリキーなど、データが均等に分散しているフィールドを分割列として使用してください。文字列、浮動小数点、日付型はサポートされていません。

現在、ソース分割 PK 機能は、ソースが MySQL の場合にのみサポートされています。

[完全同期の実行]

ステップ 3 で完全データ同期を設定した場合、このオプションをクリアすることで、特定のテーブルの完全データ同期をスキップできます。これは、別の方法で既に完全データセットを送信先に同期している場合に便利です。

Full condition

完全ロードフェーズ中にソースにフィルター条件を適用します。WHERE キーワードなしで、WHERE 句の内容のみを入力します。

Configure DML Rule

DML メッセージ処理を使用して、キャプチャされたデータ変更 (Insert、Update、Delete) を送信先に書き込む前にフィルタリングおよび制御します。このルールは、増分同期フェーズ中にのみ適用されます。

完全データマージサイクル

現在、日次マージのみがサポートされています。[マージ時間のカスタマイズ] 設定で、マージタスクの特定のスケジューリング時間を設定できます。

プライマリキーのマージ

テーブルから 1 つ以上の列を選択して、プライマリキーを定義できます。

• 単一列のプライマリキー：id のように一意の値を持つ単一の列をプライマリキーとして選択します。

• 複合プライマリキー：一意の単一列が存在しない場合、複数の列を選択して複合キーを形成できます。これらの列の値の組み合わせは、各行を一意に識別し、データの整合性を確保し、データの上書きを防ぐ必要があります。