DataWorks:データベース全体のリアルタイム同期タスクの設定

操作

説明

[Refresh]

システムは、選択したソーステーブルを自動的にリストアップします。ただし、宛先テーブルのプロパティを反映させるには、更新して確認する必要があります。

• 同期するテーブルを一括で選択し、[マッピングの一括更新] をクリックします。

• 宛先テーブル名: この名前は、Customize Mapping Rules for Destination Table Names ルールに基づいて自動的に生成されます。デフォルトでは、名前は ${source_database_name}_${table_name} です。この名前のテーブルが宛先に存在しない場合、システムによって自動的に作成されます。

[Customize Mapping Rules for Destination Table Names] (オプション)

システムには、テーブル名を生成するためのデフォルトルールがあります： ${source_database_name}_${table_name}。[Edit] 列の [Customize Mapping Rules for Destination Table Names] ボタンをクリックして、カスタム宛先テーブル名ルールを追加することもできます。

• ルール名: ルール名を定義します。ビジネス上の意味が明確な名前を指定することを推奨します。

• 宛先テーブル名: 宛先テーブル名は、 ボタンをクリックし、Manually enter と Built-in Variable を組み合わせることで生成できます。サポートされている変数には、ソースデータソース名、ソースデータベース名、およびソーステーブル名が含まれます。

• 組み込み変数の編集：既存の組み込み変数に文字列変換を適用できます。

次のシナリオを実装できます。

1. プレフィックスまたはサフィックスの追加：定数を設定して、ソーステーブル名にプレフィックスまたはサフィックスを追加します。

   ルール設定	結果

2. 統一文字列置換：ソーステーブル名の dev_ 文字列を prd_ に置き換えます。

   ルール設定	結果

3. 複数のテーブルから単一のテーブルへのデータ書き込み：宛先テーブル名を定数に設定します。

   ルール設定	結果

フィールドデータ型マッピングの編集 (オプション)

システムは、ソースと宛先のフィールドタイプ間のデフォルトマッピングを提供します。このマッピングをカスタマイズするには、テーブルの右上隅にある [Edit Mapping of Field Data Types] をクリックします。設定が完了したら、[Apply and Refresh Mapping] をクリックします。

フィールドタイプマッピングを編集する際は、型変換ルールが有効であることを確認してください。そうしないと、型変換が失敗し、ダーティデータが生成され、タスクの実行に影響を与える可能性があります。

宛先テーブルスキーマの編集 (オプション)

カスタムテーブル名マッピングルールに基づいて、システムは新しい宛先テーブルを作成するか、一致する名前の既存のテーブルを再利用します。

DataWorks は、ソーステーブルスキーマに基づいて宛先テーブルスキーマを自動的に生成します。ほとんどの場合、手動での介入は必要ありません。次の方法でテーブルスキーマを変更することもできます。

• 単一のテーブルにフィールドを追加するには、Target Table 列の ボタンをクリックします。

• フィールドの一括追加：同期するすべてのテーブルを選択し、テーブルの下部で Batch Edit > Destination Table Schema - Batch Modify and Add Field を選択します。

• 列名の変更はサポートされていません。

既存のテーブルの場合、フィールドの追加のみが可能です。新しいテーブルの場合、フィールドとパーティションフィールドを追加し、テーブルタイプまたはテーブルプロパティを設定できます。詳細については、UI の編集可能な領域をご参照ください。

[Value assignment]

ネイティブフィールドは、ソーステーブルと宛先テーブルの一致するフィールド名に基づいて自動的にマッピングされます。[新しく追加されたフィールドとパーティションフィールド] には、手動で値を割り当てる必要があります。値を割り当てるには、次の操作を実行します。

• 単一テーブルの割り当て：[Configuration] 列の [Value assignment] ボタンをクリックして、宛先テーブルフィールドに値を割り当てます。

• 一括割り当て：リストの下部で、Batch Edit > Value assignment を選択して、宛先テーブルの同一フィールドに一括で割り当てます。

割り当ては定数と変数の両方をサポートしており、[Value Type] 設定でタイプを切り替えることができます。サポートされている方法は次のとおりです。

• テーブルフィールド

  • 手動入力： abc などの定数値を入力します。

  • 変数の選択：ドロップダウンリストからサポートされているシステム変数を選択します。UI に表示される ツールチップで各変数の意味を確認できます。

  • 関数：関数を使用して、宛先フィールドに簡単な変換を適用します。詳細については、「関数式を使用して宛先テーブルフィールドに値を割り当てる」をご参照ください。

• パーティションフィールド：[ソースフィールド] の列挙値または [イベント時刻] に基づいて、動的にパーティションを作成できます。

  • 手動入力： abc などの定数値を入力します。

  • ソースフィールド：ソーステーブルフィールドの値をパーティションフィールドの値として使用します。値のタイプは、フィールド値または時刻値にすることができます。

    • フィールド値：ソースフィールドからの列挙値。パーティション数が過剰になり、データが過度に分散されるのを防ぐため、列挙値の数が限られているフィールドを使用することを推奨します。

    • 時刻値：ソースフィールドの値が時刻の場合、異なるフォーマットに基づいて処理し、[Target format] を指定して抽出された値をフォーマットできます。

      • 時刻文字列： "2018-10-23 02:13:56" や "2021/05/18" などの時刻を表す文字列。フォーマットを指定して文字列を解析できます。たとえば、上記の文字列は yyyy-MM-dd HH:mm:ss および yyyy/MM/dd フォーマットを使用しています。

      • 時刻オブジェクト：ソース値が Date や Datetime などの時刻型フォーマットである場合は、このタイプを選択します。

      • UNIX タイムスタンプ (秒)：秒単位で正確な UNIX タイムスタンプ。1610529203 や "1610529203" などの 10 桁のタイムスタンプフォーマットの数値または文字列もサポートされています。

      • UNIX タイムスタンプ (ミリ秒)：ミリ秒単位で正確な UNIX タイムスタンプ。1610529203002 や "1610529203002" などの 13 桁のタイムスタンプフォーマットの数値または文字列もサポートされています。

  • 変数の選択：ソースのイベント変更時刻 EVENT_TIME をパーティション値のソースとして使用できます。この方法は、ソースフィールド方法と同様に使用されます。

  • 関数：ソースフィールドに簡単な変換を適用し、その結果をパーティション値として使用できます。詳細については、「関数式を使用して宛先テーブルフィールドに値を割り当てる」をご参照ください。

[ソース分割列]

ソース分割列では、ソーステーブルからフィールドを選択するか、[Not Split] を選択できます。同期タスクが実行されると、このフィールドに基づいて複数のタスクに分割され、データを並列かつバッチで読み取ります。

テーブルのプライマリキーをソース分割列として使用することを推奨します。STRING、FLOAT、DATE 型のフィールドはサポートされていません。

現在、ソース分割列は、ソースが MySQL データソースの場合にのみサポートされています。

[フル同期をスキップしますか?]

ステップ 3 でフル同期を設定した場合、特定のテーブルのフル同期をスキップできます。これは、他の方法を使用して既に宛先に全データを同期している場合に便利です。

[Full condition]

このパラメータを使用すると、フル同期フェーズ中にソースデータをフィルタリングできます。WHERE キーワードなしで WHERE 句の内容のみを入力する必要があります。

[Configure DML Rule]

DML メッセージ処理は、データが宛先に書き込まれる前に、ソースからの変更データ (Insert、Update、Delete) に対してきめ細かいフィルタリングと制御を実行するために使用されます。このルールは、増分フェーズ中にのみ適用されます。

その他

[Table Type]：MaxCompute は、標準テーブル、PK Delta Table、Append Delta Table をサポートしています。宛先テーブルを作成する場合、その構造を編集する際にテーブルタイプを選択できます。既存のテーブルのタイプは変更できません。

• リアルタイム全データベース同期のフル + 増分モードは、PK Delta Table タイプの宛先テーブルのみをサポートしています。

• 増分のみモードにおけるリプレイモードは PK Delta Tables をサポートしています。増分ストリームモードは標準テーブルと Append Delta Tables をサポートしています。

Delta テーブルの詳細については、「Delta Table」をご参照ください。