DataWorks:データベース全体のリアルタイム同期の設定

操作

説明

Refresh

システムは選択したソーステーブルを自動的に一覧表示しますが、送信先テーブルの具体的な属性は、マッピングを更新して確定した後に有効になります。

• 同期するテーブルを一括で選択し、[一括マッピング更新] をクリックします。

• 送信先テーブル名：送信先テーブル名は、Customize Mapping Rules for Destination Table Namesルールに基づいて自動生成されます。デフォルトは ${source_database_name}_${table_name} です。この名前のテーブルが送信先に存在しない場合、システムが自動的に作成します。

Customize Mapping Rules for Destination Table Names（オプション）

システムにはデフォルトのテーブル名生成ルールがあります：${source_database_name}_${table_name}。また、Customize Mapping Rules for Destination Table Names列のEditボタンをクリックして、送信先テーブル名のカスタムルールを追加することもできます。

• ルール名：ルールの名前を定義します。わかりやすい名前を使用することを推奨します。

• 送信先テーブル名： アイコンをクリックしてManually enterまたはBuilt-in Variableを選択し、名前の一部を連結することで送信先テーブル名を生成できます。変数には、ソースデータソース名、ソースデータベース名、ソーステーブル名が含まれます。

• 組み込み変数の編集：既存の組み込み変数に対して文字列変換を実行できます。

この機能は以下のシナリオをサポートします。

1. プレフィックスまたはサフィックスの追加：定数を設定して、ソーステーブル名にプレフィックスまたはサフィックスを追加します。

   ルール設定	結果

2. 統一的な文字列置き換え：ソーステーブル名の文字列 dev_ を prd_ に置き換えます。

   ルール設定	結果

3. 複数テーブルのデータを 1 つのテーブルに書き込む：送信先テーブル名を定数として設定します。

   ルール設定	結果

フィールド型マッピングの編集（オプション）

システムはソースと送信先のフィールド型のデフォルトマッピングを提供します。テーブル右上隅のEdit Mapping of Field Data Typesをクリックして、マッピング関係をカスタマイズできます。設定後、Apply and Refresh Mappingをクリックします。

フィールド型マッピングを編集する際は、型変換ルールが正しいことを確認してください。そうでないと、型変換が失敗し、ダーティデータやタスク中断を引き起こす可能性があります。

送信先テーブル構造の編集（オプション）

カスタムテーブル名マッピングルールに基づき、システムは新しい送信先テーブルを作成するか、同じ名前の既存テーブルを再利用します。

DataWorks はソーススキーマに基づいて送信先スキーマを生成します。通常、手動での介入は不要です。ただし、以下の方法でテーブルスキーマを変更することもできます。

• 単一テーブルにフィールドを追加するには、 ボタンをクリックします。Target Table 列でフィールドを追加します。

• 一括でのフィールド追加：同期するすべてのテーブルを選択し、テーブル下部のBatch Edit > Destination Table Schema - Batch Modify and Add Fieldを選択します。

• カラム名の変更はサポートされていません。

既存テーブルの場合、フィールドの追加のみが可能です。新規テーブルの場合、フィールド、パーティションフィールドの追加、テーブルタイプまたはプロパティの設定が可能です。詳細については、UI の編集可能領域をご確認ください。

Value assignment

ネイティブフィールドは、ソーステーブルと送信先テーブルで同じ名前のフィールドに基づいて自動的にマッピングされます。新たに追加されたフィールドおよびパーティションフィールドについては、手動で値を割り当てる必要があります。以下の操作を実行します。

• 単一テーブルへの値割り当て：Value assignment列のConfigurationボタンをクリックして、送信先テーブルフィールドに値を割り当てます。

• 一括での値割り当て：リスト下部のBatch Edit > Value assignmentを選択して、複数の送信先テーブルの同一フィールドに一括で値を割り当てます。

Value Typeでタイプを切り替えることで、定数および変数を割り当てることができます。以下の方法がサポートされています。

• テーブルフィールド

  • 手動入力：直接定数値（例：abc）を入力します。

  • 変数の選択：ドロップダウンリストからサポートされているシステム変数を選択します。各変数の具体的な意味は、UI のツールチップで確認できます。

  • 関数：関数を使用して送信先フィールドに対して簡単な変換を実行できます。詳細については、「関数式を使用して送信先テーブルフィールドに値を割り当てる」をご参照ください。

• パーティションフィールド：ソースフィールドまたはイベント時間の列挙値に基づいて、動的にパーティションを作成できます。

  • 手動入力：直接定数値（例：abc）を入力します。

  • ソースフィールド：ソーステーブルフィールドの値をパーティションフィールド値として使用します。値のタイプはフィールド値または時間値です。

    • フィールド値：ソースフィールドからの列挙値です。パーティションが過剰に作成され、データが過度に分散することを防ぐため、異なる値の数が限られているフィールドを使用することを推奨します。

    • 時間値：ソースフィールドに時間値が含まれる場合、異なる形式に基づいて処理し、Target formatを指定してパーティション値をフォーマットできます。

      • 時刻文字列：時間を表す文字列（例："2018-10-23 02:13:56" または "2021/05/18"）。ソースおよび送信先の時刻形式を指定することで、時刻形式にシリアル化できます。上記の例では、yyyy-MM-dd HH:mm:ss や yyyy/MM/dd などの形式を使用してシリアル化を実行できます。

      • 時刻オブジェクト：ソース値がすでに Date や Datetime などの時刻型形式である場合、このタイプを直接選択します。

      • UNIX タイムスタンプ（秒）：秒単位のタイムスタンプです。10 桁のタイムスタンプ形式に準拠する数値または文字列（例：1610529203 および "1610529203"）もサポートされます。

      • UNIX タイムスタンプ（ミリ秒）：ミリ秒単位のタイムスタンプです。13 桁のタイムスタンプ形式に準拠する数値または文字列（例：1610529203002 および "1610529203002"）もサポートされます。

  • 変数の選択：ソースのイベント変更時刻 EVENT_TIME をパーティション値のソースとして使用できます。このオプションはソースフィールドオプションと同様に使用します。

  • 関数：関数を使用してソースフィールドに対して簡単な変換を実行し、その結果をパーティション値として使用できます。詳細については、「関数式を使用して送信先テーブルフィールドに値を割り当てる」をご参照ください。

ソース分割カラム

ソース分割カラムのドロップダウンリストからソーステーブルのフィールドを選択するか、Not Splitを選択します。実行中、同期タスクはこのフィールドに基づいて複数のサブタスクに分割され、同時実行によるバッチ読み取りが可能になります。

テーブルのプライマリキーをソース分割カラムとして使用することを推奨します。文字列型、浮動小数点型、日付型はサポートされていません。

現在、ソース分割カラムは MySQL ソースでのみサポートされています。

テーブルのフル同期をスキップ

タスクステップでフル同期を設定している場合、特定のテーブルについてスキップを選択できます。これは、フルデータがすでに他の手段で送信先に同期済みである場合に便利です。

Full condition

これにより、フル同期フェーズ中にソースデータをフィルタリングできます。WHERE 句の内容のみを記述し、WHERE キーワード自体は記述しないでください。

Configure DML Rule

DML メッセージ処理により、ソースからキャプチャされたデータ変更（Insert、Update、Delete）を送信先に書き込む前にフィルタリングおよび制御できます。このルールは増分同期フェーズでのみ有効です。

その他

Table Type：MaxCompute は Standard Table、PK Delta Table、および Append Delta Table をサポートします。送信先テーブルがまだ作成されていない場合、テーブル構造を編集する際にテーブルタイプを選択できます。既存テーブルのタイプは変更できません。

• データベース全体のリアルタイムフル＋増分モードは、PK Delta Table タイプの送信先テーブルのみをサポートします。

• フル増分モードの Replay モードは PK Delta Table をサポートします。Incremental stream モードは Standard Table および Append Delta Table をサポートします。

Delta Table の詳細については、「Delta Table」をご参照ください。