DataWorks:コードレス UI での単一テーブルバッチ同期タスクの設定

1. ソース

ソースセクションで、ソーステーブルを設定し、プロンプトに従って必要なパラメーターを指定します。

2. データ処理

データ処理機能を使用すると、文字列置換、AI 支援処理、データ埋め込みなどの方法でソースデータを変換してから、ターゲットテーブルに書き込むことができます。

たとえば、[文字列置換] タスクを設定するには、[名前] と [説明] を設定する必要があります。置換ルールで、[フィールド名] を選択し、[置換されるコンテンツ] ([正規表現マッチング] と [大文字と小文字を区別するマッチング] をサポート) を入力し、[置換コンテンツ] を指定します。[ルールを追加] をクリックして複数の置換ルールを追加し、右上隅の [データ出力プレビュー] を使用して結果を表示できます。

1. スイッチをクリックしてデータ処理を有効にします。

2. Data Processing List で、Add Node をクリックし、処理タイプ (Replace String、[AI 支援処理]、または [データ埋め込み]) を選択します。複数のデータ処理ノードを追加でき、DataWorks はそれらを順次処理します。

3. プロンプトに従ってデータ処理ルールを設定します。AI 支援処理とデータ埋め込みの詳細については、「データ処理」をご参照ください。

   説明

   データ処理は追加のコンピューティングリソースを消費し、タスクの実行時間が増加します。同期効率を維持するために、処理ロジックはできるだけシンプルにしてください。

3. ターゲット

ターゲットセクションで、ターゲットテーブルを設定し、プロンプトに従って必要なパラメーターを指定します。

MaxCompute パーティションテーブルに関する注意事項

ターゲットが MaxCompute パーティションテーブルである場合、次の点に注意してください。

• パーティションフィールドの検出：DataWorks は、ターゲットの MaxCompute テーブルのパーティション構造を自動的に検出します。UI にパーティションフィールドの一部しか表示されない場合は、開発環境と本番環境の両方で、すべてのパーティションフィールドが正しく定義されているかを確認してください。タスクがテーブルパーティション情報の設定を求めるエラーで失敗した場合は、ターゲット設定でパーティションパラメーターを入力してください。

• フィールドマッピングの更新：ソースまたはターゲットに追加された新しいフィールドがフィールドマッピングエリアに表示されない場合は、次の方法でキャッシュを更新してみてください。

  1. テーブル構造が開発環境と本番環境の間で同期されていることを確認します。

  2. 設定ページで、別のテーブルに切り替えてから元のテーブルに戻してキャッシュを更新します。

  3. フィールドがまだ更新されない場合は、ブラウザを再起動するか、シークレットモードを使用して設定ページを再度開きます。

4. フィールドマッピングの設定

ソースとターゲットを選択した後、ソース列とターゲット列間のマッピングを指定する必要があります。タスクは、このマッピングに基づいて各ソースフィールドから対応するターゲットフィールドにデータを書き込みます。

• どのターゲットフィールドにもマッピングされていないソースフィールドは同期されません。

• 自動マッピングが期待通りでない場合は、手動で調整する必要があります。

• フィールドを同期から除外するには、ソースフィールドとターゲットフィールド間の接続線を手動で削除できます。

ソースフィールドとターゲットフィールドの型が一致しない場合、書き込みの失敗やダーティデータの発生につながる可能性があります。Advanced configuration セクションでダーティデータの許容範囲を設定できます。これについては次のステップで説明します。

名前によるマッピング、行によるマッピング、インテリジェントマッピング、またはルールベースのマッピングを使用してフィールドをマッピングできます。また、次のアクションも実行できます。

• [インテリジェントマッピング]：効率を向上させ、エラーを減らすために、Data Integration はインテリジェントフィールドマッピングをサポートしています。この AI 搭載機能は、フィールド名、データ型、コメントを分析して、ワンクリックで最適なマッピングを推奨します。推奨事項を確認するか、わずかな調整を行うだけで済みます。

  フィールドマッピングエリアで、[インテリジェントマッピング] をクリックしてダイアログボックスを開きます。マッピング要件を自然言語で記述できます。

  • ユースケース	典型例	推奨プロンプト
    グローバルなセマンティックマッチング	フィールド名は完全に異なるが、意味は同じ (例：user_id ↔ device_id)	ソーステーブルとターゲットテーブルのすべてのフィールドをセマンティックマッチングし、同じ意味を持つフィールドを自動的に識別します。
    特定のビジネスドメインのマッチング	特定のカテゴリのビジネスフィールドのみをマッピングする。 (例：「ユーザー」または「注文」フィールドのみ)	ソーステーブルの「ユーザー情報」(名前、携帯電話番号、ID など) を含むフィールドのみを、ターゲットテーブルの対応するフィールドにマッピングします。 (注：キーワードは「注文」、「物流」、「支払い」などの他の用語に置き換えることができます。)
    プレフィックス/サフィックスのバリエーション	同じコア名で、プレフィックスまたはサフィックスが異なる (例：src_user_name ↔ tgt_user_name)	フィールドのプレフィックスとサフィックスの違いを無視し、コア名のみに基づいてセマンティックマッチングを実行します。
    略語とフルネームのマッチング	片方が略語を使用し、もう片方がフルネームを使用している。 (例：amt ↔ amount)	一般的な英語の略語とそれに対応するフルネーム (amt=amount, addr=address など) を識別し、マッピングを作成します。
    特定のフィールドの除外	一部の類似したフィールドを同期する必要はありません。 (例：create_time フィールド)	セマンティックマッチングを実行しますが、「time」または「log」という文字列を含むすべてのフィールドを除外します。
    複雑なロジックの修正	自動マッチングの結果が正しくなく、手動でのガイダンスが必要。	ソーステーブルの id フィールドをターゲットテーブルの order_id にマッピングしないでください。マッピングの提案を再生成してください。

  • プロンプトを入力した後、[プレビューを生成] をクリックします。[マッチング結果のプレビュー] エリアに、推奨されるマッピングが表示されます。目的のマッピングを確認して選択し、[適用] をクリックしてフィールドマッピング設定に適用できます。結果に満足できない場合は、プロンプトを調整して新しいプレビューを生成できます。

• [ルールベースのマッピング]：ソースとターゲットのフィールド名に一貫した差異パターンがある場合は、[ルールベースのマッピング] を使用して、プレフィックス/サフィックスのマッチングや文字置換などのルールを設定することで、マッピングを一括作成します。フィールドマッピングエリアで、[ルールベースのマッピング] をクリックし、マッピング方法とルールを選択し、設定を行い、結果をプレビューして [適用] をクリックします。

• [ターゲットフィールドに値を割り当てる]：Source Table Field 列で、Add Fields をクリックして、定数、スケジューリングパラメーター、または組み込み変数をターゲットテーブルに追加します。例：'123'、'${scheduling_parameter}'、または '#{built_in_variable}#'。

  説明

  スケジューリングパラメーターの使用方法の詳細については、「スケジューリングパラメーターのサポート形式」をご参照ください。

• [組み込み変数を追加する]：組み込み変数を手動で追加し、ターゲットフィールドにマッピングして、変数をダウンストリームコンポーネントに出力できます。

  次の表に、さまざまなプラグインで利用可能な組み込み変数を示します。

  組み込み変数	説明	サポートされているプラグイン
  '#{DATASOURCE_NAME_SRC}#'	ソースデータソースの名前	MySQL Reader MySQL (シャーディング) Reader PolarDB Reader PolarDB (シャーディング) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (シャーディング) Reader
  '#{DB_NAME_SRC}#'	ソーステーブルが属するデータベースの名前	MySQL Reader MySQL (シャーディング) Reader PolarDB Reader PolarDB (シャーディング) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (シャーディング) Reader
  '#{SCHEMA_NAME_SRC}#'	ソーステーブルが属するスキーマの名前	PolarDB Reader PolarDB (シャーディング) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (シャーディング) Reader
  '#{TABLE_NAME_SRC}#'	ソーステーブルの名前	MySQL Reader MySQL (シャーディング) Reader PolarDB Reader PolarDB (シャーディング) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (シャーディング) Reader
  '#{FILE_NAME_SRC}#'	ファイル名	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader
  '#{FILE_PATH_SRC}#'	絶対ファイルパス	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader

• [ソースフィールドの編集]：Manually Edit Mapping をクリックして、次のアクションを実行します。

  • ソースデータベースでサポートされている関数を適用してフィールドを処理します。たとえば、Max(id) を使用して最大値のみを同期します。

  • 自動マッピング中にすべてのフィールドが取得されなかった場合は、ソースフィールドを手動で編集します。

  説明

  MaxCompute Reader は関数をサポートしていません。

定期的にスケジュールされる単一テーブルバッチ同期タスクについては、その自動スケジューリングプロパティを設定する必要があります。ノード設定ページで、右側のパネルにある Scheduling Settings をクリックして、ノードのスケジューリングプロパティを設定します。

同期タスクに対して、スケジューリングパラメーター、スケジューリングポリシー、スケジュール時刻、スケジューリング依存関係を設定する必要があります。設定方法は他の Data Studio ノードと同じであるため、ここでは繰り返しません。

• Data Studio (新バージョン) については、「ノードスケジューリング (新バージョン)」をご参照ください。

• Data Studio (旧バージョン) については、「ノードスケジューリング設定 (旧バージョン)」をご参照ください。

スケジューリングパラメーターの使用方法については、「Data Integration でのスケジューリングパラメーター使用の典型的なシナリオ」をご参照ください。

• 実行パラメーターを設定します。

  タスク設定ページで、右側のパネルにある Run Configuration をクリックし、テスト実行用に次のパラメーターを設定します。

  パラメーター	説明
  [Resource Group]	データソースに接続されているリソースグループを選択します。
  [Script Parameters]	データ同期タスクのプレースホルダーパラメーターに値を割り当てます。たとえば、タスクが ${bizdate} パラメーターを使用する場合、yyyymmdd 形式で日付パラメーターを入力します。

• タスクを実行します。

  ツールバーの 実行アイコンをクリックして、Data Studio でタスクを実行し、デバッグします。タスクが完了したら、ターゲットデータソースと同じ種類のノードを作成してテーブルデータをクエリし、結果を検証できます。

• タスクを発行します。

  テスト実行が成功した後、タスクをスケジュールで実行する必要がある場合は、ノード設定ページの上部にある アイコンをクリックして、タスクを本番環境に発行します。タスクの発行の詳細については、「タスクの発行」をご参照ください。