スケジューリングパラメーターは、データ同期ノードの構成の各ステージで使用できます。このトピックでは、スケジューリングパラメーターの一般的な使用シナリオについて説明します。
背景情報
| シナリオ | 説明 | 参照 |
| 増分データの同期 | DataWorks では、特定の種類の Reader プラグインに対してスケジューリングパラメーターを構成し、特定の期間内に生成された増分データのみを同期先に同期できます。また、DataWorks では、オペレーションセンターで提供される データバックフィル 機能を使用して、特定の期間内のデータを同期先テーブルの指定されたパーティションに同期することもできます。たとえば、このシナリオでは、MySQL、LogHub、または Kafka Reader のスケジューリングパラメーターを構成できます。 | シナリオ 1：増分データの同期 および シナリオ 4：履歴データの同期 |
| 動的なテーブル名またはファイル名を持つテーブルまたはファイルからのデータの同期 | 特定の種類の Reader プラグインを構成する場合、スケジューリングパラメーター を使用して、データの同期元となるテーブルまたはファイルの名前形式を指定できます。これにより、関連するデータ同期ノードは、ノードが実行されるたびに、動的なテーブル名またはファイル名を持つテーブルまたはファイルからデータを同期できます。たとえば、このシナリオでは、オブジェクトストレージサービス（OSS）、FTP、または MySQL Reader のスケジューリングパラメーターを構成できます。特定の種類の Reader プラグインでは、コードエディターを使用してスケジューリングパラメーターを構成する必要がある場合があります。 | シナリオ 2：動的なテーブル名またはファイル名を持つテーブルまたはファイルからのデータの同期 |
| 同期先テーブルのフィールドへの定数または時間関連変数の割り当て | ソーステーブルのフィールドと同期先テーブルのフィールド間のマッピングを構成する場合、データ同期ノードのデータタイムスタンプに基づいて取得された定数を同期先テーブルのフィールドに割り当てることができます。その後、システムは、構成されたスケジューリングパラメーターに基づいて、毎日フィールドに値を動的に割り当てます。この操作のサポートは、データソースの種類によって異なります。 | シナリオ 3：同期先フィールドの定義 |
注意事項
または 
アイコンをクリックする前に、ノードのコードで参照する変数に手動で定数を割り当てる必要があります。Data Integration は、開発環境でのノードのスモークテストをサポートしていません。スケジューリングシナリオでスケジューリングパラメーターが想定どおりに置き換えられるかどうかを確認するには、次のいずれかの方法を使用することをお勧めします。- スケジューリングパラメーターが使用されている SQL ノードでスモークテストを実行します。SQL ノードがスモークテストに合格した場合は、ノードのスケジューリングパラメーターを使用します。SQL ノードのスモークテストを実行して、ノードに使用されているスケジューリングパラメーターが想定どおりに機能するかどうかを確認する方法の詳細については、「スケジューリングパラメーターの構成と使用」をご参照ください。
- 開発環境でノードをオペレーションセンターにコミットします。
シナリオ 1：増分データの同期
- 例 1：LogHub から MaxCompute テーブルの T-1 パーティションに 10 分間隔で増分データを同期します。
システムは、ノードのスケジューリング時間に基づいて、10 分ごとにデータ同期ノードのスケジューリングインスタンスを生成します。データが書き込まれる MaxCompute テーブルのパーティションは、スケジューリングパラメーターによって指定されます。$bizdate は、データ同期ノードのデータタイムスタンプを指定します。データ同期ノードが実行されると、ノードに構成されているパーティションフィルター式は、スケジューリングパラメーターで指定されたデータタイムスタンプに基づいて実際の値に置き換えられます。スケジューリングパラメーターの使用方法の詳細については、「スケジューリングパラメーターの構成と使用」をご参照ください。
説明 時間範囲は左閉右開区間です。
- 例 2：毎日 00:00 に、LogHub から MaxCompute テーブルの T-1 パーティションに前日に生成されたデータを同期します。説明 時間範囲は左閉右開区間です。
シナリオ 2：動的なテーブル名またはファイル名を持つテーブルまたはファイルからのデータの同期
- 例 1：動的なファイル名を持つファイルからデータを同期します。
OSS から MaxCompute にデータを同期するようにデータ同期ノードを構成する場合、スケジューリングパラメーターを使用して、名前が日付で終わるソースオブジェクトの名前を指定できます。これにより、関連オブジェクトから MaxCompute テーブルの関連パーティションに毎日データを同期できます。
説明 データ同期ノードを使用して、動的なテーブル名またはファイル名を持つテーブルまたはファイルからデータを同期する場合、コードエディターを使用してノードを構成する必要がある場合があります。データ同期ノードの構成で変数を使用する場合、データプレビューはサポートされていません。
- 例 2：動的なテーブル名を持つテーブルからデータを同期します。MySQL から MaxCompute にデータを同期するようにデータ同期ノードを構成する場合、スケジューリングパラメーターを使用して、時間で名前が付けられたソーステーブルを指定できます。これにより、関連テーブルから MaxCompute テーブルの関連パーティションに毎日データを同期できます。次の図は、コードエディターとコードレス UI での構成を示しています。
シナリオ 3：同期先フィールドの定義
シナリオ 4：履歴データの同期
スケジューリングパラメーターは、ノードのデータタイムスタンプとスケジューリングパラメーターの値の形式に基づいて、特定の値に自動的に置き換えられます。これにより、ノードスケジューリングの動的パラメーター構成が可能になります。ノードを作成した日にデータをバックフィルする場合、データバックフィル機能を使用して、指定した時間範囲の履歴データを生成できます。この場合、スケジューリングパラメーターは、データバックフィル操作のデータタイムスタンプに基づいて特定の値に自動的に置き換えられます。データバックフィルの詳細については、「データのバックフィルとデータバックフィルインスタンスの表示（新バージョン）」をご参照ください。
