DataWorks:スケジューリングパラメーターの設定と使用

手順1：パラメーターの定義

1. MaxCompute SQL ノードなどのターゲット ノードをダブルクリックして、ノード編集ページを開きます。

2. コード内でパラメーターを定義します。MaxCompute SQL ノードでは、${param} 構文を使用してパラメーター名を定義します。DataWorks では、参照と管理を容易にするために、意味のあるパラメーター名を使用することを推奨します。

   スケジューリングパラメーターの参照形式：

   形式タイプ	構文	スコープ	備考
   一般形式	${parameter_name}	MaxCompute SQL ノードやバッチ同期ノードなど、ほとんどのノードタイプに適用可能です。	これは最も一般的に使用される形式です。
   特殊形式	ノードタイプによって異なります。${...} 形式は使用しません。	PyODPS、Shell、Python	詳細については、「さまざまなタイプのノードに対するスケジューリングパラメーターの設定」をご参照ください。

   -- 例：パーティションフィルタリングのために pt_date という名前の変数を定義します
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. ページの右側にある スケジューリング設定 をクリックして、スケジューリングパラメーター の設定を開きます。

4. 以下に説明するように、スケジューリングパラメーターを設定します。

手順2：パラメーターの設定

テーブルで定義 または 式で定義 でスケジューリングパラメーターを設定します。右上隅にある 式で定義 をクリックしてモードを切り替えます。デフォルトのモードは テーブルで定義 です。

1. パラメーターの設定

   テーブルによる定義

   ノードの右側にある スケジューリング設定 をクリックして、スケジューリングパラメーターの設定ページを開きます。

   

   • パラメーターの追加

     ノードの右側にある スケジューリング設定 をクリックし、スケジューリングパラメーター でパラメーターを追加します。次の方法でパラメーターを追加できます。

     1. パラメーターの追加 をクリックして、パラメーター名と値を手動で入力します。パラメーター名は、コードで定義された変数名と一致している必要があります。

     2. コード内のパラメーターのロード をクリックします。DataWorks は、${pt_date} などの変数をコードから自動的に解析し、パラメーター名を入力します。パラメーター値を入力するだけで済みます。

   • 値の割り当て

     システム組み込みパラメーター、カスタム時間パラメーター、ワークスペースパラメーター、上位ノードの出力パラメーター、定数を設定できます。

     • 入力ボックスをクリックします。ドロップダウンリストには、一般的に使用されるパラメーター式がいくつか表示され、直接選択できます。カスタム式やシステム組み込み変数を手動で入力することもできます。

     • ビジネス要件に基づいて値を入力できます。サポートされている値の形式については、「スケジューリングパラメーターでサポートされている形式」をご参照ください。

     • スケジューリングパラメーターの割り当ては、コンテキストパラメーターのクイックバインドもサポートしています。パラメーターの横にある ボタンをクリックします。先祖ノードのレスポンスパラメーターのアタッチ ダイアログで、出力パラメーターが設定されているノードを選択し、依存関係をすばやく関連付けます。出力パラメーターの詳細については、「出力パラメーターの設定」をご参照ください。

   式による定義

   式で定義 をクリックして、設定モードを切り替えます。式を使用してパラメーターを設定する場合は、このモードを使用します。

   

   • 式ベースの定義を使用する場合は、複数のパラメーターをスペースで区切ります。

   • 式で定義 モードでスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は現在の式の構文を検証します。検証に失敗した場合、スケジューリングパラメーターは設定できません。

     たとえば、DataWorks は 等号の前後にはスペースを使用できない などの構文ルールをチェックします。

2. パラメーターのプレビュー

   パラメーターを定義した後、スケジューリングパラメータのプレビュー をクリックして、指定したビジネス日付後の N 個のインスタンスのパラメーター値をプレビューし、パラメーター定義が期待どおりかどうかを確認します。ビジネス日付とプレビューするインスタンスの数を調整できます。

   

   説明

   バッチ同期ノードなど一部のノードには、組み込みの ${bizdate} パラメーターが付属しています。このパラメーターには、$bizdate の値が自動的に割り当てられます。コード内の bizdate パラメーター名をカスタムパラメーター名に置き換えることができます。${bizdate} 自体に特別な意味はなく、他のカスタムパラメーターと同様に機能します。

   

手順3：スモークテスト

パラメーター値を割り当てた後、デプロイ時にスモークテスト機能を使用して、特定のビジネス日付でのスケジューリングシナリオをシミュレートします。パラメーターの置換とコードの実行が、期待どおりの結果になることを確認します。期待どおりでない場合は、本番環境のスケジューリングに影響を与えないように、速やかに調整してください。

1. ノードコードをデプロイします。

   

   1. スケジューリング時間とスケジューリング依存関係を設定します。

   2. [保存] をクリックして、コードと設定を保存します。次に、ツールバーの [デプロイ] ボタンをクリックして、デプロイプロセス中にスモークテストを開始します。

      説明

      スモークテストで最新のコードやパラメーターが実行されない場合は、本番の再デプロイ をクリックします。

2. スモークテストを実行します。

   スモークテストの実行 をクリックします。スモークテスト ダイアログで、ビジネス日付を選択し、[確認] をクリックしてスモークテストを開始します。

3. スモークテストのログを表示します。

   1. 左側メニューの スモークテスト記録ボタンをクリックし、スモークテスト記録の ログ をクリックします。

      

   2. ログのパラメーター出力をチェックして、結果が期待どおりか確認します。

手順4：デプロイと検証

開発環境で検証した後、本番環境でスケジューリングするためにタスクを [オペレーションセンター] にデプロイします。実行時エラーを防ぐために、本番環境でスケジューリングパラメーターをチェックします。

スケジュールされたタスクのスケジューリングパラメーター設定が期待どおりでない場合、または [オペレーションセンター] でターゲット タスクが見つからない場合は、タスクが正常にデプロイされたことを確認してください。タスクのデプロイの詳細については、「ノードのデプロイ」をご参照ください。

1. パラメーター定義をチェックします。

   [オペレーションセンター] に移動し、ターゲットのリージョンとワークスペースに切り替えて、定期タスクの運用保守 > 定期タスク ページに移動します。タスクリスト内のタスク名をクリックし、プロパティ ペインの実行パラメーターが期待どおりか確認します。

   

2. [オペレーションセンター] でのスモークテスト。

   [オペレーションセンター] でスモークテストを使用して、デプロイされたタスクが本番環境で期待どおりにパラメーター置換とコード実行を行うかを確認することもできます。詳細については、「オペレーションセンターでのスモークテスト」をご参照ください。

   重要

   スモークテストは本番環境の実際のデータに対して実行されるため、本番データを汚染しないように注意してください。

   

3. 実際のスケジューリング結果を観察します。

   タスクが自動スケジューリングされると、定期インスタンス 内のパラメーターが要件どおりに自動的に置換されているかを確認することで、パラメーター置換が正しいかをさらに検証できます。