DataWorks:スケジューリングパラメーターの設定と使用

ステップ1：パラメーターの定義

1. ターゲットノード (例: MaxCompute SQL ノード) をダブルクリックして、ノードエディターを開きます。

2. MaxCompute SQL ノードで、${param} 構文を使用してパラメーターを定義します。DataWorks では、パラメーターのレビューと管理を容易にするために、説明的な名前を使用することを推奨します。

   スケジューリングパラメーターの形式：

   形式タイプ	構文	スコープ	備考
   一般的な形式	${parameter_name}	MaxCompute SQL ノードやデータ同期ノードなど、ほとんどのノードタイプに適用されます。	これは最も一般的な形式です。
   特殊な形式	ノードタイプによって異なり、${...} 形式は使用しません。	PyODPS、Shell	詳細については、「さまざまなノードタイプのスケジューリングパラメーター設定の例」をご参照ください。

   -- 例：パーティションフィルタリングのために pt_date という名前の変数を定義します
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. ページの右側で、Scheduling Settings をクリックして Scheduling Parameters 設定にアクセスします。

4. 以下に説明するように、スケジューリングパラメーターを設定します。

ステップ2：パラメーターの設定

Define with table モードまたは Defined with an expression モードのいずれかを使用してスケジューリングパラメーターを設定できます。パラメーターリストの右上隅にある Defined with an expression をクリックすると、モードを切り替えることができます。デフォルトモードは Define with table です。

1. パラメーターの設定

   テーブルで定義

   ノードエディターの右側にある Scheduling Settings をクリックして、スケジューリングパラメーター設定ページを開きます。

   

   • パラメーターの追加

     ノードの右側で、Scheduling Settings をクリックします。Scheduling Parameters セクションでは、次の方法でパラメーターを追加できます。

     1. Add parameters をクリックして、パラメーター名と値を手動で入力します。パラメーター名は、コードで定義された変数名と一致する必要があります。

     2. Loading parameters in code をクリックします。DataWorks は、${pt_date} などの変数をコードから自動的に解析し、リストに追加します。各パラメーターに値を指定するだけで済みます。

   • パラメーター値の割り当て

     [組み込みパラメーター]、[カスタム時間パラメーター]、[ワークスペースパラメーター、アップストリームノードの出力パラメーター]、および [定数] から値を割り当てることができます。

     • 入力ボックスをクリックすると、よく使用されるパラメーター式のドロップダウンリストが表示されます。リストから式を選択するか、カスタム式または組み込み変数を手動で入力できます。

     • ビジネスニーズに基づいて値を入力します。サポートされているパラメーター値のソースのリストについては、「スケジューリングパラメーターのソースと式」をご参照ください。

     • パラメーターの横にある アイコンをクリックして、コンテキストパラメーターをすばやくバインドすることもできます。Associate Output Parameter of Ancestor Node ダイアログボックスで、出力パラメーターが設定されているノードを選択して、依存関係をすばやくバインドします。出力パラメーターの詳細については、「ノードコンテキストパラメーターの設定と使用」をご参照ください。

   式で定義

   Defined with an expression をクリックして設定モードを切り替えることで、式を使用してパラメーターを設定できます。

   

   • 式モードを使用する場合、複数のパラメーターはスペースで区切ります。

   • Defined with an expression モードでスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は現在の式の構文を検証します。検証に失敗した場合、設定を保存することはできません。

     例えば、DataWorks は、等号の両側にスペースを使用しないなどの構文ルールをチェックします。

2. パラメーターのプレビュー

   パラメーターを定義した後、Preview of scheduling parameters をクリックすると、指定した業務日付に基づいて、将来のインスタンスで解決される値を確認できます。これにより、定義が正しいことを確認できます。業務日付とプレビューするインスタンスの数を調整できます。

   

   説明

   オフラインデータ同期などの一部のノードには、デフォルトの ${bizdate} パラメーターが付属している場合があり、これには自動的に値 $bizdate が割り当てられます。コード内の bizdate パラメーター名をカスタム名に置き換えることができます。${bizdate} という名前は予約キーワードではなく、他のカスタムパラメーターと同様に扱われます。

   

ステップ3：スモークテストの実行

スケジューリングパラメーターに値を割り当てた後、公開プロセス中にスモークテスト機能を使用します。業務日付を設定してタスクのスケジューリングシナリオをシミュレートし、コードの実行とパラメーターの置換が期待どおりに機能することを確認します。テストが失敗した場合は、設定を調整して、スケジュールされた実行でのエラーを防ぎます。

1. ノードコードを公開します。

   

   1. スケジューリング時刻とスケジューリング依存関係を設定します。

   2. コードと設定を保存し、ツールバーの [公開] ボタンをクリックしてスモークテストを開始します。

      説明

      スモークテストが最新のコードまたはパラメーターで実行されていない場合は、Republish Production をクリックします。

2. スモークテストを実行します。

   Initiate Smoke Testing をクリックします。Smoke test ダイアログボックスで、業務日付を選択し、[OK] をクリックしてテストを開始します。

3. スモークテストのログを表示します。

   1. 左側メニューで、 [スモークテスト記録] ボタンをクリックします。スモークテスト記録で、ログ をクリックします。

      

   2. ログのパラメーター値を確認して、それらが正しいことを確認します。

ステップ4：公開と検証

開発環境で検証した後、タスクをサブミットしてオペレーションセンターに公開し、本番環境で自動スケジューリングできます。公開後は、実行時エラーを防ぐために、本番環境のスケジューリングパラメーターを必ず確認してください。

1. パラメーター定義を確認します。

   オペレーションセンターで、ターゲットリージョンとワークスペースに切り替え、Auto Triggered Task O&M > Auto Triggered Task ページに移動します。タスクリストでタスク名をクリックし、タスクの General パネルの実行パラメーターが期待どおりかどうかを確認します。

   

2. オペレーションセンターでスモークテストを実行します。

   オペレーションセンターでスモークテストを実行して、公開されたタスクがパラメーターを置換し、本番環境で期待どおりにコードを実行することを確認することもできます。詳細については、「テストの実行とテストインスタンスの表示」をご参照ください。

   重要

   スモークテストは、本番環境の実データで実行されます。本番データベースを破損させないように注意してください。

   

3. 実際のスケジューリング結果を監視します。

   タスクが自動的にスケジューリングされた後、Cycle Examples のパラメーターをチェックすることで、パラメーターの置換を確認できます。