DataWorks:スケジューリングパラメーターの構成と使用

1. パラメーターの定義

1. ターゲットノード (たとえば MaxCompute SQL ノード) をダブルクリックして、ノードエディターに移動します。

2. コードでパラメーターを定義します。MaxCompute SQL ノードでは、${param} 構文を使用してパラメーター名を定義します。DataWorks は、参照と管理を容易にするために、意味のあるパラメーター名を使用することを推奨しています。

   スケジューリングパラメーターの呼び出し形式:

   形式タイプ	呼び出し構文	スコープ	注意事項
   一般的な形式	${ParameterName}	MaxCompute SQL ノードや同期ノードなど、ほとんどのノードタイプに適用されます。	これが最も一般的な形式です。
   特殊な形式	ノードによって異なります。${...} 形式ではありません。	PyODPS, Shell	詳細については、「さまざまなノードタイプのスケジューリングパラメーター設定の例」をご参照ください。

   -- 例: パーティションフィルタリングのために pt_date という名前の変数を定義する
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. 右側のペインで、[スケジューリング設定] をクリックして [スケジューリングパラメーター] を構成します。

4. スケジューリングパラメーターを構成します。構成方法については、次のセクションで説明します。

2. パラメーターの構成

スケジューリングパラメーターは、[テーブルで定義] と [式で定義] の 2 つの方法のいずれかを使用して設定できます。これらの方法は、パラメーターリストの右上隅にある [式で定義] をクリックすることで切り替えることができます。デフォルトの方法は [テーブルで定義] です。

1. パラメーターの構成

   テーブルで定義

   ノードの右側のペインで、[スケジューリング設定] をクリックして、スケジューリングパラメーターの構成インターフェイスを開きます。

   

   • パラメーターの追加

     ノードの右側のペインで、[スケジューリング設定] をクリックします。[スケジューリングパラメーター] セクションでは、次の方法でパラメーターを追加できます。

     1. [パラメーターの追加] をクリックし、パラメーター名と値を手動で入力します。パラメーター名は、コードで定義された変数名と一致する必要があります。

     2. [コードからパラメーターを読み込む] をクリックします。DataWorks は、${pt_date} などのコード内の変数を自動的に解析し、パラメーターをバックフィルします。パラメーター値を入力するだけで済みます。

   • パラメーター値の割り当て

     システム組み込みパラメーター、カスタム時間パラメーター、ワークスペースパラメーター、先祖ノードの出力パラメーター、または定数から値を割り当てることができます。

     • 入力ボックスをクリックします。ドロップダウンリストには、選択できる一般的なパラメーター式が表示されます。カスタム式やシステム組み込み変数を手動で入力することもできます。

     • 必要に応じて値を入力できます。サポートされているパラメーター値の範囲の詳細については、「スケジューリングパラメーターでサポートされている形式」をご参照ください。

     • スケジューリングパラメーターに値を割り当てるときに、コンテキストパラメーターをすばやくバインドすることもできます。パラメーターの横にある ボタンをクリックします。[先祖ノードの出力パラメーターをバインド] ダイアログボックスで、出力パラメーターが構成されているノードを選択して、依存関係をすばやくバインドします。出力パラメーターの詳細については、「ノードコンテキストパラメーターの構成と使用」をご参照ください。

   式で定義

   [式で定義] をクリックして、式を使用してパラメーターを構成します。

   

   • 式を使用してパラメーターを定義する場合は、複数のパラメーターをスペースで区切ります。

   • [式で定義] メソッドを使用してスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は式の構文を検証します。構文が無効な場合、スケジューリングパラメーターを保存できません。

     たとえば、DataWorks は、= (等号) の両側にスペースを入れないなどの構文ルールをチェックします。

2. パラメーターのプレビュー

   パラメーターを定義した後、[スケジューリングパラメーターのプレビュー] をクリックして、特定のデータタイムスタンプで指定された数のインスタンスのパラメーターをプレビューします。これにより、パラメーター定義が期待どおりであることを確認できます。プレビューのデータタイムスタンプとインスタンスの数を調整できます。

   

3. スモークテスト

スケジューリングパラメーターに値を割り当てた後、公開プロセス中にスモークテストを実行できます。データタイムスタンプを構成して、ターゲットタスクのスケジューリングシナリオをシミュレートします。これにより、そのシナリオでパラメーターの置換とコードの実行が期待どおりであることが検証されます。そうでない場合は、タスクの通常のスケジューリングに影響を与えないように、迅速に調整できます。

1. ノードコードを公開します。

   

   1. スケジューリング時間とスケジューリングの依存関係を構成します。

   2. [保存] をクリックしてコードと構成を保存します。次に、ツールバーの [公開] ボタンをクリックします。公開プロセス中にスモークテストを開始できます。

      説明

      スモークテストのコードまたはパラメーターが最新でない場合は、[本番環境に再公開] をクリックします。

2. スモークテストを実行します。

   [スモークテストの開始] をクリックします。[スモークテスト] ダイアログボックスで、データタイムスタンプを選択し、[OK] をクリックします。

3. スモークテストログを表示します。

   1. 左側のメニューの [スモークテストレコード] ボタンをクリックします。スモークテストレコードのリストで、[ログ] をクリックします。

      

   2. ログで、パラメーター出力をチェックして、期待どおりであることを確認します。

4. 公開と検証

開発者環境で検証した後、タスクをオペレーションセンターに送信して公開し、本番環境での自動スケジューリングを行うことができます。タスクが公開されたら、本番環境でスケジューリングパラメーターをチェックして、実行時エラーを防ぎます。

1. パラメーター定義を確認します。

   オペレーションセンターに移動します。ターゲットリージョンとワークスペースに切り替えます。[定期タスク O&M] > [定期タスク] ページに移動します。タスクリストでタスク名をクリックして [プロパティ] パネルを表示し、実行時パラメーターを確認します。

   

2. オペレーションセンターでスモークテストを実行します。

   オペレーションセンターでスモークテストを実行して、公開されたタスクが本番環境で期待どおりにパラメーター置換とコード実行を実行することを確認することもできます。詳細については、「テストを実行してテストインスタンスを表示する」をご参照ください。

   重要

   スモークテストは、本番環境の実際のデータで実行されます。本番データベースのデータを破損しないように、注意して実行してください。

   

3. 実際のスケジューリング結果を監視します。

   タスクが自動的にスケジューリングされた後、[定期インスタンス] のパラメーターをチェックして、それらが正しく置き換えられていることをさらに確認できます。