DataWorks:スケジューリングパラメーターの構成と使用

1. パラメーターの定義

1. ODPS SQL ノードなどのターゲットノードをダブルクリックして、ノードエディターを開きます。

2. コードでパラメーターを定義します。ODPS SQL ノードまたは別の SQL ノードのコードでは、${param} 構文を使用してパラメーター名を定義できます。DataWorks では、参照と管理を容易にするために、意味のあるパラメーター名を使用することをお勧めします。

   スケジューリングパラメーターの呼び出しフォーマット:

   フォーマットタイプ	呼び出し構文	スコープ	注
   一般フォーマット	${ParameterName}	ODPS SQL や同期ノードなど、ほとんどのノードタイプに適用されます。	これは最も一般的なフォーマットです。
   特殊フォーマット	ノードによって異なります。${...} フォーマットではありません。	PyODPS, Shell	詳細については、「さまざまなノードタイプのスケジューリングパラメーター構成の例」をご参照ください。

   -- 例: パーティションフィルタリング用に pt_date という名前の変数を定義する
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. ページの右側で [スケジューリング設定] をクリックして、[スケジューリングパラメーター] セクションに移動します。

4. 次のセクションで説明するように、スケジューリングパラメーターを構成します。

2. パラメーターの構成

スケジューリングパラメーターは、[ビジュアル定義] と [式による定義] の 2 つの方法で設定できます。パラメーターリストの右上隅にある [式による定義] をクリックすることで、これらのモードを切り替えることができます。デフォルトのモードは [ビジュアル定義] です。

1. パラメーターの構成

   ビジュアル定義

   ノードの右側にある [スケジューリング設定] をクリックして、スケジューリングパラメーター構成インターフェイスを開きます。

   

   • パラメーターの追加

     ノードの右側で [スケジューリング設定] をクリックします。[スケジューリングパラメーター] セクションでは、次の 2 つの方法のいずれかでパラメーターを追加できます。

     1. [パラメーターの追加] をクリックし、パラメーター名と値を手動で入力します。パラメーター名は、コードで定義された変数名と一致する必要があります。

     2. [コードからパラメーターをロード] をクリックします。DataWorks は、${pt_date} などのコード内の変数を自動的に解析し、パラメーターとして追加します。次に、各パラメーターの値を入力します。

   • パラメーターへの値の割り当て

     組み込みのシステム変数、カスタム時間変数、および定数を設定できます。

     • 入力ボックスをクリックします。ドロップダウンリストには、直接選択できる一般的なパラメーター式がいくつか表示されます。カスタム式や組み込みのシステム変数を手動で入力することもできます。

     • 必要に応じて値を入力します。サポートされているパラメーター値の範囲の詳細については、「スケジューリングパラメーターでサポートされているフォーマット」をご参照ください。

   式による定義

   [式による定義] をクリックして、式を使用してパラメーターを構成します。

   

   • 式を使用して複数のパラメーターを定義する場合は、スペースで区切る必要があります。

   • [式による定義] メソッドを使用してスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は式の構文を検証します。構文が無効な場合、スケジューリングパラメーターを構成することはできません。

     たとえば、DataWorks は 等号の両側にスペースを入れない などの構文ルールをチェックします。

2. パラメータープレビュー

   パラメーターを定義した後、[スケジューリングパラメータープレビュー] をクリックして、指定されたデータタイムスタンプの後に実行される次の N 個のインスタンスのパラメーターをプレビューします。これにより、パラメーター定義が期待どおりに構成されていることを確認できます。プレビュー用にデータタイムスタンプとインスタンスの数を調整できます。

   

3. スモークテスト

スケジューリングパラメーターに値を割り当てた後、スモークテスト機能を使用できます。データタイムスタンプを構成して、ターゲットノードのスケジューリングシナリオをシミュレートできます。このシナリオでコードの実行とパラメーターの置換が期待どおりに機能することを確認できます。機能しない場合は、通常のタスクスケジューリングで問題が発生しないように、必要に応じて設定を調整する必要があります。

スモークテストはインスタンスを生成し、インスタンス料金が発生します。インスタンス料金の詳細については、「サーバーレスリソースグループの課金」をご参照ください。

1. ノードコードを送信します。

   1. スケジュール時間とスケジューリング依存関係を構成します。

   2. 保存アイコン をクリックしてコードと構成を保存します。次に、送信アイコン をクリックします。開発環境でスモークテスト機能を使用できるのは、ノードの最新のコードがオペレーションセンターに送信された後のみです。

      説明

      スモークテストが最新のコードまたはパラメーターを実行していないことがわかった場合は、ノードを再度送信する必要があります。

2. スモークテストを実行します。

   ツールバーの スモークテストアイコンをクリックします。[スモークテスト] ダイアログボックスで、データタイムスタンプを選択し、OK をクリックしてスークテストを実行します。

3. スモークテストログを表示します。

   1. [スモークテストレコード] ウィンドウで、最新のレコードを見つけて [ログの表示] をクリックします。

      

   2. ログで、パラメーター出力をチェックして、期待どおりであることを確認します。

      説明

      誤ってウィンドウを閉じてしまった場合は、ツールバーの スモークテストレコードアイコンをクリックして再度開くことができます。

4. 公開と検証

開発環境での検証後、タスクをオペレーションセンターに送信して公開し、本番環境での自動スケジューリングを行うことができます。タスクを公開した後、実行時エラーを防ぐために、本番環境でスケジューリングパラメーターを確認する必要があります。

1. パラメーター定義の確認

   オペレーションセンターに移動し、ターゲットリージョンとワークスペースに切り替えて、[定期タスク O&M] > [定期タスク] ページに移動します。タスクリストでタスク名をクリックし、[プロパティ] パネルの実行パラメーターが正しいことを確認します。

   

2. オペレーションセンターでのスモークテスト

   オペレーションセンターでは、スモークテストを使用して、送信および公開されたタスクが本番環境で期待どおりにパラメーター置換とコード実行を実行するかどうかを確認することもできます。詳細については、「テストを実行してテストインスタンスを表示する」をご参照ください。

   重要

   スモークテストは実際には本番データで実行されることに注意してください。本番データベースを汚染しないように、注意して進める必要があります。

   

3. 実際のスケジューリング結果の監視

   タスクが自動的にスケジュールされた後、[定期インスタンス] でパラメーターを確認することで、パラメーターが必要に応じて置き換えられたことをさらに検証できます。