DataWorks:スケジューリングパラメーターの設定と使用

1. パラメーターの定義

1. ODPS SQL ノードなどの対象ノードをダブルクリックして、ノードエディターを開きます。

2. ODPS SQL ノードまたは他の SQL ベースのノードのコード内で、${param} 構文を使用してパラメーター名を定義します。DataWorks では、参照と管理を容易にするために、わかりやすいパラメーター名を使用することを推奨します。

   スケジューリングパラメーターの構文：

   タイプ	構文	適用範囲	備考
   一般形式	${parameter_name}	ODPS SQL やデータ同期ノードなど、ほとんどのノードタイプに適用されます。	これは最も一般的な形式です。
   特殊形式	ノードタイプによって異なり、${...} 形式は使用されません。	PyODPS とシェル	詳細については、「異なるノードタイプのスケジューリングパラメーターの設定例」をご参照ください。

   -- 例: パーティションフィルタリング用に pt_date という変数を定義します。
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. 右側のペインで スケジューリング設定 をクリックして、スケジューリングパラメータ セクションに移動します。

4. 次のセクションで説明されているように、スケジューリングパラメーターを設定します。

2. パラメーターの設定

スケジューリングパラメーターは、可視化定義の切り替え または カスタム式への切り替え のいずれかで設定できます。パラメーターリストの右上にある カスタム式への切り替え をクリックすることで、これらのモードを切り替えることができます。デフォルトは 可視化定義の切り替え です。

1. パラメーターの設定

   ビジュアルモード

   右側のペインで スケジューリング設定 をクリックして、スケジューリングパラメーター設定ペインを開きます。

   • パラメーターの追加

     ノードの右側にある スケジューリング設定 をクリックし、スケジューリングパラメータ セクションでパラメーターを追加します。次の 2 つの方法のいずれかでパラメーターを追加できます。

     1. パラメーターの作成 をクリックし、名前と値を手動で入力します。パラメーター名は、コードで定義された変数名と同じである必要があります。

     2. コード内のパラメーターのロード をクリックします。DataWorks は、${pt_date} などのコード内の変数を自動的に解析し、パラメーターリストに入力します。各パラメーターの値を入力するだけで済みます。

   • 値の割り当て

     組み込みパラメーター、カスタム時間変数、または定数を値として割り当てることができます。

     • 入力ボックスをクリックすると、よく使用されるパラメーター式のドロップダウンリストが表示され、直接選択できます。カスタム式または組み込み変数を手動で入力することもできます。

     • ビジネス要件に基づいて値を入力できます。サポートされている値の形式の詳細については、「スケジューリングパラメーターのサポートされている形式」をご参照ください。

   式モード

   カスタム式への切り替え をクリックして、式モードに切り替えます。式でパラメーターを設定する場合は、このモードを使用します。

   • 式モードでは、複数のパラメーターをスペースで区切ります。

   • カスタム式への切り替え でスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は式の構文を検証します。構文が無効な場合、パラメーターを設定できません。

     たとえば、DataWorks は 等号 (=) の両側にスペースを入れないなどのルールを適用します。

2. パラメーターのプレビュー

   パラメーターを定義した後、スケジューリングパラメータのプレビュー をクリックして、指定されたデータタイムスタンプに基づいて、今後のインスタンスのパラメーターがどのように評価されるかを確認します。これにより、定義が正しいかどうかをテストできます。データタイムスタンプとプレビューするインスタンスの数を調整できます。

3. スモークテスト

スケジューリングパラメーターに値を割り当てた後、スモークテスト機能を使用します。これにより、データタイムスタンプを設定し、タスクがどのように実行されるかをシミュレートできるため、コードが実行され、スケジューリングパラメーターが期待どおりに置換されることを確認できます。結果が期待どおりでない場合は、定期実行で問題が発生しないように、速やかに設定を調整してください。

スモークテストではインスタンスが生成されるため、料金が発生します。インスタンスの料金の詳細については、「サーバーレスリソースグループの課金」をご参照ください。

1. ノードコードをコミットします。

   1. スケジューリング時間とスケジューリング依存関係を設定します。

   2. 保存アイコン をクリックします。コードと設定が保存された後、コミットアイコン をクリックして、最新のコードと設定をオペレーションセンターにコミットします。ノードがコミットされた後にのみ、開発環境でスモークテスト機能を使用できます。

      説明

      スモークテストが最新のコードまたはパラメーターを実行していないことがわかった場合は、ノードを再度コミットしてください。

2. スモークテストを実行します。

   ツールバーの [スモークテスト] アイコンをクリックします。スモークテスト ダイアログボックスで、データタイムスタンプを選択し、[OK] をクリックしてテストを開始します。

3. スモークテストログを表示します。

   1. 表示される スモークテストレコード ウィンドウで、最新の記録を見つけて ログを表示 をクリックします。

      ログには、ノードの実行ステータスと実行の詳細が表示されます。パラメーター置換結果行には、各スケジューリングパラメーターの実際の値が表示されるため、パラメーターが正しく置換されているかどうかを確認できます。

   2. ログ内のパラメーター出力を確認して、値が正しいことを確認します。

      説明

      誤ってウィンドウを閉じた場合は、ツールバーの [スモークテストログ] アイコンをクリックして再度開くことができます。

4. デプロイと検証

開発環境での検証後、タスクをオペレーションセンターにデプロイして、本番環境で定期実行できます。デプロイ後、ランタイムエラーを防ぐために、本番環境でスケジューリングパラメーターを確認してください。

1. パラメーター定義を確認します。

   オペレーションセンターに移動し、対象のリージョンとワークスペースに切り替えて、定期タスクの運用保守 > 定期タスク ページに移動します。タスクリストで、タスク名をクリックし、プロパティ パネルで実行パラメーターが正しいことを確認します。

2. オペレーションセンターでスモークテストを実行します。

   オペレーションセンターでもスモークテストを使用して、デプロイされたタスクが本番環境でパラメーターを置換し、期待どおりにコードを実行することを確認できます。詳細については、「テストの実行とテストインスタンスの表示」をご参照ください。

   重要

   スモークテストは実際の本番データで実行されることに注意してください。本番データベースのデータが破損しないように、慎重に進めてください。

   [スモークテスト] ダイアログボックスで、[スモークテスト名] を入力し、[データタイムスタンプの選択] で対象のデータタイムスタンプを選択し、オプションで [詳細設定] を有効にしてタスク実行パラメーターをカスタマイズし、[OK] をクリックしてテストを開始します。

3. 実際のスケジューリング結果を確認します。

   タスクが自動的にスケジュールされた後、定期インスタンス で定期インスタンスのパラメーターを確認することで、パラメーターが正しく置換されたことを確認できます。

   [定期インスタンス] リストで、対象のタスクインスタンスを見つけてインスタンス名をクリックします。右側の [プロパティ] パネルで、[実行パラメーター] フィールドを表示して、各パラメーターが実際の日付と時刻の値に置換されていることを確認します。