DataWorks:スケジューリングパラメーターの設定と使用

1. パラメーターの定義

1. 対象のノード (例：ODPS SQL ノード) をダブルクリックして、ノードエディターを開きます。

2. ODPS SQL ノードやその他の SQL ベースのノードのコードで、${param} 構文を使用してパラメーター名を定義します。DataWorks では、参照と管理を容易にするために、分かりやすいパラメーター名を使用することを推奨します。

   スケジューリングパラメーターの構文：

   タイプ	構文	適用性	注意
   一般的なフォーマット	${parameter_name}	ODPS SQL やデータ同期ノードなど、ほとんどのノードタイプに適用できます。	これは最も一般的なフォーマットです。
   特殊なフォーマット	ノードタイプによって異なり、${...} フォーマットは使用しません。	PyODPS と Shell	詳細については、「異なるノードタイプのスケジューリングパラメーターの設定例」をご参照ください。

   -- 例：パーティションフィルタリングのために pt_date という名前の変数を定義します。
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. 右側のペインで、Scheduling をクリックして Scheduling Parameter セクションに移動します。

4. 次のセクションで説明するように、スケジューリングパラメーターを設定します。

2. パラメーターの設定

Visual definition または Define by expression のいずれかでスケジューリングパラメーターを設定できます。パラメーターリストの右上隅にある Define by expression をクリックすることで、これらのモードを切り替えることができます。デフォルトは Visual definition です。

1. パラメーターの設定

   ビジュアルモード

   右側のペインで Scheduling をクリックして、スケジューリングパラメーター設定パネルを開きます。

   

   • パラメーターの追加

     ノードの右側にある Scheduling をクリックし、Scheduling Parameter セクションでパラメーターを追加します。次の 2 つの方法のいずれかでパラメーターを追加できます。

     1. Add Parameter をクリックし、名前と値を手動で入力します。パラメーター名は、コードで定義された変数名と同じでなければなりません。

     2. Load Parameters in Code をクリックします。DataWorks は、${pt_date} などのコード内の変数を自動的に解析し、パラメーターリストに入力します。各パラメーターの値を入力するだけで済みます。

   • 値の割り当て

     組み込みパラメーター、カスタム時間変数、または定数を値として割り当てることができます。

     • 入力ボックスをクリックします。ドロップダウンリストが表示され、直接選択できる一般的に使用されるパラメーター式が表示されます。カスタム式や組み込み変数を手動で入力することもできます。

     • ビジネス要件に基づいて値を入力できます。サポートされている値のフォーマットの詳細については、「スケジューリングパラメーターでサポートされているフォーマット」をご参照ください。

   式モード

   Define by expression をクリックして式モードに切り替えます。式でパラメーターを設定したい場合は、このモードを使用してください。

   

   • 式モードでは、複数のパラメーターをスペースで区切ります。

   • Define by expression でスケジューリングパラメーターを追加、削除、または変更すると、DataWorks は式の構文を検証します。構文が無効な場合、パラメーターは設定できません。

     たとえば、DataWorks は 等号 (=) の両側にスペースを許可しないなどのルールを適用します。

2. パラメーターのプレビュー

   パラメーターを定義した後、Preview Scheduling Parameters をクリックして、指定されたデータタイムスタンプに基づいて今後のインスタンスでパラメーターがどのように解決されるかを確認します。これは、定義が正しいかどうかをテストするのに役立ちます。プレビューするデータタイムスタンプとインスタンスの数を調整できます。

   

3. スモークテスト

スケジューリングパラメーターに値を割り当てた後、スモークテスト機能を使用します。これにより、データタイムスタンプを設定し、タスクがどのように実行されるかをシミュレーションでき、コードが実行され、スケジューリングパラメーターが期待どおりに置き換えられることを確認するのに役立ちます。結果が期待どおりでない場合は、定期実行で問題が発生しないように、設定を速やかに調整してください。

スモークテストはインスタンスを生成し、料金が発生します。インスタンスの価格設定の詳細については、「サーバーレスリソースグループの課金」をご参照ください。

1. ノードコードをコミットします。

   1. スケジューリング時間とスケジューリングの依存関係を設定します。

   2. 保存アイコン をクリックします。コードと設定が保存された後、コミットアイコン をクリックして、最新のコードと設定をオペレーションセンターにコミットします。ノードがコミットされた後でのみ、開発環境でスモークテスト機能を使用できます。

      説明

      スモークテストが最新のコードやパラメーターで実行されていない場合は、ノードを再度コミットしてください。

2. スモークテストを実行します。

   ツールバーのスモークテストアイコン をクリックします。Perform Smoke Testing ダイアログボックスで、データタイムスタンプを選択し、[OK] をクリックしてテストを開始します。

3. スモークテストログを表示します。

   1. 表示される Smoke Testing Records ウィンドウで、最新のレコードを見つけ、View Log をクリックします。

      

   2. ログのパラメーター出力を確認し、値が正しいことを確認します。

      説明

      誤ってウィンドウを閉じてしまった場合は、ツールバーのスモークテストログアイコン をクリックして再度開くことができます。

4. デプロイと検証

開発環境での検証後、タスクをオペレーションセンターにデプロイして、本番環境で定期実行できます。デプロイ後、実行時エラーを防ぐために本番環境のスケジューリングパラメーターを確認してください。

1. パラメーター定義を確認します。

   オペレーションセンターに移動し、対象のリージョンとワークスペースに切り替えて、Auto Triggered Task O&M > Periodic tasks ページに移動します。タスクリストで、タスク名をクリックし、Property パネルで Property を確認して、それらが正しいことを確認します。

   

2. オペレーションセンターでスモークテストを実行します。

   オペレーションセンターのスモークテストを使用して、デプロイされたタスクが本番環境でパラメーターを置き換え、期待どおりにコードを実行することを確認することもできます。詳細については、「テストの実行とテストインスタンスの表示」をご参照ください。

   重要

   スモークテストは実際の本番データで実行されることに注意してください。本番データベースのデータを破損しないように、操作には十分ご注意ください。

   

3. 実際のスケジューリング結果を観察します。

   タスクが自動的にスケジュールされた後、Auto Triggered Instances でインスタンスのパラメーターを確認することで、パラメーターが正しく置き換えられたか検証できます。