パイプラインのグローバル変数は、繰り返し行うパラメーター設定を削減します。オンラインパイプラインと DataWorks のオフラインスケジューリングパイプラインの両方で一般的に使用されます。オンラインパイプラインでは、複数のコンポーネントで 1 つのパラメーターを共有できます。DataWorks のオフラインスケジューリングでは、スケジューリングパラメーターを動的に上書きするために使用することで、パイプラインの柔軟性と効率を向上させます。
手順
-
グローバル変数を設定します。
既存のパイプラインを開き、キャンバスの空白領域をクリックし、右側のパネルでグローバル変数を作成します。
グローバル変数を参照するには、
${variable_name}という形式を使用します。変数名は 1～20 文字で、先頭は英字にする必要があります。また、英字、アンダースコア、数字のみ使用できます。オフラインスケジューリングでグローバル変数を使用する場合、DataWorks で同じ名前のスケジューリングパラメーターを定義する必要があります。PAI Designer で設定した値は、オンラインでの実験実行にのみ適用されます。 -
グローバル変数を使用したいパラメーターフィールドに、
${variable_name}を入力します。
例 1：オンラインパイプライン
この例では、グローバル変数 para1 を設定してテーブル列 status の名前を ifHealth に変更し、SQL スクリプトでそれを参照する方法を説明します。
-
パイプラインを作成します。
パイプラインを作成した後、最初の 2 つのノードのみを残し、他のノードは削除します。
-
キャンバスの空白領域をクリックし、右側のパネルでグローバル変数を作成します。
グローバル変数名を
para1に、その値をifHealthに設定します。 -
グローバル変数を使用します。
[SQL スクリプト] コンポーネントを変更して、
${para1}を使用して変数を参照します。SQL スクリプト-1 コンポーネントの SQL エディターで、SELECT ステートメントの最後に
${para1}を出力列のエイリアスとして使用します。FROM 句では、${t1}を使用して テーブルの読み取り-1 コンポーネントからの入力ソースを参照します。また、[Automatically add CREATE TABLE statement] チェックボックスをオンにします。このオプションをオンにすると、最後のステートメントは SELECT ステートメントである必要があります。 -
パイプラインを実行します。
実行が完了したら、[SQL スクリプト] コンポーネントを右クリックし、[データの表示] > [Output of SQL Script] を選択します。列名
statusがifHealthに変更されます。
例 2：DataWorks オフラインスケジューリング
この例では、グローバル変数 gDate を使用してパイプライン内の特定の日付のデータをフィルター処理する方法を説明します。次に、DataWorks で対応するスケジューリングパラメーターを設定して、パイプラインをスケジュールされたジョブとして実行します。
-
テスト用のデータテーブルを作成します。
この例では、MaxCompute コンソールで dwtest という名前のテーブルを作成します。詳細については、「SQL Reference」をご参照ください。
dwtest テーブルには、
t1(数値、値の例：1.0、0.0、1.2、0.1)、t2(数値、値の例：1.1、1.0、0.0、0.1)、label(文字列、値の例：A、B、C、D、E、F)、ds(日付パーティション、値の例：20190519、20190520) の 4 つの列があります。テーブルには 10 行のテストデータが含まれています。 -
パイプラインを作成し、グローバル変数を設定します。
-
キャンバスの空白領域をクリックし、右側のパネルで
gDateという名前のグローバル変数を作成します。変数の値を
20190520に設定します。 -
パイプラインコンポーネントを設定します。
-
[テーブルの読み取り]：[Table Name] を dwtest テーブルに設定します。
-
SQL スクリプト：クエリで
gDateグローバル変数を使用します。select * from ${t1} where ds=${gDate}
-
-
-
パイプラインを実行します。
実行が完了したら、[SQL スクリプト] コンポーネントを右クリックし、[データの表示] > [Output of SQL Script] を選択します。出力データは、gDate グローバル変数の値に基づいてフィルター処理されます。
クエリ結果では、ds 列の値は
20190520であり、これは gDate グローバル変数の値と一致します。これにより、グローバル変数が正常に渡されたことを確認できます。 -
キャンバスの左上隅にある [定期スケジューリング] をクリックし、[スケジューリングノードを作成] をクリックします。これにより DataWorks にリダイレクトされ、オフラインスケジューリングを設定できます。[Create Node] ダイアログボックスで、ノード名を指定して [Confirm] をクリックします。
-
PAI Designer の実験を選択し、右側のパネルで [Properties] をクリックします。設定の詳細については、「ノードスケジューリング設定」をご参照ください。
この例では、次のパラメーターを設定し、その他はデフォルト設定のままにします。
-
スケジューリングパラメーター：
gDateという名前のスケジューリングパラメーターを追加し、その値を$bizdateに設定します。 -
スケジュール：再実行プロパティで、以前の実行結果に関係なくノードを再実行できるように指定します。
-
依存関係：アップストリームの依存関係をワークスペースのルートノードに設定します。
-
-
ツールバーの
アイコンと 
アイコンをクリックします。画面の指示に従って、ノードを保存し、送信します。 -
ページの上部にある [運用センター] をクリックして、タスクの実行ステータスと操作ログを表示します。
データのバックフィルやトライアルパイプラインの実行も可能です。詳細については、「自動トリガーされたタスクの管理」をご参照ください。