ノードコンテキストパラメーターは、DataWorks においてタスクノード間で動的なデータを渡すための中核的な仕組みです。上流ノード (プロデューサー) は、その出力値を 1 つ以上の下流ノードに渡すことができます。下流ノードは、これらの値をコード内で参照し、上流の出力に基づいて動的に動作を調整できます。これにより、ワークフローの柔軟性と自動化が大幅に向上します。
仕組み
ノードコンテキストパラメーターは、上流ノード (プロデューサー) で出力パラメーターを定義し、下流ノード (コンシューマー) でそのパラメーターを参照することで値を渡します。
上流ノード (プロデューサー):値を生成し、出力パラメーターとして提供します。値を提供する方法は 2 つあります。
定数または変数を渡す:上流ノードの [ノード出力パラメーター] セクションでパラメーターを定義し、値を割り当てます。値には、
'abc'などの定数、または${status}などのシステムコンテキスト変数を指定できます。割り当て結果を渡す:システムは、
SELECT 'table_A';のようなノードコードの最後のクエリ結果を取得し、outputsという名前の組み込み出力パラメーターに割り当て、このパラメーターの値を後続ノードに渡します。パラメーター値は、コードの実行結果によって決まります。割り当てノードと一部の SQL ノードがこの方法をサポートしています。
下流ノード (コンシューマー):上流ノードから提供された値を受け取り、使用します。
入力パラメーターを設定する:下流ノードの [ノード入力パラメーター] セクションで、入力パラメーターを追加し、その [値のソース] を上流ノードの出力パラメーターに設定し、このノードの [パラメーター名] を定義します。
スケジューリング依存関係を確立する:入力パラメーターを設定すると、システムは自動的に下流ノードから上流ノードへの同周期スケジューリング依存関係を作成します。
コードでの参照: 下流ノードのコードで、
${InputParameterName}形式を使用して値を参照します。たとえば、上流ノードが値table_Aを渡した場合、下流のコードSELECT * FROM ${input};は実行時にSELECT * FROM table_A;になります。
制限
エディション: 一部のノードは、クエリ結果を渡すための 代入パラメーターの追加 機能をサポートしています。この機能を使用するには、DataWorks スタンダードエディション またはそれ以降のエディションが必要です。
ノードタイプ:[割り当てパラメーターの追加] 機能をサポートするノードタイプは、EMR Hive、EMR Spark SQL、ODPS Script、Hologres SQL、ADB for PostgreSQL、ADB for MySQL、ADB Spark SQL ノード、ClickHouse SQL、Lindorm Spark SQL ノード、Lindorm OLAP、Serverless Spark SQL ノード、Serverless Kyuubi ノード、および データベースノード です。
手順
ステップ 1: 上流ノードの出力パラメーターの設定
DataWorks コンソールにログインし、目的のリージョンに切り替えます。 左側のナビゲーションペインで、 をクリックします。 ドロップダウンリストから目的のワークスペースを選択し、[DataStudio へ移動] をクリックします。
**[データ開発]** ペインで、対象の上流ノードをダブルクリックして、エディターページを開きます。
キャンバスの右側で、スケジューリング設定 をクリックします。ノードコンテキストパラメーター セクションで、必要に応じて [ノード出力パラメーター] を設定する方法を選択します。
方法 1: 定数または変数の受け渡し
[このノードの出力パラメーター] セクションで、[パラメーターの追加] をクリックします。
パラメーター情報を設定します。
パラメーター
説明
パラメーター名
出力パラメーターのカスタム名。たとえば、
my_param。パラメーター値
パラメーターの値。以下のタイプがサポートされています。
定数:
helloなど。システムコンテキスト変数:
${status}など。スケジューリングパラメータ:
$bizdateや、カスタムスケジューリングパラメータの${...}および$[...]などです。
方法 2: 割り当て結果の受け渡し
割り当てノードを使用する
割り当てノード (上流ノード) は、MaxCompute SQL、Python 2、および Shell をサポートしています。最後のクエリまたは出力の結果を、ノードの出力パラメーター (
outputs) に自動的に割り当てます。下流ノードは、このパラメーターを参照して、割り当てノードの出力結果を取得できます。詳細については、「割り当てノード」をご参照ください。割り当てパラメーターを使用する
割り当てパラメーターをサポートするノードで、次の手順を実行します。
[ノード出力パラメーター] セクションで、[割り当てパラメーターの追加] をクリックします。
システムは、
outputsという名前の出力パラメーターを自動的に追加します。このパラメーターを設定する必要はありません。その値は、ノードのコードの最後のクエリ結果です。[保存] をクリックします。
説明代入パラメーターの追加 をクリックすると、代入パラメーターによってこのノードのクエリ結果が、それを参照する下流ノードに渡されます。結果が空の場合、このノードの実行はブロックされませんが、パラメーターを参照する下流ノードは失敗する可能性があります。
具体的な例については、「割り当てノード」の MaxCompute 言語の例をご参照ください。
出力パラメーターは 削除 できます。出力パラメーターを削除する前に、下流ノードがそれを使用していないことを確認してください。そうしないと、下流タスクの実行に影響します。
ステップ 2: 下流ノードでのパラメーターの使用
入力パラメーターを設定する
下流ノードのエディターページを開きます。 設定ページに移動します。[ノード入力パラメーター] セクションで、[パラメーターの追加] をクリックします。
入力パラメーターを設定します。上流ノードの出力パラメーターを、このパラメーターの [値のソース] として選択し、このノードの [パラメーター名] を定義します。
ツールバーで、[保存] をクリックしてパラメーターを保存します。
依存関係を確立する
上流ノードの出力パラメーターを選択すると、システムは自動的にそのノードへの同周期依存関係を追加します。手動で設定する必要はありません。
パラメーターを参照する
下流ノードのコードでは、
${InputParameterName}形式でパラメーターを参照します。次の例では、シェルノードで入力パラメーター
paramを参照する方法を示します:echo "The value from upnode is ${param}"上流ノードが割り当て結果を下流ノードに渡す場合、パラメーター値は通常、2 次元配列またはカンマ区切りの 1 次元配列です。配列内の値には、次のようにアクセスできます。
上流ノードが SQL ノードの場合 (2 次元配列):
行:
${param[i]}セル:
${param[i][j]}
上流ノードが Python/Shell ノードの場合 (1 次元配列):
行:${param[i]}
すべてのインデックスは 0 から始まります。
ステップ 3: デバッグと実行
コンテキストパラメーターは、ワークフローによってトリガーされる定期インスタンスでのみ、スケジューリング順序で渡されます。下流ノードを個別に実行すると、上流パラメーターを取得できず、タスクが失敗します。デバッグする場合は、上流ノードから開始し、ビジネスフローの順序でノードを実行する必要があります。
ワークフローに戻ります。ワークフローの上部にあるツールバーで実行をクリックするか、下流ノードを右クリックしてこのノードまで実行を選択します。
生成された有向非巡回グラフ (DAG) インスタンスで、ノードをクリックして実行ログを表示し、結果が期待どおりかどうかを確認します。
システムコンテキスト変数
システム変数 | 説明 |
${projectId} | プロジェクト ID。 |
${projectName} | MaxCompute プロジェクト名。 |
${nodeId} | ノード ID。 |
${gmtdate} | インスタンスの指定日の 00:00:00。形式は yyyy-MM-dd 00:00:00 です。 |
${taskId} | タスクインスタンス ID。 |
${seq} | タスクインスタンスの序数。同じ日の同じノードのインスタンス間でのシーケンスを示します。 |
${cyctime} | インスタンスのスケジュール時刻。 |
${status} | インスタンスのステータス:成功 (SUCCESS) または失敗 (FAILURE)。 |
${bizdate} | データタイムスタンプ。 |
${finishTime} | インスタンスの終了時刻。 |
${taskType} | インスタンスの実行タイプ:通常 (NORMAL)、手動 (MANUAL)、一時停止 (PAUSE)、ドライラン (SKIP)、未選択 (UNCHOOSE)、または周期スキップ (SKIP_CYCLE)。 |
${nodeName} | ノード名。 |