代入ノードを使用して、上流ノードのクエリ結果または出力を下流ノードに渡します。代入ノードは ODPS SQL、Python 2、シェルをサポートしています。最後のクエリ結果または出力が、組み込み出力パラメーター (outputs) に自動的に割り当てられます。下流ノードはこのパラメーターを参照して出力を取得できます。
使用上の注意
バージョン要件:DataWorks Standard Edition 以降でのみ利用可能です。
権限:ご使用の RAM アカウントを対象の ワークスペース に追加し、開発者 または ワークスペース管理者 のロールを割り当てる必要があります。詳細については、「ワークスペースへのメンバー追加」をご参照ください。
基本概念:パラメーターの受け渡しと参照
代入ノードのコア機能は、上流ノードで生成されたデータを下流ノードに転送するパラメーター渡しです。
上流の代入ノード:データを生成します。最後の出力またはクエリ結果を、
outputsという名前のノード出力パラメーターに自動的に割り当てます。下流のビジネスノード:データを受信して使用します。ノード設定にノード入力パラメーター (例:
param) を追加し、それを上流の代入ノードのoutputsパラメーターにマッピングすることで、コード内でデータを参照できます。
言語別の出力形式
代入ノードの出力形式は、言語によって異なります。
言語 | 出力ソース | 出力形式 |
ODPS SQL | 最後の | 出力は 2次元配列として下流ノードに渡されます。 |
Python 2 | 最後の | 出力は文字列に変換され、カンマ ( 例えば、割り当てノードの最終行が |
シェル | 最後の |
操作手順
次の例では、ODPS SQL 代入ノードの出力を Shell ノードに渡します。実際には、任意のノードを下流ノードとして使用できます。
上流の代入ノードの設定
ワークフローで、代入ノードを作成して編集します。コードエディターで、必要に応じて ODPS SQL、Python 2、または シェルを選択し、下流に渡す結果を生成するコードを記述します。
下流の Shell ノードの設定
Shell ノードを作成します。Shell ノードエディターで、上流の結果を参照します。
Shell ノードエディターの右側にある [スケジューリング設定] をクリックし、[ノードコンテキスト] タブを選択します。
[入力パラメーター] セクションで、[追加] をクリックします。
表示されたダイアログボックスで、上流の代入ノードの
outputsパラメーターを選択し、現在のノードの入力パラメーターにパラメーター名 (例:param) を指定します。設定が完了すると、下流ノードは自動的に上流の代入ノードとの依存関係を確立します。
パラメーター設定が完了したら、下流 Shell ノードのコードで
${param}形式を使用して、上流ノードから渡された値を参照します。
実行と検証
ワークフロー名をダブルクリックします。ワークフローエディターで、ツールバーの実行アイコンをクリックしてワークフローを実行し、参照された結果が正しいかを確認します。ノードを本番環境にコミットし、[オペレーションセンター] に移動し、[スモークテスト] を実行して検証することもできます。
制限事項
範囲:代入ノードのパラメーターは、直接の下流ノードにのみ渡すことができます。階層を越えた受け渡しはサポートされていません。
サイズ制限:出力値は 2 MB を超えることはできません。出力がこの制限を超えると、代入ノードは失敗します。
構文上の制限:
代入ノードのコードではコメントはサポートされていません。コメントを追加すると、実行結果が異常になる可能性があります。
ODPS SQL モードでは WITH 句はサポートされていません。
言語別の例
出力形式 (outputs) と下流ノードの参照方法は、言語によって異なります。
例1:ODPS SQL クエリ結果の受け渡し
SQL クエリの結果は、二次元配列として下流ノードに渡されます。
上流ノード (割り当てノード - SQL) の設定
以下の SQL コードで、クエリが 2 行 2 列のデータを返すと仮定します。
SELECT 'beijing', '1001' UNION ALL SELECT 'hangzhou', '1002';下流ノード (シェルノード) の設定と出力
Shell ノードで、
regionという名前の入力パラメーターを追加し、上流の SQL ノードのoutputsパラメーターを参照します。次のコードを記述してデータを読み取ります。
echo "Entire result set: ${region}" echo "First row: ${region[0]}" echo "First row, second field: ${region[0][1]}"DataWorks はパラメーターを直接解析し、静的な置換を実行します。出力は次のようになります。
Entire result set: beijing,1001 hangzhou,1002 First row: beijing,1001 First row, second field: 1001
例 2:Python 2 出力結果の受け渡し
Python 2 の print 文の出力は、カンマ (,) で区切られ、1 次元の配列として下流ノードに渡されます。
上流ノード (割り当てノード - Python 2) の設定
Python 2 のコードは次のとおりです。
print 'Electronics, Clothing, Books';下流ノード (シェルノード) の設定と出力
Shell ノードで、
typesという名前の入力パラメーターを追加し、上流の割り当てノードのoutputsパラメーターを参照します。次のコードを記述してデータを読み取ります。
# 一次元配列全体を直接出力 echo "Entire result set: ${types}" # インデックスで要素を出力 echo "Second element: ${types[1]}"DataWorks はパラメーターを直接解析し、静的な置換を実行します。出力は次のようになります。
Entire result set: Electronics, Clothing, Books Second element: Clothing
シェルノードの処理ロジックは Python 2 と類似しているため、ここでは繰り返しません。
よくある質問
Q:ODPS SQL モードで "find no select sql in sql assignment!" というエラーが発生するのはなぜですか?
A:ODPS SQL スクリプトに SELECT 文がありません。SELECT 文を追加してください。ODPS SQL モードでは WITH 句はサポートされていません。WITH 句を使用した場合もこのエラーが発生します。
Q:Shell または Python モードで出力が期待どおりにならないのはなぜですか?
A:出力要素にカンマが含まれていないか確認してください。含まれている場合は、代入ノードでカンマをエスケープし、下流ノードで復元してください。
Q:下流ノードは複数の上流の代入ノードから出力を受け取ることができますか?
A:はい。異なる代入ノードからの出力を受け取るために、異なる入力パラメーターを割り当ててください。
Q:代入ノードは ODPS SQL、Python 2、Shell 以外の言語をサポートしていますか?
A:代入ノードは ODPS SQL、Python 2、シェルのみをサポートしています。ただし、EMR Hive、Hologres SQL、EMR Spark SQL、AnalyticDB for PostgreSQL、ClickHouse SQL、MySQL などの一部のノードタイプは、同じ結果を得られる組み込みのパラメーター割り当て機能を提供しています。
関連ドキュメント
下流ノードが for-each ノードまたは do-while ノードである場合、これらのノードと代入ノードの使用方法については、for-each ノードの設定 および do-while ノードの設定をご参照ください。