DataWorks:Serverless Kyuubi ノード

注意事項

• 計算リソースの制限：サポートされているのは EMR Serverless Spark 計算リソースのみです。リソースグループと計算リソースがネットワーク上で接続されていることを確認してください。

  リソースグループの制約：このタスクは Serverless リソースグループ内でのみ実行されます。

• （RAM ユーザー向けのオプション）タスク開発用の RAM ユーザーが対応するワークスペースに追加され、Developmentまたはスペース管理者（このロールには広範な権限が含まれるため、慎重に付与してください）ロールが付与されている必要があります。メンバーの追加方法の詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

  Alibaba Cloud アカウントを使用する場合は、この手順をスキップできます。

ノードの作成

手順については、「ノードの作成」をご参照ください。

ノードの開発

SQL エディターでタスクコードを記述します。${variable_name} 構文を使用してコード内に変数を定義できます。その後、右側の Scheduling Settings 内の Scheduling Parameters セクションで、各変数に値を割り当てます。これにより、ノードがスケジュールに従って実行される際に、システムが動的に変数を割り当てられた値に置き換えます。スケジューリングパラメーターの詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。以下のコードはその例です。

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- スケジューリングパラメーターと共に使用します。

SQL ステートメントのサイズは 130 KB を超えることはできません。

ノードのデバッグ

1. Run Configurationで、計算リソースやリソースグループなどのパラメーターを設定します。

   パラメーター	説明
   計算リソース	バインド済みの EMR Serverless Spark 計算リソースを選択します。事前にEMR Serverless Spark 計算リソースをバインドしておく必要があります。利用可能な計算リソースがない場合は、ドロップダウンリストから 計算リソースの作成 を選択します。
   リソースグループ	ワークスペースにバインドされたリソースグループを選択します。
   スクリプトパラメーター	ノードの内容で ${parameter_name} 構文を使用して変数を定義した場合、Script Parameters セクションで Parameter name および Parameter Value を指定する必要があります。これにより、ランタイム時にシステムが変数を実際の値に置き換えます。詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。
   ServerlessSpark ノードパラメーター	これらは Spark 組み込みのプロパティパラメーターです。詳細については、オープンソース Spark プロパティパラメーターおよび「EMR Serverless Spark 構成パラメーター」をご参照ください。構成フォーマットは次のとおりです："spark.eventLog.enabled": false 。 説明 DataWorks では、ワークスペース粒度でグローバルな Spark パラメーターを設定し、各 DataWorks モジュールで使用する Spark パラメーターを指定できます。グローバル Spark パラメーターの優先度を特定モジュール内の Spark パラメーターより高くするかどうかを指定できます。グローバル Spark パラメーターの設定方法の詳細については、「グローバル Spark パラメーターの構成」をご参照ください。

2. ノードエディター上部のツールバーで、Run をクリックしてタスクを実行します。

   重要

   ノードを公開する前に、Run Configuration の Serverlessspark ノードパラメーター を、Scheduling Settings 内の Serverlessspark ノードパラメーター セクションに同期してください。

次のステップ

• ノードスケジューリングの構成：ノードを定期的に実行する必要がある場合は、右側の Scheduling Settings パネルで Scheduling Policy を構成します。

• ノードの公開：本番環境でタスクを実行するには、 アイコンをクリックしてノードを公開します。ノードは本番環境に公開された後でのみ、スケジュールに従って実行されます。

• タスク運用管理：タスクが公開された後は、オペレーションセンターで定期実行のステータスをモニターできます。詳細については、「オペレーションセンター入門」をご参照ください。