:サーバーレス Kyuubi ノード

適用範囲

• コンピューティングリソースの制限：アタッチできるのは EMR Serverless Spark コンピューティングリソース のみです。リソースグループとコンピューティングリソース間のネットワーク接続が利用可能であることを確認してください。

  リソースグループ：このタイプのタスクを実行するには、サーバーレスリソースグループ のみを使用できます。

• (任意) Resource Access Management (RAM) ユーザーの場合、タスク開発のためにワークスペースに追加され、[開発者] または [ワークスペース管理者] のロールが割り当てられていることを確認してください。ワークスペース管理者ロールには広範な権限があります。このロールは慎重に付与してください。メンバーの追加に関する詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

  Alibaba Cloud アカウントを使用している場合は、このステップをスキップできます。

ノードの作成

詳細については、「ノードの作成」をご参照ください。

開発者ノード

SQL エディターでタスクコードを記述します。コード内で変数を定義するには、${variable_name} フォーマットを使用します。ノード編集ページで、右側の [スケジューリング設定] パネルに移動します。[スケジューリングパラメーター] セクションで、変数に値を割り当てます。これにより、スケジューリングシナリオでコードにパラメーターを動的に渡すことができます。詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。以下のコードは一例です。

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- スケジューリングパラメーターと併用できます。

ノードのデバッグ

1. [デバッグ設定] セクションで、[コンピューティングリソース]、[リソースグループ]、およびその他のパラメーターを設定します。

   設定項目	説明
   コンピューティングリソース	アタッチ済みの EMR Serverless Spark コンピューティングリソースを選択します。EMR Serverless Spark コンピューティングリソースをアタッチする必要があります。利用可能なコンピューティングリソースがない場合は、ドロップダウンリストから [コンピューティングリソースの作成] を選択します。
   リソースグループ	ワークスペースにアタッチされているリソースグループを選択します。
   スクリプトパラメーター	ノードのコンテンツを設定する際に、${parameter_name} フォーマットを使用して変数を定義できます。その後、[スクリプトパラメーター] セクションで [パラメーター名] と [パラメーター値] を設定する必要があります。実行時に、タスクは変数を実際の値に動的に置き換えます。詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。
   ServerlessSpark ノードパラメーター	これらは Spark のネイティブプロパティです。詳細については、「オープンソースの Spark プロパティ」および「カスタム Spark Conf パラメーターのリスト」をご参照ください。次のフォーマットを使用します： spark.eventLog.enabled : false 。 説明 DataWorks では、ワークスペースごとにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも高い優先度を持つかどうかを指定できます。グローバル Spark パラメーターの設定方法の詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

2. ノード編集ページの上部にあるツールバーで、[実行] をクリックしてタスクを開始します。

   重要

   公開する前に、[デバッグ設定] の [ServerlessSpark ノードパラメーター] を [スケジューリング設定] の [ServerlessSpark ノードパラメーター] と同期させる必要があります。

次のステップ

• ノードのスケジューリング：プロジェクトフォルダ内のノードを定期的に実行する必要がある場合は、ノードページの右側にある [スケジューリング] セクションで [スケジューリングポリシー] を設定し、スケジューリングプロパティを構成できます。

• ノードの公開：タスクを本番環境で実行する必要がある場合は、 アイコンをクリックしてタスクを公開します。プロジェクトフォルダ内のノードは、本番環境に公開された後にのみ、スケジュールに従って実行されます。

• ノードの O&M：タスクを公開した後、オペレーションセンターで定期タスクのステータスを表示できます。詳細については、「オペレーションセンター入門」をご参照ください。