すべてのプロダクト
Search
ドキュメントセンター

DataWorks:EMR Spark SQL ノードの作成

最終更新日:Jul 18, 2026

E-MapReduce (EMR) Spark SQL ノードは、分散 SQL クエリエンジンを使用して構造化データを処理し、タスク実行効率を向上させます。

前提条件

  • ノード開発前にコンポーネント環境をカスタマイズするには、公式イメージ dataworks_emr_base_task_pod をベースにカスタムイメージを作成し、DataStudio でそのイメージを使用します。

    たとえば、カスタムイメージ作成時に Spark JAR パッケージを置き換えたり、特定のライブラリ、ファイル、またはJAR パッケージを依存関係として追加したりできます。

  • DataWorks に EMR クラスターを登録します。詳細については、「レガシー データ開発:EMR 計算リソースのバインド」をご参照ください。

  • RAM ユーザーは必要な権限を保持している必要があります。ワークスペースのオーナーまたは管理者が、RAM ユーザーをワークスペースに追加し、開発者ロールまたはストレージ管理者ロールを割り当てる必要があります。ワークスペース管理者ロールには広範な権限が付与されるため、慎重に割り当ててください。詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

  • リソースグループを購入および設定し、ワークスペースへのバインドやネットワーク設定を行います。詳細については、「サーバーレスリソースグループの使用」をご参照ください。

  • ビジネスフローを作成します。DataStudio では、すべての開発ノードがビジネスフローに整理されます。詳細については、「ビジネスフローの作成」をご参照ください。

  • タスクに特定の開発環境が必要な場合は、DataWorks を使用して必要なコンポーネントを含むカスタムイメージを構築します。詳細については、「カスタムイメージ」をご参照ください。

制限事項

  • このタイプのタスクは、サーバーレスリソースグループ(推奨)または専用スケジューリングリソースグループでのみ実行できます。データ開発でイメージを使用する必要がある場合は、サーバーレスリソースグループを使用する必要があります。

  • DataWorks で DataLake クラスターやカスタムクラスターのメタデータを管理するには、クラスター上で EMR-HOOK を構成する必要があります。この構成を行わないと、DataWorks はリアルタイムメタデータを表示できず、監査ログの生成、データリネージの提供、EMR 関連のガバナンスタスクの実行もできません。EMR-HOOK の構成方法の詳細については、「Spark SQL の EMR-HOOK 構成」をご参照ください。

  • データリネージは EMR Serverless Spark クラスターではサポートされていますが、EMR on ACK Spark クラスターではサポートされていません。

  • 視覚的関数登録は DataLake クラスターやカスタムクラスターではサポートされていますが、EMR on ACK Spark クラスターや EMR Serverless Spark クラスターではサポートされていません。

注意事項

現在のワークスペースに関連付けられている EMR クラスターで Spark の Ranger アクセスの制御を有効にしている場合:

  • デフォルトイメージを使用する Spark タスクは、自動的にこの機能をサポートします。

  • カスタムイメージを使用して Spark タスクを実行するには、チケットを送信してテクニカルサポートにイメージのスペックアップをリクエストしてください。

ステップ 1:ノードの作成

  1. DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウからデータ開発と О&М > データ開発をクリックします。ドロップダウンリストからワークスペースを選択し、移動 データ開発 をクリックします。

  2. EMR Spark SQL ノードを作成します。

    1. 対象のビジネスフローを右クリックし、ノードの作成 > EMR > EMR Spark SQL を選択します。

      説明

      新規作成 をポイントし、ノードの作成 > EMR > EMR Spark SQL を選択することもできます。

    2. ノードの作成 ダイアログボックスで、名前、Compute Engine Instance、ノードタイプ、およびパス を設定します。[確認] をクリックしてノードエディターを開きます。

      説明

      ノード名には、大文字、小文字、漢字、数字、アンダースコア (_)、ピリオド (.) を使用できます。

ステップ 2:タスクの開発

EMR Spark SQL ノードエディターで、作成したノードをダブルクリックしてタスク開発ページを開きます。

SQL コードの記述

${variable_name} 形式で変数を定義し、スケジューリング設定 > スケジューリングパラメータ ペインで値を割り当てることで、スケジュール実行時に動的パラメータを渡せるようにします。サポートされている形式の詳細については、「スケジューリングパラメーターの形式」をご参照ください。以下のサンプルコードを参考にしてください。

SHOW TABLES; 
-- ${var} を使用して var という名前の変数を定義します。この変数に ${yyyymmdd} の値を割り当てると、ビジネス日付をサフィックスとするテーブルを作成できます。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP アドレス',
uid STRING COMMENT'ユーザー ID'
)PARTITIONED BY(
dt STRING
); -- この変数はスケジューリングパラメーターと併用できます。
説明
  • SQL ステートメントのサイズは 130 KB を超えることはできません。

  • 複数の EMR 計算リソースがワークスペースにバインドされている場合は、タスクに必要なリソースを選択します。バインドされているリソースが 1 つのみの場合は、この操作は不要です。

(オプション)高度な設定

ノードの高度な設定で Spark 固有のプロパティを構成します。Spark プロパティの詳細については、「Spark 構成」をご参照ください。利用可能な高度なパラメーターは、次の表に示すように EMR クラスタータイプによって異なります。

Datalake およびカスタム:EMR on ECS

パラメーター

説明

queue

ジョブを送信するスケジューリングキューです。デフォルト値:default。EMR YARN の詳細については、「基本的なキュー構成」をご参照ください。

priority

優先度です。デフォルト値:1。

FLOW_SKIP_SQL_ANALYZE

SQL 実行モードです。有効値:

  • true:1 回の実行で複数の SQL ステートメントを実行します。

  • false(デフォルト):1 回の実行で 1 つの SQL ステートメントを実行します。

説明

このパラメーターは、開発環境でのテスト実行でのみ使用できます。

ENABLE_SPARKSQL_JDBC

SQL コードを送信する方法です。有効値:

  • true:JDBC 方式で SQL コードを送信します。EMR クラスターに Kyuubi サービスが存在しない場合、コードは Spark Thrift Server に送信されます。EMR クラスターに Kyuubi サービスが存在する場合、コードは Kyuubi に送信され、カスタム Spark パラメーターを指定できます。

    どちらの送信方法もデータリネージをサポートしていますが、Thrift Server に送信されたタスクではメタデータ出力を利用できません。

  • false(デフォルト):SQL コードを spark-submit クラスターモードで送信することを示します。この送信モードでは、Spark 2 および Spark 3 の両方でメタデータリネージおよび出力情報がサポートされています。また、カスタム Spark パラメーターを指定できます。

    説明
    • spark-submit クラスターモードを使用する場合、一時ファイルおよびディレクトリがクラスターの HDFS の /tmp ディレクトリにデフォルトで作成されます。このディレクトリに対する読み取りおよび書き込み権限があることを確認してください。

    • spark-submit クラスターモードを使用する場合、高度な設定に直接カスタム SparkConf パラメーターを追加できます。コードを送信すると、DataWorks が自動的に新しいパラメーターをコマンドに追加します。例:"spark.driver.memory" : "2g"。

DATAWORKS_SESSION_DISABLE

このパラメーターは、開発環境でのテスト実行にのみ適用されます。有効値:

  • true:各 SQL ステートメントの実行ごとに新しい JDBC 接続が作成されます。

  • false(デフォルト):ノード内で異なる SQL ステートメントを実行する際に、同じ JDBC 接続が再利用されます。

説明

このパラメーターが false に設定されている場合、Hive の yarn applicationId は出力されません。yarn applicationId を出力するには、このパラメーターを true に設定してください。

Other

カスタムSpark 構成パラメーターを追加します。

次の形式を使用します:"spark.eventLog.enabled":false 。DataWorks はこれらのパラメーターを自動的に送信コマンドに --conf key=value 形式で追加します。パラメーター構成の詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

説明
  • DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。

  • Ranger アクセスの制御を有効にするには、「グローバル Spark パラメーターの設定」で spark.hadoop.fs.oss.authorization.method=ranger 構成を追加します。これにより、Ranger ベースのアクセスの制御が有効になります。

EMR serverless spark

パラメーター設定の詳細については、「Spark ジョブ送信時のパラメーター設定」をご参照ください。

パラメーター

説明

FLOW_SKIP_SQL_ANALYZE

SQL 実行モードです。有効値:

  • true:1 回の実行で複数の SQL ステートメントを実行します。

  • false(デフォルト):1 回の実行で 1 つの SQL ステートメントを実行します。

説明

このパラメーターは、開発環境でのテスト実行でのみ使用できます。

DATAWORKS_SESSION_DISABLE

タスク送信方法を指定します。データ開発でタスクを実行すると、デフォルトでタスクは SQL Compute に送信されます。このパラメーターを使用して、タスクを SQL Compute またはキューに送信するかどうかを指定できます。

  • true:タスクはキューに送信されます。デフォルトでは、計算リソースをバインドする際に指定されたキューが使用されます。DATAWORKS_SESSION_DISABLE パラメーターを true に設定すると、データ開発でタスクを実行する際にタスクを送信するキューを指定するために SERVERLESS_QUEUE_NAME パラメーターを構成できます。

  • false(デフォルト):タスクは SQL Compute に送信されて実行されます。

    説明

    このパラメーターは、データ開発環境での実行時にのみ有効で、スケジュール実行時には効果がありません。

SERVERLESS_RELEASE_VERSION

Spark エンジンのバージョンです。デフォルトでは、管理センター の クラスターの管理 ページでクラスターに設定された デフォルトデータベースエンジンバージョン が使用されます。特定のタスクでデフォルトを上書きするには、このパラメーターを設定します。

説明

高度な設定の SERVERLESS_RELEASE_VERSION パラメーターは、登録済みクラスターに指定された SQL Compute セッションが EMR Serverless Spark コンソールで実行されていない場合にのみ有効です。

SERVERLESS_QUEUE_NAME

タスクを送信するリソースキューです。タスクをキューに送信する場合、管理センター の クラスターの管理 ページでクラスターに設定された デフォルトリソースキュー がデフォルトで使用されます。リソース分離および管理が必要な場合は、キューを追加できます。詳細については、「リソースキューの管理」をご参照ください。

構成オプション:

説明
  • 高度な設定の SERVERLESS_QUEUE_NAME パラメーターは、登録済みクラスターに指定された SQL Compute セッションが EMR Serverless Spark コンソールで実行されていない場合にのみ有効です。

  • データ開発で実行する場合:DATAWORKS_SESSION_DISABLE パラメーターを true に設定して、タスクをキューに送信する必要があります。これにより、SERVERLESS_QUEUE_NAME パラメーターが有効になります。

  • オペレーションセンターからスケジュール実行する場合:タスクは常に SQL Compute ではなくキューに送信されます。

SERVERLESS_SQL_COMPUTE

使用する SQL Compute セッションです。デフォルトでは、管理センター の クラスターの管理 ページでクラスターに設定された デフォルト SQL Compute が使用されます。異なるタスクで異なる SQL Compute セッションを使用したい場合は、ここで指定できます。SQL Compute セッションの作成および管理方法の詳細については、「SQL Compute セッションの管理」をご参照ください。

Other

カスタムSpark 構成パラメーターを追加します。

次の形式を使用します:"spark.eventLog.enabled":"false"。DataWorks はパラメーターを自動的に EMR クラスターに送信されるコードに --conf key=value 形式で追加します。

説明

DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

タスクの保存と実行

ツールバーで 保存 [保存] アイコンをクリックして SQL ステートメントを保存し、运行 [実行] アイコンをクリックして SQL タスクを実行します。

実行ダイアログボックスで、ご利用の Spark サービスとのネットワーク接続が成功しているリソースグループを選択します。ノードコードで変数を使用している場合は、デバッグ実行中に変数に定数値を割り当てます。スケジュール実行時のリソースグループおよびパラメーターの構成方法については、「ノードスケジューリングの構成」をご参照ください。タスクデバッグの詳細については、「タスクデバッグプロセス」をご参照ください。

説明

コード内のパラメーター値を変更する必要がある場合は、ツールバーの 高度な実行 をクリックします。パラメーター値の割り当てロジックの詳細については、「開発環境での [実行]、[高度な実行]、およびスモークテストにおける値割り当てロジックの違いは何ですか?」をご参照ください。

Spark:EMR on ACK

パラメーター

説明

FLOW_SKIP_SQL_ANALYZE

SQL 実行モードです。有効値:

  • true:1 回の実行で複数の SQL ステートメントを実行します。

  • false(デフォルト):1 回の実行で 1 つの SQL ステートメントを実行します。

説明

このパラメーターは、開発環境でのテスト実行でのみ使用できます。

Other

カスタムSpark 構成パラメーターを追加します。

次の形式を使用します:"spark.eventLog.enabled":false。DataWorks はパラメーターを自動的に EMR クラスターに送信されるコードに --conf key=value 形式で追加します。

説明

DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

Hadoop:EMR on ECS

パラメーター

説明

queue

ジョブを送信するスケジューリングキューです。デフォルト値:default。EMR YARN の詳細については、「基本的なキュー構成」をご参照ください。

priority

優先度です。デフォルト値:1。

FLOW_SKIP_SQL_ANALYZE

SQL 実行モードです。有効値:

  • true:1 回の実行で複数の SQL ステートメントを実行します。

  • false(デフォルト):1 回の実行で 1 つの SQL ステートメントを実行します。

説明

このパラメーターは、開発環境でのテスト実行でのみ使用できます。

USE_GATEWAY

ノードのジョブをゲートウェイクラスター経由で送信するかどうかを指定します。有効値:

  • true:ジョブはゲートウェイクラスター経由で送信されます。

  • false(デフォルト):ジョブはゲートウェイクラスター経由で送信されません。デフォルトでは、ジョブはヘッダーノードに送信されます。

説明

ノードが配置されているクラスターに関連付けられたゲートウェイクラスターがない場合、このパラメーターを手動で true に設定すると、後続の EMR ジョブ送信が失敗します。

Other

カスタムSpark 構成パラメーターを追加します。

次の形式を使用します:"spark.eventLog.enabled":false。DataWorks はパラメーターを自動的に EMR クラスターに送信されるコードに --conf key=value 形式で追加します。パラメーター構成の詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

説明
  • DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。

  • Ranger アクセスの制御を有効にするには、「グローバル Spark パラメーターの設定」で spark.hadoop.fs.oss.authorization.method=ranger 構成を追加します。これにより、Ranger ベースのアクセスの制御が有効になります。

タスクの実行

  1. ツールバーで 高级运行 [実行] アイコンをクリックします。パラメーター ダイアログボックスで、作成済みのスケジューリングリソースグループを選択し、実行 をクリックします。

    説明
    • パブリックネットワークまたは仮想プライベートクラウド (VPC) 内の計算リソースにアクセスするには、計算リソースとの接続性テストに合格したスケジューリングリソースグループを使用する必要があります。詳細については、「ネットワーク接続性」をご参照ください。

    • 後続のタスク実行でリソースグループを変更する必要がある場合は、パラメータ付きで実行 高级运行 アイコンをクリックして、目的のリソースグループを選択できます。

    • EMR Spark SQL ノードを使用してデータのクエリを実行する場合、最大 10,000 レコードが返され、合計データサイズは 10 MB を超えることはできません。

  2. 保存 [保存] アイコンをクリックして SQL ステートメントを保存します。

  3. (オプション)スモークテストを実行します。

    開発環境でスモークテストを実行する場合は、ノードを実行またはコミットした後にスモークテストを実行できます。詳細については、「スモークテストの実行」をご参照ください。

ステップ 3:スケジューリングの構成

ノード上のタスクをシステムが定期的に実行するようにするには、ノードの構成タブの右側ナビゲーションウィンドウで [プロパティ] をクリックし、ビジネス要件に基づいてタスクスケジューリングプロパティを構成します。詳細については、「概要」をご参照ください。

説明
  • ノードを送信する前に、再実行プロパティ および 依存する先祖ノード プロパティをノードに構成する必要があります。

  • コンポーネント環境をカスタマイズする必要がある場合は、公式イメージ dataworks_emr_base_task_pod をベースにカスタムイメージを作成し、DataStudio で使用します。

    たとえば、カスタムイメージ作成時に Spark JAR パッケージを置き換えたり、特定のライブラリ、ファイル、またはJAR パッケージを含めたりできます。

ステップ 4:タスクのデプロイ

ノード上のタスクを構成したら、タスクをコミットおよびデプロイする必要があります。タスクをコミットおよびデプロイすると、システムはスケジューリング構成に基づいてタスクを定期的に実行します。

  1. 上部ツールバーの 保存 アイコンをクリックしてタスクを保存します。

  2. 上部ツールバーの 提交 アイコンをクリックしてタスクをコミットします。

    [送信] ダイアログボックスで、[変更内容の説明] パラメーターを構成します。その後、ビジネス要件に基づいて、タスクをコミットした後にタスクコードをレビューするかどうかを判断します。

    説明
    • タスクをコミットする前に、プロパティタブで [再実行] および [親ノード] パラメーターを構成する必要があります。

    • コードレビューフィーチャーを使用してタスクのコード品質を確保し、無効なタスクコードによるタスク実行エラーを防止できます。コードレビューフィーチャーを有効にすると、コミットされたタスクコードはコードレビューに合格した後にのみデプロイできます。詳細については、「コードレビュー」をご参照ください。

標準モードのワークスペースを使用している場合、タスクをコミットした後に本番環境でタスクをデプロイする必要があります。ノード上のタスクをデプロイするには、ノードの構成タブの右上隅にある [デプロイ] をクリックします。詳細については、「ノードのデプロイ」をご参照ください。

その他の操作

タスクをコミットおよびデプロイすると、スケジューリング構成に基づいてタスクが定期的に実行されます。対応するノードの構成タブの右上隅にある [オペレーションセンター] をクリックしてオペレーションセンターに移動し、タスクのスケジューリングステータスを確認できます。詳細については、「定期タスクの管理」をご参照ください。

よくある質問