E-MapReduce (EMR) Spark SQL ノードは、分散 SQL クエリエンジンを使用して構造化データを処理し、タスク実行効率を向上させます。
前提条件
-
ノード開発前にコンポーネント環境をカスタマイズするには、公式イメージ
dataworks_emr_base_task_podをベースにカスタムイメージを作成し、DataStudio でそのイメージを使用します。たとえば、カスタムイメージ作成時に Spark JAR パッケージを置き換えたり、特定の
ライブラリ、ファイル、またはJAR パッケージを依存関係として追加したりできます。 -
DataWorks に EMR クラスターを登録します。詳細については、「レガシー データ開発:EMR 計算リソースのバインド」をご参照ください。
-
RAM ユーザーは必要な権限を保持している必要があります。ワークスペースのオーナーまたは管理者が、RAM ユーザーをワークスペースに追加し、開発者ロールまたはストレージ管理者ロールを割り当てる必要があります。ワークスペース管理者ロールには広範な権限が付与されるため、慎重に割り当ててください。詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
-
リソースグループを購入および設定し、ワークスペースへのバインドやネットワーク設定を行います。詳細については、「サーバーレスリソースグループの使用」をご参照ください。
-
ビジネスフローを作成します。DataStudio では、すべての開発ノードがビジネスフローに整理されます。詳細については、「ビジネスフローの作成」をご参照ください。
-
タスクに特定の開発環境が必要な場合は、DataWorks を使用して必要なコンポーネントを含むカスタムイメージを構築します。詳細については、「カスタムイメージ」をご参照ください。
制限事項
-
このタイプのタスクは、サーバーレスリソースグループ(推奨)または専用スケジューリングリソースグループでのみ実行できます。データ開発でイメージを使用する必要がある場合は、サーバーレスリソースグループを使用する必要があります。
-
DataWorks で DataLake クラスターやカスタムクラスターのメタデータを管理するには、クラスター上で EMR-HOOK を構成する必要があります。この構成を行わないと、DataWorks はリアルタイムメタデータを表示できず、監査ログの生成、データリネージの提供、EMR 関連のガバナンスタスクの実行もできません。EMR-HOOK の構成方法の詳細については、「Spark SQL の EMR-HOOK 構成」をご参照ください。
-
データリネージは EMR Serverless Spark クラスターではサポートされていますが、EMR on ACK Spark クラスターではサポートされていません。
-
視覚的関数登録は DataLake クラスターやカスタムクラスターではサポートされていますが、EMR on ACK Spark クラスターや EMR Serverless Spark クラスターではサポートされていません。
注意事項
現在のワークスペースに関連付けられている EMR クラスターで Spark の Ranger アクセスの制御を有効にしている場合:
-
デフォルトイメージを使用する Spark タスクは、自動的にこの機能をサポートします。
-
カスタムイメージを使用して Spark タスクを実行するには、チケットを送信してテクニカルサポートにイメージのスペックアップをリクエストしてください。
ステップ 1:ノードの作成
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウからをクリックします。ドロップダウンリストからワークスペースを選択し、移動 データ開発 をクリックします。
-
EMR Spark SQL ノードを作成します。
-
対象のビジネスフローを右クリックし、 を選択します。
説明新規作成 をポイントし、 を選択することもできます。
-
ノードの作成 ダイアログボックスで、名前、Compute Engine Instance、ノードタイプ、およびパス を設定します。[確認] をクリックしてノードエディターを開きます。
説明ノード名には、大文字、小文字、漢字、数字、アンダースコア (_)、ピリオド (.) を使用できます。
-
ステップ 2:タスクの開発
EMR Spark SQL ノードエディターで、作成したノードをダブルクリックしてタスク開発ページを開きます。
SQL コードの記述
${variable_name} 形式で変数を定義し、スケジューリング設定 > スケジューリングパラメータ ペインで値を割り当てることで、スケジュール実行時に動的パラメータを渡せるようにします。サポートされている形式の詳細については、「スケジューリングパラメーターの形式」をご参照ください。以下のサンプルコードを参考にしてください。
SHOW TABLES;
-- ${var} を使用して var という名前の変数を定義します。この変数に ${yyyymmdd} の値を割り当てると、ビジネス日付をサフィックスとするテーブルを作成できます。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP アドレス',
uid STRING COMMENT'ユーザー ID'
)PARTITIONED BY(
dt STRING
); -- この変数はスケジューリングパラメーターと併用できます。
-
SQL ステートメントのサイズは 130 KB を超えることはできません。
-
複数の EMR 計算リソースがワークスペースにバインドされている場合は、タスクに必要なリソースを選択します。バインドされているリソースが 1 つのみの場合は、この操作は不要です。
(オプション)高度な設定
ノードの高度な設定で Spark 固有のプロパティを構成します。Spark プロパティの詳細については、「Spark 構成」をご参照ください。利用可能な高度なパラメーターは、次の表に示すように EMR クラスタータイプによって異なります。
Datalake およびカスタム:EMR on ECS
|
パラメーター |
説明 |
|
queue |
ジョブを送信するスケジューリングキューです。デフォルト値:default。EMR YARN の詳細については、「基本的なキュー構成」をご参照ください。 |
|
priority |
優先度です。デフォルト値:1。 |
|
FLOW_SKIP_SQL_ANALYZE |
SQL 実行モードです。有効値:
説明
このパラメーターは、開発環境でのテスト実行でのみ使用できます。 |
|
ENABLE_SPARKSQL_JDBC |
SQL コードを送信する方法です。有効値:
|
|
DATAWORKS_SESSION_DISABLE |
このパラメーターは、開発環境でのテスト実行にのみ適用されます。有効値:
説明
このパラメーターが |
|
Other |
カスタムSpark 構成パラメーターを追加します。 次の形式を使用します: 説明
|
EMR serverless spark
パラメーター設定の詳細については、「Spark ジョブ送信時のパラメーター設定」をご参照ください。
|
パラメーター |
説明 |
|
FLOW_SKIP_SQL_ANALYZE |
SQL 実行モードです。有効値:
説明
このパラメーターは、開発環境でのテスト実行でのみ使用できます。 |
|
DATAWORKS_SESSION_DISABLE |
タスク送信方法を指定します。データ開発でタスクを実行すると、デフォルトでタスクは SQL Compute に送信されます。このパラメーターを使用して、タスクを SQL Compute またはキューに送信するかどうかを指定できます。
|
|
SERVERLESS_RELEASE_VERSION |
Spark エンジンのバージョンです。デフォルトでは、管理センター の クラスターの管理 ページでクラスターに設定された デフォルトデータベースエンジンバージョン が使用されます。特定のタスクでデフォルトを上書きするには、このパラメーターを設定します。 説明
高度な設定の |
|
SERVERLESS_QUEUE_NAME |
タスクを送信するリソースキューです。タスクをキューに送信する場合、管理センター の クラスターの管理 ページでクラスターに設定された デフォルトリソースキュー がデフォルトで使用されます。リソース分離および管理が必要な場合は、キューを追加できます。詳細については、「リソースキューの管理」をご参照ください。 構成オプション:
説明
|
|
SERVERLESS_SQL_COMPUTE |
使用する SQL Compute セッションです。デフォルトでは、管理センター の クラスターの管理 ページでクラスターに設定された デフォルト SQL Compute が使用されます。異なるタスクで異なる SQL Compute セッションを使用したい場合は、ここで指定できます。SQL Compute セッションの作成および管理方法の詳細については、「SQL Compute セッションの管理」をご参照ください。 |
|
Other |
カスタムSpark 構成パラメーターを追加します。 次の形式を使用します: 説明
DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。 |
タスクの保存と実行
ツールバーで
[保存] アイコンをクリックして SQL ステートメントを保存し、
[実行] アイコンをクリックして SQL タスクを実行します。
実行ダイアログボックスで、ご利用の Spark サービスとのネットワーク接続が成功しているリソースグループを選択します。ノードコードで変数を使用している場合は、デバッグ実行中に変数に定数値を割り当てます。スケジュール実行時のリソースグループおよびパラメーターの構成方法については、「ノードスケジューリングの構成」をご参照ください。タスクデバッグの詳細については、「タスクデバッグプロセス」をご参照ください。
コード内のパラメーター値を変更する必要がある場合は、ツールバーの 高度な実行 をクリックします。パラメーター値の割り当てロジックの詳細については、「開発環境での [実行]、[高度な実行]、およびスモークテストにおける値割り当てロジックの違いは何ですか?」をご参照ください。
Spark:EMR on ACK
|
パラメーター |
説明 |
|
FLOW_SKIP_SQL_ANALYZE |
SQL 実行モードです。有効値:
説明
このパラメーターは、開発環境でのテスト実行でのみ使用できます。 |
|
Other |
カスタムSpark 構成パラメーターを追加します。 次の形式を使用します: 説明
DataWorks では、ワークスペースレベルで異なる DataWorks モジュール向けにグローバル Spark パラメーターを設定できます。グローバル Spark パラメーターが特定のモジュール内の Spark パラメーターよりも優先されるかどうかを指定できます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。 |
Hadoop:EMR on ECS
|
パラメーター |
説明 |
|
queue |
ジョブを送信するスケジューリングキューです。デフォルト値:default。EMR YARN の詳細については、「基本的なキュー構成」をご参照ください。 |
|
priority |
優先度です。デフォルト値:1。 |
|
FLOW_SKIP_SQL_ANALYZE |
SQL 実行モードです。有効値:
説明
このパラメーターは、開発環境でのテスト実行でのみ使用できます。 |
|
USE_GATEWAY |
ノードのジョブをゲートウェイクラスター経由で送信するかどうかを指定します。有効値:
説明
ノードが配置されているクラスターに関連付けられたゲートウェイクラスターがない場合、このパラメーターを手動で |
|
Other |
カスタムSpark 構成パラメーターを追加します。 次の形式を使用します: 説明
|
タスクの実行
-
ツールバーで
[実行] アイコンをクリックします。パラメーター ダイアログボックスで、作成済みのスケジューリングリソースグループを選択し、実行 をクリックします。説明-
パブリックネットワークまたは仮想プライベートクラウド (VPC) 内の計算リソースにアクセスするには、計算リソースとの接続性テストに合格したスケジューリングリソースグループを使用する必要があります。詳細については、「ネットワーク接続性」をご参照ください。
-
後続のタスク実行でリソースグループを変更する必要がある場合は、パラメータ付きで実行
アイコンをクリックして、目的のリソースグループを選択できます。 -
EMR Spark SQL ノードを使用してデータのクエリを実行する場合、最大 10,000 レコードが返され、合計データサイズは 10 MB を超えることはできません。
-
-
[保存] アイコンをクリックして SQL ステートメントを保存します。 -
(オプション)スモークテストを実行します。
開発環境でスモークテストを実行する場合は、ノードを実行またはコミットした後にスモークテストを実行できます。詳細については、「スモークテストの実行」をご参照ください。
ステップ 3:スケジューリングの構成
ノード上のタスクをシステムが定期的に実行するようにするには、ノードの構成タブの右側ナビゲーションウィンドウで [プロパティ] をクリックし、ビジネス要件に基づいてタスクスケジューリングプロパティを構成します。詳細については、「概要」をご参照ください。
-
ノードを送信する前に、再実行プロパティ および 依存する先祖ノード プロパティをノードに構成する必要があります。
-
コンポーネント環境をカスタマイズする必要がある場合は、公式イメージ
dataworks_emr_base_task_podをベースにカスタムイメージを作成し、DataStudio で使用します。たとえば、カスタムイメージ作成時に Spark JAR パッケージを置き換えたり、特定の
ライブラリ、ファイル、またはJAR パッケージを含めたりできます。
ステップ 4:タスクのデプロイ
ノード上のタスクを構成したら、タスクをコミットおよびデプロイする必要があります。タスクをコミットおよびデプロイすると、システムはスケジューリング構成に基づいてタスクを定期的に実行します。
-
上部ツールバーの
アイコンをクリックしてタスクを保存します。 -
上部ツールバーの
アイコンをクリックしてタスクをコミットします。[送信] ダイアログボックスで、[変更内容の説明] パラメーターを構成します。その後、ビジネス要件に基づいて、タスクをコミットした後にタスクコードをレビューするかどうかを判断します。
説明-
タスクをコミットする前に、プロパティタブで [再実行] および [親ノード] パラメーターを構成する必要があります。
-
コードレビューフィーチャーを使用してタスクのコード品質を確保し、無効なタスクコードによるタスク実行エラーを防止できます。コードレビューフィーチャーを有効にすると、コミットされたタスクコードはコードレビューに合格した後にのみデプロイできます。詳細については、「コードレビュー」をご参照ください。
-
標準モードのワークスペースを使用している場合、タスクをコミットした後に本番環境でタスクをデプロイする必要があります。ノード上のタスクをデプロイするには、ノードの構成タブの右上隅にある [デプロイ] をクリックします。詳細については、「ノードのデプロイ」をご参照ください。
その他の操作
タスクをコミットおよびデプロイすると、スケジューリング構成に基づいてタスクが定期的に実行されます。対応するノードの構成タブの右上隅にある [オペレーションセンター] をクリックしてオペレーションセンターに移動し、タスクのスケジューリングステータスを確認できます。詳細については、「定期タスクの管理」をご参照ください。
よくある質問
-
データ開発から EMR Spark SQL タスクを SQL Compute に送信する前に、SQL Compute セッションが 実行中 状態であることを確認してください。そうでない場合、タスクは失敗します。ステータスの確認方法の詳細については、「SQL Compute セッションの管理」をご参照ください。