E-MapReduce:SQL セッションの管理

SQL セッションの作成

SQL セッションを作成すると、SQL ジョブの作成時にそのセッションを選択できます。

1. [セッション] ページに移動します。

   1. EMR コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

   3. [Spark] ページで、対象のワークスペースの名前をクリックします。

   4. EMR Serverless Spark ページで、左側のナビゲーションウィンドウの Sessions をクリックします。

2. SQL Sessions ページで、Create SQL Session をクリックします。

3. [SQL セッションの作成] ページで、次のパラメーターを設定し、create をクリックします。

   重要

   選択したリソースキューの最大同時実行数は、少なくともノートブックセッションで必要とされるリソース以上に設定することを推奨します。具体的なリソース要件については、コンソールをご参照ください。

   パラメーター	説明
   Name	新しい SQL セッションの名前。 長さは 1～64 文字である必要があります。文字、数字、ハイフン (-)、アンダースコア (_)、およびスペースのみがサポートされます。
   Resource Queue	SQL セッションのリソースキューを選択します。開発用に指定されたキュー、または開発と本番で共有されるキューを選択できます。 キューの詳細については、「リソースキューの管理」をご参照ください。
   Engine Version	SQL セッションのエンジンバージョン。エンジンバージョンの詳細については、「エンジンバージョン」をご参照ください。
   Use Fusion Acceleration	Fusion は Spark ワークロードを高速化し、ジョブの総コストを削減できます。請求情報については、「プロダクトの課金」をご参照ください。Fusion エンジンの詳細については、「Fusion エンジン」をご参照ください。
   Automatic Stop	デフォルトで有効になっています。カスタムのアイドルタイムアウトを指定でき、その時間を経過するとシステムが自動的に SQL セッションを停止します。
   Normal Network Connection	既存のネットワーク接続を選択して、VPC 内のデータソースまたは外部サービスにアクセスします。ネットワーク接続の作成方法の詳細については、「EMR Serverless Spark と他の VPC 間のネットワーク接続」をご参照ください。
   spark.driver.cores	Spark アプリケーションのドライバープロセス用の CPU コア数。デフォルト値は 1 CPU です。
   spark.driver.memory	Spark アプリケーションのドライバープロセス用のメモリ量。デフォルト値は 3.5 GB です。
   spark.executor.cores	各エグゼキュータプロセス用の CPU コア数。デフォルト値は 1 CPU です。
   spark.executor.memory	各エグゼキュータプロセス用のメモリ量。デフォルト値は 3.5 GB です。
   spark.executor.instances	Spark アプリケーションのエグゼキュータ数。デフォルト値は 2 です。
   Dynamic Resource Allocation	この機能はデフォルトで無効になっています。有効にする場合は、次のパラメーターを設定します： Minimum Number of Executors： デフォルト値： 2。 Maximum Number of Executors： spark.executor.instances が設定されていない場合、デフォルト値は 10 です。
   More Memory Configurations	spark.driver.memoryOverhead： 各ドライバーで利用可能な非ヒープメモリの量。このパラメーターが設定されていない場合、Spark はデフォルトの数式 max(384 MB, 10% × spark.driver.memory) に基づいて値を割り当てます。 spark.executor.memoryOverhead： 各エグゼキュータで利用可能な非ヒープメモリの量。このパラメーターが設定されていない場合、Spark はデフォルトの数式 max(384 MB, 10% × spark.executor.memory) に基づいて値を割り当てます。 spark.memory.offHeap.size： Spark で利用可能なオフヒープメモリの量。デフォルト値： 1 GB。 このパラメーターは、spark.memory.offHeap.enabled が true に設定されている場合にのみ有効になります。デフォルトでは、Fusion エンジンを使用する場合、この機能は有効になり、オフヒープメモリは 1 GB に設定されます。
   Spark Configuration	Spark の構成プロパティを入力します。スペースを使用してキーと値のペアを区切ります。例： spark.sql.catalog.paimon.metastore dlf。

   SQL セッションを作成すると、そのステータスは最初は [開始中] になります。ステータスが Running に変わると、セッションは準備完了です。SQL Sessions ページでは、既存のセッションの停止、編集、削除ができます。

実行レコードの表示

ジョブが完了した後、その実行レコードを表示できます。

1. [SQL セッション] ページで、目的のセッションの名前をクリックします。

2. Execution Records タブをクリックします。

   このタブでは、実行 ID、開始時刻、Spark UI へのリンクなど、各ジョブ実行の詳細を表示できます。

   

関連トピック

• キュー関連の操作については、「リソースキューの管理」をご参照ください。

• セッションのロールと権限に関する情報については、「ユーザーとロールの管理」をご参照ください。

• SQL ジョブ開発ワークフローの完全な例については、「Spark SQL クイックスタート」をご参照ください。