セッションとは、EMR Serverless Spark ワークスペース内で利用可能な Spark セッションです。 ノートブック開発にはノートブックセッションが必要です。本トピックでは、ノートブックセッションの作成方法について説明します。
ノートブックセッションの作成
ノートブックセッションを作成すると、ノートブック開発時にそのセッションを選択できます。
ノートブックセッションページに移動します。
EMR コンソール にログインします。
左側のナビゲーションウィンドウで、 を選択します。
Spark ページで、対象のワークスペース名をクリックします。
EMR Serverless Spark ページで、左側のナビゲーションウィンドウから Sessions を選択します。
Notebook Session タブをクリックします。
Notebook Session ページで、Create Notebook Session をクリックします。
Create Notebook Session ページで、以下のパラメーターを設定し、Create をクリックします。
説明選択したリソースキューの最大同時実行数を、ノートブックセッションに必要なリソース量以上に設定することを推奨します。この値はコンソール上に表示されます。
パラメーター
説明
Name
新しいノートブックセッションの名前です。
名前は 1～64 文字で、英数字、ハイフン (-)、アンダースコア (_)、および半角スペースを使用できます。
Engine Version
セッションのエンジンバージョンです。エンジンバージョンの詳細については、「Engine version overview」をご参照ください。
Use Fusion Acceleration
Fusion を使用すると、Spark ワークロードを高速化し、ジョブの総コストを削減できます。請求情報については、「Product Billing」をご参照ください。Fusion エンジンの詳細については、「Fusion engine」をご参照ください。
Resource Queue
セッション用のリソースキューを選択します。開発用または共有用として指定されたキューのみ選択可能です。
詳細については、「Manage resource queues」をご参照ください。
Automatic Stop
デフォルトで有効です。セッションがアイドル状態になってから自動停止するまでの時間を設定できます。
spark.driver.cores
ドライバープロセスのコア数です。デフォルト値は 1 です。
spark.driver.memory
ドライバープロセスのメモリ量です。デフォルト値は 3.5 GB です。
spark.executor.cores
各エグゼキュータプロセスのコア数です。デフォルト値は 1 です。
spark.executor.memory
各エグゼキュータプロセスのメモリ量です。デフォルト値は 3.5 GB です。
spark.executor.instances
Spark が割り当てるエグゼキュータの数です。デフォルト値は 2 です。
Dynamic Resource Allocation
デフォルトで無効です。有効にした場合、以下のパラメーターを設定します。
Minimum Number of Executors：デフォルト値は 2 です。
Maximum Number of Executors：spark.executor.instances が設定されていない場合、デフォルト値は 10 です。
More Memory Configurations
spark.driver.memoryOverhead：ドライバーで使用可能な非ヒープメモリです。このパラメーターが設定されていない場合、Spark はデフォルトに基づき自動的に値を割り当てます。その値は
max(384 MB, 10% * spark.driver.memory)です。spark.executor.memoryOverhead：各エグゼキュータで使用可能な非ヒープメモリです。このパラメーターが設定されていない場合、Spark はデフォルトに基づき自動的に値を割り当てます。その値は
max(384 MB, 10% * spark.executor.memory)です。spark.memory.offHeap.size：Spark で使用可能なオフヒープメモリ量です。デフォルト値は 1 GB です。
このパラメーターは、
spark.memory.offHeap.enabledがtrueに設定されている場合にのみ有効です。Fusion エンジンを使用する場合、この機能はデフォルトで有効になり、1 GB のオフヒープメモリが割り当てられます。
Environment
Environment ページで作成したカスタム環境を選択できます。ノートブックセッションの起動時に、システムが選択された環境のライブラリを事前にインストールします。
説明Ready 状態の実行環境のみ選択可能です。
Network Connection
VPC 内のデータソースや外部サービスにアクセスするための既存のネットワーク接続を選択します。ネットワーク接続の作成方法の詳細については、「Network connectivity between EMR Serverless Spark and other VPCs」をご参照ください。
Mount Integrated File Directory
この機能はデフォルトで無効です。この機能を使用するには、Artifacts ページの Integrated File Directory タブでファイルディレクトリを追加します。詳細については、「Manage the integrated file directory」をご参照ください。
有効にすると、システムが統合ファイルディレクトリをセッションにマウントし、そのファイルに直接アクセスできるようになります。
マウント操作はドライバーの計算リソースを消費します。消費されるリソース量は、以下の 2 つの値のうち大きい方です。
固定リソース：0.3 vCPU + 1 GB メモリ。
動的リソース：
spark.driverリソースの 10%（つまり、spark.driverのコア数とメモリ量のそれぞれ 10%）。
たとえば、
spark.driverが 4 コア、8 GB メモリに設定されている場合、動的リソースは 0.4 vCPU + 0.8 GB メモリとなります。この場合、実際に消費されるリソースはmax(0.3 vCPU + 1 GB, 0.4 vCPU + 0.8 GB)、つまり 0.4 vCPU + 1 GB メモリです。説明マウント範囲：デフォルトでは、ファイルディレクトリはドライバーにのみマウントされます。エグゼキュータにもマウントするには、Mount to Executor を有効にしてください。
複数ディレクトリ：複数の統合ファイルディレクトリをマウントできます。ただし、CPFS ディレクトリは他の種類と併用できません。たとえば、複数の OSS および NAS ディレクトリを同時にマウントできますが、CPFS と OSS または NAS ディレクトリを同時にマウントすることはできません。
ネットワーク要件：NAS または CPFS ファイルディレクトリをマウントする場合は、ネットワーク接続を設定する必要があります。ネットワーク接続の VPC は、NAS または CPFS マウントポイントの VPC と同一である必要があります。
Mount to Executor
有効にすると、システムが統合ファイルディレクトリをセッションのエグゼキュータにマウントし、エグゼキュータがファイルに直接アクセスできるようになります。
マウント操作はエグゼキュータのリソースを消費します。消費されるリソース量はファイルの使用状況に依存します。
Spark Configuration
Spark 構成パラメーターをスペース区切りで入力します。例：
spark.sql.catalog.paimon.metastore dlf。
実行レコードの表示
ジョブが完了すると、その実行レコードを表示できます。
-
SQL Sessions ページで、目的のセッション名をクリックします。
-
Execution Records タブをクリックします。
このタブでは、実行 ID、開始時刻、Spark UI へのリンクなど、各ジョブ実行の詳細を確認できます。
関連ドキュメント
リソースキューの操作に関する情報については、「Manage resource queues」をご参照ください。
セッションのロールと権限に関する情報については、「Manage users and roles」をご参照ください。
ノートブック開発のエンドツーエンドの例については、「Get started with notebook development」をご参照ください。