E-MapReduce:Livy ゲートウェイの管理

Livy ゲートウェイの作成

1. ゲートウェイページに移動します。

   1. EMR コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

   3. [Spark] ページで、対象のワークスペースの名前をクリックします。

   4. [EMR Serverless Spark] ページで、左側のナビゲーションウィンドウの [オペレーションセンター] > [ゲートウェイ] をクリックします。

2. [Livy ゲートウェイ] ページで、[Livy ゲートウェイの作成] をクリックします。

3. [Livy ゲートウェイの作成] ページで、パラメーターを設定し、[作成] をクリックします。

   パラメーター	説明
   名前	Livy ゲートウェイの名前。名前には、小文字、数字、ハイフン (-) のみを含めることができます。先頭と末尾は文字または数字である必要があります。
   Livy ゲートウェイリソース	デフォルト値: 1 CPU, 4 GB。
   Livy バージョン	Livy のバージョン。デフォルト値: 0.8.0。
   エンジンバージョン	Livy ゲートウェイが使用する Spark エンジンのバージョン。エンジンバージョンの詳細については、「エンジンバージョンの概要」をご参照ください。
   Fusion アクセラレーションの使用	Fusion は Spark ワークロードの実行を高速化し、タスクの総コストを削減できます。課金の詳細については、「課金」をご参照ください。Fusion エンジンの詳細については、「Fusion エンジン」をご参照ください。
   関連付けられたキュー	Livy ゲートウェイがデプロイされるキュー。ゲートウェイを使用して Spark ジョブを送信すると、Spark ジョブはゲートウェイ作成者の ID を使用して送信されます。
   認証モード	認証モード。トークンのみを選択できます。 ゲートウェイを作成した後、ゲートウェイの一意の認証トークンを生成する必要があります。これにより、ゲートウェイ経由でリクエストを送信する際に、トークンを ID 認証とアクセスの制御に使用できます。トークンの作成方法の詳細については、「ゲートウェイ管理」をご参照ください。
   ネットワーク接続
   ランタイム環境	ランタイム環境。Livy ゲートウェイを使用してジョブを送信すると、ジョブの実行に使用されるリソースは、ランタイム環境に基づいてプリインストールされます。
   パブリックエンドポイント	デフォルトでは、この機能は無効になっています。 このスイッチをオンにすると、システムはパブリックエンドポイント経由で Livy にアクセスします。それ以外の場合、システムはデフォルトで内部エンドポイント経由で Livy にアクセスします。
   自動停止	デフォルトでは、この機能は無効になっています。 ゲートウェイのスイッチをオンにすると、過去 45 分間にゲートウェイでアクティビティが検出されない場合、システムはゲートウェイを自動的に停止します。
   spark-defaults.conf	Spark のデフォルト設定ファイル。Spark ジョブのグローバルなデフォルトパラメーターを設定するために使用されます。
   livy.conf	Livy サーバーのコア設定ファイル。認証方式 (LDAP)、セッション管理、タイムアウト設定など、Livy ゲートウェイのグローバルな動作を定義するために使用されます。このファイルは Livy サーバーの実行時パラメーターを制御し、ゲートウェイ経由で送信されるすべてのジョブに影響します。
   livy-client.conf	Livy HTTP クライアントの実行時パラメーターの設定ファイル。クライアントと Livy ゲートウェイ間のインタラクション動作を定義するために使用されます。
   spark-blacklist.conf	セキュリティ関連の設定ファイル。ユーザーが Spark ジョブを送信する際に変更を許可されない設定項目を制限するために使用されます。ブラックリスト内のパラメーターはシステムによって強制的に無視され、ユーザーはこれらのパラメーターをオーバーライドできません。

   Livy 設定ファイルとそのパラメーターの詳細については、「Livy 設定ファイルの例」をご参照ください。

4. [Livy ゲートウェイ] ページで、作成した Livy ゲートウェイの [操作] 列にある [開始] をクリックします。

トークンの管理

1. [Livy ゲートウェイ] ページで、対象のゲートウェイの [操作] 列にある [トークン管理] をクリックします。

2. [トークンの作成] をクリックします。

3. [トークンの作成] ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。

   パラメーター	説明
   名前	トークンの名前。
   有効期間	トークンの有効期間。有効期間は 1 日以上である必要があります。デフォルトでは、このパラメーターは有効で、365 日に設定されています。

4. トークンをコピーします。

   重要

   トークンを作成したら、すぐにコピーする必要があります。ページを離れると、トークンは表示できなくなります。トークンの有効期限が切れたり、紛失したりした場合は、リセットするか、新しいトークンを作成できます。

セッション情報の表示

Livy インターフェイスを使用して Spark セッションを作成した後、指定した Livy ゲートウェイのセッションタブで、セッションの ID やステータスなどの情報を表示できます。

1. [Livy ゲートウェイ] ページで、対象のゲートウェイの名前をクリックします。

2. [セッション] タブをクリックします。

   [セッション] タブでは、Livy インターフェイスを使用して作成された Spark セッションに関する情報を表示できます。

   

参考資料

Livy ゲートウェイのアプリケーションの詳細については、次の Topic をご参照ください。

• Apache Airflow の Livy Operator を使用してジョブを送信する

• Jupyter Notebook を使用して Serverless Spark と対話する