E-MapReduce:カスタム Spark パラメーター

パラメーター

説明

シナリオ

spark.emr.serverless.user.defined.jars

アップロードされた JAR パッケージを Serverless Spark のドライバーとエグゼキュータのクラスパスに追加します。

• サポートされるエンジンバージョン：

  • esr-4.x：esr-4.1.0 以降。

  • esr-3.x：esr-3.1.0 以降。

  • esr-2.x：esr-2.5.0 以降。

• アップロードメソッド：

  • esr-4.2.0、esr-3.2.0、esr-2.6.0 以降のバージョンの場合：

    • Serverless Spark の Files にアップロードします。詳細については、「ファイルの管理」をご参照ください。

      Managed File Directory タブで、対象ファイルの 操作 列にある Copy Address をクリックしてパスを取得します。

    • OSS にアップロードします。手順については、「簡単なアップロード」をご参照ください。

      パスのフォーマットは oss://path/to/file1.jar,oss://path/to/file2.jar です。

  • esr-4.2.0、esr-3.2.0、または esr-2.6.0 より前のバージョンの場合：これらのバージョンは OSS へのアップロードのみをサポートします。手順については、「簡単なアップロード」をご参照ください。

    パスのフォーマットは oss://path/to/file1.jar,oss://path/to/file2.jar です。

spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用して Spark ジョブを送信する場合、またはセッションを作成する場合に、このプロパティを使用して OSS からカスタム JAR パッケージを Spark ドライバーとエグゼキュータに追加します。

spark.emr.serverless.fusion

Kyuubi または Livy によって起動されたセッションまたはバッチジョブに対して Fusion を有効にするかどうかを指定します。有効な値：

• false (デフォルト)：Fusion を無効にします。

• true：Fusion を有効にします。

ジョブまたはセッションの Spark Configuration でこのプロパティを設定して、Fusion を有効または無効にします。

spark.emr.serverless.environmentId

コンピューティングリソースの実行環境の ID を指定します。

Airflow または spark-submit を使用して Serverless Spark ジョブを送信する場合、このプロパティを使用して、サードパーティライブラリがプリインストールされている実行環境を指定します。

spark.emr.serverless.network.service.name

ネットワーク接続の名前を指定します。これにより、コンピューティングリソースが他の VPC 内のデータソースと通信できるようになります。

Serverless Spark ジョブを送信する際に、ネットワーク接続を使用して他の Virtual Private Cloud (VPC) ネットワーク内のデータソースにアクセスします。

spark.emr.serverless.excludedModules

Serverless Spark から組み込みライブラリを削除します。

• esr-2.7.0、esr-3.3.0、esr-4.3.0 以降のバージョンでは、次のモジュールを削除できます：paimon,hudi,iceberg,delta,Celeborn,dlf,fusion,jindo,odps,mysql,doctor。

• esr-2.8.0、esr-3.4.0、esr-4.4.0 以降のバージョンでは、kafka モジュールも削除できます。

カスタム JAR パッケージとの競合を避けるために、Serverless Spark コンソール、spark-submit、バッチジョブ、Airflow Serverless Spark Operator、Kyuubi、または Livy を使用してジョブを送信する場合、またはセッションを作成する場合に、組み込みライブラリを削除します。

spark.emr.serverless.kyuubi.engine.queue

Kyuubi によって起動された Spark アプリケーションが実行されるワークスペースキューの名前を指定します。

Kyuubi 構成パネルで設定するか、JDBC 接続 URL で指定できます。

spark.emr.serverless.jr.timeout

ジョブの最大実行時間を秒単位で設定します。この時間を超えると、システムはジョブを自動的に終了します。デフォルト値は空で、タイムアウト制限がないことを示します。

値は -1 から 2147483647 までの整数である必要があります。-1 または 0 の値は、タイムアウトが設定されていないことを意味します。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用してジョブのタイムアウトを設定します。

spark.emr.serverless.fusion.enabled

Spark アプリケーションに対して Fusion データアクセラレーションエンジンを有効にするかどうかを指定します。有効な値：

• false (デフォルト)：Fusion を無効にします。

• true：Fusion を有効にします。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用して Fusion アクセラレーションを有効または無効にします。

spark.emr.serverless.mount.nas.enabled

NAS ディレクトリを Spark ドライバーにマウントするかどうかを指定します。有効にする場合は、spark.emr.serverless.mount.nas.volume プロパティを使用してマウントするディレクトリも指定する必要があります。

• サポートされるエンジンバージョン：

  • esr-4.x：esr-4.7.0 以降。

  • esr-3.x：esr-3.6.0 以降。

• 有効な値：

  • false (デフォルト)：マウントを無効にします。

  • true：マウントを有効にします。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用してマネージド NAS ファイルディレクトリを Spark ドライバーにマウントします。マウントされると、ドライバーは NAS ディレクトリからの読み取りと書き込みができます。

spark.emr.serverless.mount.nas.volume

マウントするマネージド NAS ディレクトリの ID を指定します。

サポートされるエンジンバージョン：

• esr-4.x：esr-4.7.0 以降。

• esr-3.x：esr-3.6.0 以降。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用して指定されたマネージド NAS ファイルディレクトリをマウントします。

spark.emr.serverless.mount.nas.executor

NAS ディレクトリをすべての Spark エグゼキュータにマウントするかどうかを指定します。

• サポートされるエンジンバージョン：

  • esr-4.x：esr-4.7.0 以降。

  • esr-3.x：esr-3.6.0 以降。

• 有効な値：

  • false (デフォルト)：マウントを無効にします。

  • true：マウントを有効にします。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用してマネージド NAS ファイルディレクトリをすべての Spark エグゼキュータにマウントします。マウントされると、エグゼキュータは NAS ディレクトリからの読み取りと書き込みができます。

spark.emr.serverless.mount.oss.enabled

OSS ディレクトリを Spark ドライバーにマウントするかどうかを指定します。

有効にする場合は、spark.emr.serverless.mount.oss.volume プロパティを使用してマウントするディレクトリも指定する必要があります。有効な値：

• false (デフォルト)：マウントを無効にします。

• true：マウントを有効にします。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用してマネージド OSS ファイルディレクトリを Spark ドライバーにマウントします。マウントされると、ドライバーは OSS ディレクトリからの読み取りと書き込みができます。

spark.emr.serverless.mount.oss.volume

マウントするマネージド OSS ディレクトリの ID を指定します。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用して指定されたマネージド OSS ファイルディレクトリをマウントします。

spark.emr.serverless.mount.oss.executor

OSS ディレクトリをすべての Spark エグゼキュータにマウントするかどうかを指定します。有効な値：

• false (デフォルト)：マウントを無効にします。

• true：マウントを有効にします。

Serverless Spark コンソール、spark-submit、バッチジョブ、または Airflow Serverless Spark Operator を使用してジョブを送信する際に、このプロパティを使用してマネージド OSS ファイルディレクトリをすべての Spark エグゼキュータにマウントします。マウントされると、エグゼキュータは OSS ディレクトリからの読み取りと書き込みができます。

spark.emr.serverless.templateId

Spark アプリケーションのデフォルト構成テンプレートの ID を指定します。事前定義されたワークスペーステンプレートを参照することで、ジョブ送信時のパラメーター構成が簡素化されます。

テンプレート ID は、Operation Center > Configurations > Spark Configuration Template ページで確認できます。たとえば、TPL-2b3859f8c0c8439faddc22f223c8**** です。

このプロパティは、spark-submit を使用する場合にのみサポートされます。

spark.emr.serverless.livy.config.mode

Spark ジョブを送信する際に、Livy Gateway で構成された spark-defaults.conf ファイルの設定を使用するかどうかを制御します。

• このパラメーターが設定されていない場合 (デフォルト)、Livy Gateway は自動的に spark-defaults.conf ファイルから設定をロードし、ジョブに適用します。

• ignore に設定

  このパラメーターを ignore に設定すると、Spark ジョブを送信する際に spark-defaults.conf ファイル内の構成は無視されます。この場合、ジョブは明示的に指定した構成パラメーターまたはデフォルトの Spark 構成のみを使用します。

Spark ジョブの構成を完全にカスタマイズする必要がある場合は、このパラメーターを ignore に設定できます。Livy Gateway のデフォルトの構成動作を維持したい場合は、このパラメーターを設定する必要はありません。

spark.emr.serverless.tag.xxxx

Livy を介して送信されたバッチジョブにタグを追加します。フォーマットは spark.emr.serverless.tag.<key> <value> です。

その後、ジョブ履歴でタグによってジョブをフィルターできます。